GPT-2

GPT-2는 2019년 OpenAI가 발표한 1.5B(15억) 파라미터 규모의 모델이에요. BERT가 '양방향으로 이해'에 집중했다면, GPT-2는 '왼쪽에서 오른쪽으로 자연스럽게 생성'에 집중했어요.

기본 동작은 단순해요 — '한국의 수도는'을 주면 '서울'을 예측하는 식. 다음 단어를 무한히 예측해 가면 문장 → 문단 → 글이 됩니다. 이걸 'language modeling(언어 모델링)'이라고 해요.

GPT-2의 충격은 'zero-shot' — 별도 학습 없이도 번역, 요약, 질문 답변까지 어느 정도 해냈다는 점이에요. 그냥 '한국어로 번역해주세요: Hello'라고 입력하면 답을 만들어내는 식.

발표 당시 OpenAI는 '너무 위험해서 전체 모델은 공개 못 한다'고 발표해 큰 논란을 일으켰어요. 결국 단계적으로 공개됐고, 이 시점부터 '범용 언어 모델'의 시대가 본격적으로 열렸어요. 한 모델이 여러 작업을 다 해낸다는 발상의 시작점이었습니다.