Transformer

Transformer는 2017년 Google이 발표한 'Attention Is All You Need' 논문에서 소개됐어요. 제목 그대로 '어텐션만 있으면 충분하다 — RNN의 순환 구조 자체가 필요 없다'는 주장을 입증한 모델이에요.

핵심 아이디어는 'self-attention' — 한 문장 안의 단어들끼리 서로의 관계를 동시에 계산하는 방식이에요. 'The cat sat on the mat because it was tired'에서 'it'이 cat을 가리키는지 mat을 가리키는지를, 모든 단어 쌍의 연관성을 한 번에 계산해서 알아냅니다.

장점이 두 가지예요. 첫째, 병렬 처리 가능 — RNN처럼 한 단어씩 순차로 처리하지 않아도 됨, 그래서 GPU에서 훨씬 빠릅니다. 둘째, 긴 맥락 — 100단어 떨어진 단어와도 직접 연결 가능해요.

이후 등장한 GPT, BERT, Claude — 거의 모든 현대 LLM이 Transformer의 변형입니다. AI 발전사의 '결정적 변곡점'이라 불릴 만큼 영향이 큰 모델이에요. ChatGPT, Gemini, Claude 모두 이 논문 한 편이 없었다면 존재하지 않았을 거예요.