Attention Mechanism

기존 RNN의 한계는 입력 전체를 한 덩어리로 압축한 후 처리한다는 점이었어요. 긴 문장에서 중요한 단어가 어디 있는지 알아도 똑같이 다뤘죠.

어텐션은 이걸 바꿨어요 — 출력의 각 단어를 만들 때, 입력의 어느 부분에 '집중'할지 가중치를 계산하는 거예요. 예를 들어 'I love coffee'를 '나는 커피를 좋아해'로 번역할 때, '좋아해'를 만드는 순간엔 'love'에 집중하고 '커피를' 만들 땐 'coffee'에 집중하는 식이죠.

마치 시험 문제를 풀 때 — 모든 본문을 한 번에 외우지 않고, 답을 쓰는 순간마다 본문의 관련 부분을 다시 살펴보는 것과 비슷해요. 효율적이고 정확합니다.

2014년 Bahdanau 등이 번역 분야에 처음 도입했고, 이 단순해 보이는 아이디어가 3년 뒤 Transformer로 진화하면서 AI 역사를 완전히 바꿔놓았어요.