RNN / LSTM

RNN(Recurrent Neural Network, 순환 신경망)은 '문장을 한 단어씩 읽으며 이전 단어를 기억하는' 방식을 신경망으로 구현했어요. 일반 신경망과 달리 '이전 시간의 정보'를 다음 단계에 전달하는 순환 구조를 가집니다.

문제는 — 문장이 길어지면 앞쪽 정보가 점점 흐려진다는 점이에요. '나는 한국에서 태어났고...(긴 문장)...그래서 한국어를 잘한다'에서 마지막 단어가 앞의 '한국'과 어떻게 연결되는지 잊어버리는 거죠.

LSTM(Long Short-Term Memory)은 1997년 Hochreiter와 Schmidhuber가 이 문제를 해결한 개선판이에요. '중요한 건 길게 기억하고 덜 중요한 건 잊는' 메커니즘을 추가해서, 훨씬 긴 맥락을 다룰 수 있게 됐어요.

번역기, 음성 인식, 채팅봇 — 2017년 Transformer 등장 전까지 시퀀스 처리의 사실상 표준이었어요. Apple Siri 초기 버전, Google 번역기 초기 모델 모두 LSTM 기반이었습니다.