BERT

BERT(Bidirectional Encoder Representations from Transformers)는 2018년 Google이 발표했어요. 핵심 발상은 '문장 양쪽 방향을 동시에 보면서 의미를 이해하자'는 것이에요.

기존 모델은 보통 왼쪽에서 오른쪽으로 읽거나(GPT처럼), 한 방향만 봤어요. BERT는 양방향 — '나는 [공백]을 좋아한다'에서 빈 칸을 추측할 때, 앞('나는')과 뒤('좋아한다') 모두 활용합니다. 마치 사람이 문장 전체를 훑어보고 의미를 파악하는 것과 비슷하죠.

또 다른 혁신은 '사전학습 + 파인튜닝' 방식이에요. 먼저 대규모 텍스트로 일반 언어 이해 능력을 학습(사전학습), 그다음 특정 작업(스팸 분류, 감정 분석 등)에 맞춰 약간만 조정(파인튜닝). 작업마다 처음부터 학습할 필요가 없어진 거예요.

검색, 분류, 질의응답 등 'NLP(자연어 처리)'의 표준 도구가 됐어요. 오늘날 Google 검색에도 BERT가 활용되고 있어, 검색어를 입력할 때마다 BERT가 작동한다고 보시면 됩니다.