Backpropagation

역전파는 '여러 층을 쌓은 신경망을 어떻게 학습시킬까?'라는 질문에 처음 명확히 답한 방법이에요.

신경망은 입력 → 여러 층의 계산 → 출력의 흐름인데, 출력이 틀렸을 때 어느 층의 어떤 가중치가 잘못이었는지 알아야 고칠 수 있어요. 역전파는 정답과 비교해 생긴 오차를 출력 쪽부터 거꾸로 흘려보내면서 각 층의 가중치를 얼마나 바꿔야 하는지 계산합니다.

비유하자면 — 시험에서 80점을 받았을 때 '내가 어떤 단원을 더 공부해야 할까?'를 답안지 끝에서부터 거슬러 올라가며 찾는 거예요. '여기서 틀렸으니 이 부분 공부를 보강하자' 같은 식으로요.

1986년 Rumelhart, Hinton, Williams가 발표한 이 방법으로 신경망은 다시 가능성을 인정받기 시작했고, 오늘날 모든 딥러닝 학습의 표준이 됐어요. Hinton은 이 공로로 2024년 노벨 물리학상을 수상했습니다.