InstructGPT / RLHF

InstructGPT는 2022년 OpenAI가 발표했어요. 핵심 아이디어는 'RLHF (Reinforcement Learning from Human Feedback, 사람 피드백 기반 강화학습)' — 사람의 평가를 보상 신호로 활용해 모델을 학습하는 방법이에요.

문제 상황: GPT-3는 글을 잘 이어 쓰지만, '도움 되는 답변' 대신 그저 '그럴듯한 다음 단어'를 생성하기도 했어요. 질문에 답하기보다 다른 질문을 만들거나, 거짓을 자신 있게 말하거나 하는 식으로요.

RLHF의 흐름은 세 단계예요. 첫째, 사람이 모델 답변 여러 개를 평가(어느 게 더 좋은지 순위). 둘째, 그 평가로 '좋은 답변 판별기(reward model)'를 따로 학습. 셋째, 이 판별기로 모델 자체를 강화학습.

결과: 같은 GPT-3 기반인데, '도움 되고 정직하고 무해한' 답변을 우선하도록 행동이 바뀌었어요. 이게 ChatGPT(2022년 말 공개)의 직접 기반이고, 이후 Claude의 Constitutional AI도 이 아이디어를 발전시킨 것입니다. 'alignment(가치 정렬)'이라는 AI 안전 연구의 실질적 출발점이에요.