Constitutional AI

Constitutional AI는 2022년 Anthropic이 발표한 논문이에요. RLHF의 비싼 인간 평가를 AI 자체로 대체할 수 있다는 아이디어를 입증했어요.

원리는 이렇습니다. 첫째, '사람을 해치지 마라', '솔직해라' 같은 원칙(헌법, constitution)을 미리 작성. 둘째, 모델이 답변 생성. 셋째, 같은 모델이 헌법을 보고 자기 답변을 검토(이 답변이 어느 원칙을 어기나?). 넷째, 위반된 부분을 스스로 수정. 다섯째, 수정 결과로 다시 학습.

비유하자면 — 시험 답안을 쓴 학생이, 채점 기준표를 보고 자기 답안을 직접 수정한 뒤 더 나은 답안으로 다시 제출하는 거예요. 선생님(사람 평가자)이 일일이 안 봐도 되니까 훨씬 빠르고 일관됩니다.

이 방법은 인간 평가의 한계(평가자마다 다른 기준, 느린 속도, 큰 비용)를 해소하고, AI 안전성을 더 빠르게 개선할 수 있게 했어요. Claude의 핵심 학습 방법이고, AI alignment 연구의 중요한 분기점입니다.