RLHF는 사람의 피드백을 보상 신호로 삼아 모델을 강화학습하는 방법입니다. Reinforcement Learning from Human Feedback의 약자로, 인간 피드백 기반 강화학습이라고 합니다. 언어 모델에서는 사람들이 어떤 답변을 더 선호하는지 학습해 지시를 더 잘 따르도록 조정하는 데 쓰입니다. OpenAI가 초기 ChatGPT에 적용한 후속 학습 방법이기도 합니다.
시연, 보상 모델, 강화학습의 3단계
OpenAI가 2022년 InstructGPT 연구에서 공개한 대표적인 구현은 세 단계입니다.
- 사람이 작성한 모범 답변인 시연 데이터로 언어 모델을 지도 미세조정(SFT)합니다.
- 모델이 낸 여러 답변에 사람이 순위를 매깁니다. 이 비교 데이터로 사람의 선호를 점수로 예측하는 보상 모델을 학습시킵니다.
- 언어 모델이 보상 모델에서 높은 점수를 받는 답변을 생성하도록 강화학습합니다. InstructGPT 연구는 이 단계에 PPO 알고리즘을 사용했습니다.
InstructGPT 연구의 사람 평가에서는 13억 파라미터 InstructGPT의 답변을 1,750억 파라미터 GPT-3의 답변보다 선호했습니다. 연구에 사용한 질문과 평가 기준에서 얻은 결과로, 모델의 크기만으로 지시 수행 능력을 판단하기 어렵다는 점을 보여 줍니다.
선호 학습과 사실 정확성의 차이
보상 모델은 평가자가 어떤 답변을 더 선호할지 예측해 점수를 매깁니다. 답에 담긴 모든 사실의 정확성을 검증한 점수는 아닙니다. 평가 기준과 평가자의 판단이 학습 결과에 영향을 줍니다.
InstructGPT 연구는 요약처럼 주어진 자료 안에서 답해야 하는 작업에서, 입력에 없는 정보를 지어내는 비율을 측정했습니다. 이 비율은 강화학습을 마친 모델이 GPT-3보다 낮았지만 지도 미세조정만 한 모델보다는 높았습니다. 사람의 선호 평가가 좋아졌다고 이 지표까지 가장 좋아진 것은 아닙니다. OpenAI의 2025년 할루시네이션 논문도 RLHF 등 후속 학습으로 오류를 줄일 수 있지만 여전히 오류가 남는다고 설명합니다.
AI 피드백을 쓰는 RLAIF
RLAIF는 강화학습에 AI의 피드백을 활용하는 방법입니다. Anthropic이 2022년 발표한 Constitutional AI 연구에서는 먼저 모델이 주어진 원칙에 따라 자기 답변을 비판하고 수정하게 한 뒤, 수정한 답변으로 지도 미세조정했습니다. 이어 AI가 두 답변 중 더 나은 것을 고른 데이터로 보상 모델을 학습시키고 강화학습에 사용했습니다.
이때도 평가 원칙은 사람이 정합니다. AI가 개별 답변을 평가하므로 사람이 모든 답변에 직접 순위를 매기는 부담을 줄일 수 있지만, 인간의 판단을 학습에서 완전히 없앤 방식은 아닙니다.
다른 후속 학습과 어떻게 다른가
| 방식 | 핵심 차이 |
|---|---|
| 지도 미세조정(SFT) | 모범 입출력 예시를 직접 학습 |
| RLHF | 사람의 선호 비교로 보상 모델을 만들고 강화학습 |
| RLAIF | 사람 대신 AI 피드백을 선호 신호로 활용 |
| DPO | 별도 보상 모델과 강화학습 단계 없이 선호 답변 쌍으로 언어 모델을 직접 조정 |
같은 선호 비교 데이터도 RLHF와 DPO에 다르게 쓰입니다. 대표적인 RLHF 구현은 먼저 보상 모델을 학습시키고 그 점수로 언어 모델을 강화학습합니다. DPO는 별도의 보상 모델을 학습하는 단계 없이, 선호하는 답변과 선호하지 않는 답변의 쌍으로 언어 모델을 직접 조정합니다.
웹 콘텐츠 수정과 RLHF의 차이
RLHF는 학습 과정에서 LLM의 응답 방식을 조정하는 작업입니다. 웹사이트의 회사 소개나 제품 정보를 고치는 일은 RLHF에 해당하지 않습니다. 검색으로 찾은 웹 자료를 답변의 근거로 제공하는 것은 그라운딩에 해당합니다.
AI가 회사의 제품 정보를 잘못 설명했다면 답변에 인용한 페이지부터 대조할 수 있습니다. 원문이 오래됐거나 불명확한 문제와, 원문에 없는 내용을 모델이 만들어 낸 문제는 수정할 대상이 다릅니다. 답변의 말투만으로 RLHF나 다른 학습법 중 무엇이 오류를 일으켰는지 알아낼 수는 없습니다.
자주 묻는 질문
지도 미세조정과는 뭐가 다른가요?
지도 미세조정은 모범 입출력 예시를 직접 학습합니다. 대표적인 RLHF 구현은 선호 비교로 보상 모델을 학습한 뒤 강화학습에 이용합니다. 파인튜닝은 RLHF나 다른 선호 최적화까지 포함하는 넓은 의미로 쓰이기도 합니다.
ChatGPT가 정말 이 방법으로 만들어졌나요?
네. OpenAI는 2022년 초기 ChatGPT 발표에서 RLHF를 적용했다고 밝혔습니다. 사람이 사용자와 AI 역할을 모두 맡아 대화 예시를 만들었고, 모델의 여러 답변에 순위를 매긴 데이터로 보상 모델을 학습시켰습니다. InstructGPT와 기본 방법은 같지만 대화 데이터 수집에는 차이가 있었습니다.
Claude도 RLHF로 만들어졌나요?
Anthropic은 사람의 피드백을 쓰는 RLHF를 연구했으며, 2023년에는 Claude에 Constitutional AI를 적용했다고 밝혔습니다. 이 방식은 사람이 정한 원칙으로 AI가 답변을 평가하는 RLAIF를 포함합니다. Claude의 학습을 사람의 피드백만 쓰는 RLHF로 설명하면 이 차이가 빠집니다.
브랜드가 RLHF를 활용할 방법이 있나요?
직접 학습할 수 있는 모델을 운영한다면, 고객 질문에 대한 여러 답변을 정확성이나 응대 기준에 따라 비교해 선호 데이터를 만들 수 있습니다. 이를 RLHF나 DPO 등 후속 학습에 활용할 수 있습니다. 특정 회사의 모델을 조정하는 작업이므로 공개 챗봇 전체의 브랜드 추천을 바꾸는 방법은 아닙니다.
함께 알아두면 좋은 용어
- LLM: 대규모 데이터로 언어의 패턴을 학습해 텍스트를 이해하고 생성하는 모델
- 파인튜닝: 사전학습한 모델을 특정 데이터나 목적에 맞춰 추가로 학습하는 작업
- 할루시네이션: 모델이 사실이나 주어진 근거에 맞지 않는 내용을 그럴듯하게 생성하는 현상
- 그라운딩: 모델이 외부 자료 등 확인 가능한 근거에 기반해 답하도록 하는 과정
참고 문서
- OpenAI, Aligning language models to follow instructions (2022)
- OpenAI, Introducing ChatGPT (2022)
- Ouyang et al., Training language models to follow instructions with human feedback (2022)
- OpenAI, Why language models hallucinate (2025)
- Anthropic, Constitutional AI: Harmlessness from AI Feedback (2022)
- Anthropic, Claude’s Constitution (2023)
- Rafailov et al., Direct Preference Optimization (2023)