사고 사슬은 언어 모델이 답을 도출할 때 거치는 중간 추론 단계입니다. 이런 풀이 과정을 예시로 제공하는 기법은 사고 사슬 프롬프팅이라고 합니다. 영어 Chain of Thought를 줄여 CoT로 부릅니다.
풀이 예시는 사용자가 모델에 주는 입력이고, 사고 요약은 모델이 추론한 내용을 서비스가 보여 주는 출력입니다. 둘은 입력을 설계하는 방법과 결과를 공개하는 방식이라는 점에서 구별됩니다.
CoT 프롬프팅과 내부 추론의 차이
| 용어 | 뜻 |
|---|---|
| CoT 프롬프팅 | 풀이 예시나 단계 지시를 입력에 넣는 사용법 |
| 내부 추론 | 모델이 답을 만들면서 수행하지만 제공사가 상세를 공개하지 않을 수 있는 과정 |
| 사고 요약 | 서비스가 사용자에게 보여 주는 설명으로, 실제 내부 추론 전문과 같다고 볼 수 없음 |
| 확장 사고 기능 | 모델이 추론에 추가 시간과 토큰을 쓰도록 하는 기능. 모델마다 지원 범위와 과금 방식이 다름 |
응답에 긴 풀이가 나왔다고 내부 추론 전체를 공개했다고 볼 수는 없습니다. 제품 문서에서 reasoning, thinking summary, extended thinking 중 무엇을 제공하는지 확인해야 합니다.
프롬프트에서 쓰는 방법
전통적인 CoT 프롬프팅은 정답뿐 아니라 중간 풀이까지 담은 예시를 입력합니다. 모델이 비슷한 문제를 풀 때 그 형식을 참고하도록 하는 방법입니다.
24,000원짜리 티셔츠를 25% 할인할 때 결제 금액을 계산하는 상황을 가정하겠습니다.
- 답만 요청: “결제 금액만 알려줘.”
- 풀이 예시 제공: “먼저 할인액을 구하고 원래 가격에서 빼는 아래 예시를 따라 계산해 줘.”
- 검증 가능한 출력 요청: “계산식과 최종 금액을 나눠 적어 줘.”
풀이 예시에는 “할인액은 24,000원×0.25=6,000원이고, 결제 금액은 24,000원−6,000원=18,000원입니다”처럼 중간 계산을 적습니다. 모델이 다른 할인 문제에도 이 풀이 방식을 적용하도록 문제와 답 사이의 단계를 보여 주는 것입니다.
모델의 답을 검토할 때는 최종 금액뿐 아니라 할인율을 어떤 금액에 적용했는지도 대조합니다. 풀이가 길어도 전제나 계산이 틀릴 수 있으므로, 설명의 길이를 정확도의 기준으로 삼지는 않습니다.
모델에 따라 달라지는 사용법
“단계별로 생각해”라는 지시가 모든 모델에 유효한 것은 아닙니다. OpenAI는 자사 추론 모델에 목표와 제약을 간결하게 전달하고 단계별 사고를 강요하지 말라고 안내합니다. Anthropic도 확장 사고 기능과 수동 CoT 프롬프팅을 별도로 설명합니다.
간단한 사실 조회나 형식 변환에는 긴 풀이가 비용과 지연만 늘릴 수 있습니다. 실제 업무 질문으로 예시를 넣은 요청과 넣지 않은 요청을 비교해, 정답이 늘었는지와 응답 시간, 사용량이 얼마나 달라졌는지 평가합니다. 예시를 넣어도 정확도가 나아지지 않는 작업이라면 계속 사용할 이유가 적습니다.
쿼리 팬아웃과 무엇이 다른가
쿼리 팬아웃은 질문을 여러 하위 검색으로 나누는 검색 방식입니다. 사고 사슬은 모델의 추론 단계이고, CoT 프롬프팅은 풀이 예시나 지시로 단계적인 답변을 유도하는 방법입니다.
쿼리 팬아웃으로 모은 자료를 모델이 추론에 활용할 수는 있습니다. 그러나 여러 검색어로 자료를 찾는 작업 자체가 사고 사슬은 아니며, CoT 프롬프팅을 썼다고 반드시 웹 검색이 실행되는 것도 아닙니다.
2022년 원 논문의 실험
2022년 사고 사슬 프롬프팅 논문은 입력 예시에 정답과 풀이 과정을 함께 제공했습니다. 실험에서는 큰 모델이 일부 산술 문제와 상식 추론 과제에서 더 높은 정확도를 보였습니다.
GSM8K 실험에서는 PaLM 540B에 풀이 예시 8개를 넣었을 때 정답률이 17.9%에서 56.9%로 높아졌습니다. 이 수치는 해당 모델과 평가 과제의 결과입니다. 다른 모델이나 업무에서도 같은 폭으로 개선된다고 일반화할 수는 없습니다.
자주 묻는 질문
지금도 단계별로 생각하라고 써야 하나요?
사용하는 모델에 따라 다릅니다. OpenAI 추론 모델에는 불필요하다는 공식 안내가 있습니다. 다른 모델에서는 같은 문제를 지시 유무로 나눠 풀게 해 정답률과 응답 시간을 비교하고, 제공사의 권장 방식도 참고합니다.
모델의 사고 과정을 볼 수 있나요?
일부 서비스는 사고 요약이나 중간 설명을 보여 줍니다. 다만 화면에 표시한 설명이 비공개 내부 추론 전체를 그대로 옮긴 것이라고 볼 수는 없습니다.
사고 사슬을 쓰면 할루시네이션이 없어지나요?
없어지지 않습니다. 잘못된 사실이나 전제로 길게 풀어 쓸 수도 있습니다. 풀이의 길이와 별개로 최종 답변과 근거를 검증해야 합니다.
함께 알아두면 좋은 용어
- 프롬프트 엔지니어링: 모델이 원하는 결과를 내도록 입력을 설계하고 평가하는 작업
- 쿼리 팬아웃: 검색 질문을 여러 하위 검색으로 나누는 방식
- LLM: 문맥을 바탕으로 텍스트를 생성하는 대규모 언어 모델
- 할루시네이션: 모델이 사실과 다른 내용을 만드는 현상