사고 사슬 (Chain of Thought)

사고 사슬은 언어 모델이 답에 이르기까지 거치는 중간 추론 단계 또는 그런 풀이 예시를 이용하는 프롬프팅 기법을 가리킵니다. Chain of Thought를 줄여 CoT라고 부릅니다.

이 말에는 서로 다른 두 대상이 섞여 있습니다. 모델 안에서 일어나는 추론 과정과, 사용자가 프롬프트에 풀이 예시를 넣어 단계적인 답을 유도하는 방법입니다. 서비스가 화면에 보여 주는 사고 요약도 비공개 내부 추론 전문과 같다고 볼 수 없습니다.

CoT 프롬프팅과 내부 추론의 차이

따라서 모델이 긴 설명을 보여 줬다는 사실만으로 내부 추론을 모두 공개했다고 말하면 안 됩니다. 제품 설명에서 reasoning, thinking summary, extended thinking 가운데 무엇을 제공하는지 따로 확인해야 합니다.

프롬프트에서 쓰는 방법

전통적인 CoT 프롬프팅은 비슷한 문제의 풀이 예시를 입력에 넣습니다.

예를 들어 티셔츠가 24,000원이고 25% 할인일 때 결제 금액을 묻는다고 해보겠습니다.

• 답만 요청: 결제 금액만 알려줘.
• 풀이 예시 제공: 먼저 할인액을 구하고 원래 가격에서 빼는 아래 예시를 따라 계산해 줘.
• 검증 가능한 출력 요청: 계산식과 최종 금액을 나눠 적어 줘.

정답 18,000원이 나오는지만 보지 말고 계산식이 맞는지, 응답 시간과 사용량이 얼마나 달라지는지도 확인합니다. 민감한 판단에서는 길게 생각하게 해 달라고 요구하기보다 근거 자료, 계산식과 최종 판단 기준처럼 사용자가 검증할 수 있는 결과를 받는 편이 중요합니다.

모델에 따라 달라지는 사용법

모든 모델에 단계별로 생각해라는 문장을 붙이는 것이 정답은 아닙니다. OpenAI는 자사 추론 모델에는 목표와 제약을 간결하게 주고 단계별 사고를 강요하지 말라고 안내합니다. Anthropic도 확장 사고 기능과 수동 CoT 프롬프팅을 구분합니다.

간단한 사실 조회나 형식 변환에서는 긴 풀이가 비용과 지연만 늘릴 수 있습니다. 사용 중인 모델의 공식 프롬프팅 안내를 보고, 실제 업무 예시 여러 개로 결과를 비교해야 합니다.

쿼리 팬아웃과의 차이

쿼리 팬아웃은 검색 시스템이 질문을 여러 하위 검색으로 나누는 방식입니다. 사고 사슬은 모델의 추론이나 이를 유도하는 프롬프팅을 가리킵니다.

복잡한 문제를 작은 단계로 나눈다는 모습은 닮았지만 처리 위치가 다릅니다. AI 검색이 여러 검색어를 만들었다는 사실과 모델이 내부에서 어떤 추론을 했는지를 같은 기술로 묶으면 안 됩니다.

2022년 원 논문의 실험

사고 사슬 프롬프팅이라는 이름을 널리 알린 2022년 논문은 프롬프트 예시에 답만 적는 대신 풀이 과정을 함께 넣었습니다. 일부 산술과 상식 추론 과제에서 큰 모델의 정확도가 높아졌습니다.

논문 본문의 GSM8K 실험에서는 PaLM 540B 모델에 풀이 예시 8개를 넣었을 때 정답률이 17.9%에서 56.9%로 올랐습니다. 특정 모델과 평가 과제의 결과이므로 모든 모델과 업무에서 같은 개선을 보장하는 수치로 쓰면 안 됩니다.

함께 알아두면 좋은 용어

• 프롬프트 엔지니어링: 모델이 원하는 결과를 내도록 입력을 설계하고 평가하는 작업
• 쿼리 팬아웃: 검색 질문을 여러 하위 검색으로 나누는 방식
• LLM: 사고 사슬이 작동하는 언어 모델
• 할루시네이션: 모델이 사실과 다른 내용을 만드는 현상

참고 문서

• Wei 외, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
• OpenAI, Reasoning best practices
• OpenAI, Reasoning 가이드
• Anthropic, Extended thinking 공식 문서