할루시네이션은 생성형 AI가 사실이나 주어진 근거와 다른 내용을 그럴듯하게 만들어 내는 오류입니다. 한국어로는 환각이라고도 부릅니다. 존재하지 않는 논문과 URL을 인용하거나 문서에 없는 수치를 그 문서에서 찾았다고 설명하는 경우가 대표적입니다.
자연스럽고 구체적인 답변도 사실과 다를 수 있습니다. ChatGPT, Claude, Gemini의 공식 도움말도 잘못된 사실이나 존재하지 않는 출처를 제시할 가능성을 안내합니다.
할루시네이션으로 볼 수 있는 오류
| 상황 | 할루시네이션 여부 | 이유 |
|---|---|---|
| 존재하지 않는 논문 제목과 URL을 실제 출처처럼 제시 | 해당 | 실제로는 없는 근거를 있다고 주장합니다. |
| 제공한 PDF에 없는 수치를 PDF에서 찾았다고 설명 | 해당 | 자료에 없는 내용을 그 자료의 사실로 제시합니다. |
| 실제 인물의 직책이나 생일을 근거 없이 만들어 냄 | 해당 | 불확실한 정보를 사실처럼 단정합니다. |
| 확인할 수 없다고 답변 | 해당하지 않음 | 알 수 없는 내용을 만들어 내지 않고 답을 보류합니다. |
| 미래 전망임을 밝히고 가능성을 설명 | 예측 자체는 해당하지 않음 | 다만 예측의 근거로 제시한 사실이 맞는지는 검증해야 합니다. |
| 틀린 원문을 원문대로 요약 | 원문 오류와 구별 필요 | 답변이 사실과 달라도 AI가 원문에 없는 내용을 추가한 것은 아닐 수 있습니다. |
| 모호한 질문을 사용자와 다르게 해석 | 별도 확인 필요 | 의도와 다른 답이라는 사실만으로 내용을 지어냈다고 볼 수는 없습니다. |
검색한 원문부터 틀렸다면 출처를 바로잡아야 하고, 원문은 맞는데 답변이 다르다면 해석과 요약 과정을 검토해야 합니다. 답변의 어느 부분이 틀렸는지와 그 내용이 어디서 나왔는지를 함께 조사해야 같은 오류를 줄일 수 있습니다.
할루시네이션이 생기는 이유
LLM은 입력 문맥을 바탕으로 다음에 올 토큰을 예측하며 답변을 생성합니다. 자연스럽게 이어지는 문장을 만드는 능력과 사실을 정확히 답하는 능력은 같지 않습니다. 문법과 어순이 맞더라도 날짜나 인물, 출처를 잘못 연결할 수 있습니다.
사전학습 자료에는 일반적으로 문장마다 참과 거짓을 구별하는 표시가 붙어 있지 않습니다. 자주 등장하는 언어의 규칙은 학습할 수 있어도, 자료에 드물게 나오는 개인의 생일 같은 사실을 문장의 패턴만으로 알아낼 수는 없습니다. 질문의 조건이 빠져 있거나 관련 정보를 찾지 못한 상황에서 모델이 답을 보류하지 않고 추측하면 오류가 생길 수 있습니다.
OpenAI의 2025년 연구는 정답률 위주의 평가가 이런 추측을 부추길 수 있다고 분석했습니다. 모른다고 답하면 점수를 얻지 못하지만 추측하면 일부라도 맞힐 수 있기 때문입니다. 평가 방식이 환각을 직접 만들어 낸다는 뜻은 아닙니다. 이런 평가에서 높은 점수를 받도록 모델을 개발하면 불확실성을 밝히기보다 답을 추측하는 경향을 강화할 수 있다는 설명입니다.
검색과 출처가 있어도 남는 오류
웹 검색과 RAG는 답변에 필요한 외부 자료를 찾아 모델에 제공하며, 학습 이후의 정보도 보완할 수 있습니다. 그라운딩은 답변이 이런 근거에 기반하도록 하는 과정입니다. 다만 자료를 찾았다는 사실만으로 답변이 정확해지지는 않습니다.
질문과 맞지 않거나 오래된 문서를 찾을 수 있고, 올바른 문서를 찾더라도 적용 조건을 빠뜨린 채 요약할 수 있습니다. 여러 출처의 수치를 합치는 과정에서 조사 대상이나 기간을 섞거나, 자료에 없는 주장을 덧붙이는 오류도 생길 수 있습니다. 그래서 인용 링크의 존재뿐 아니라 원문이 답변의 주장을 뒷받침하는지까지 검증해야 합니다.
AI 답변의 오류를 확인하는 순서
날짜와 숫자, 인용처럼 확인할 수 있는 주장을 찾습니다
답변에서 날짜와 숫자, 인명, 직책, 인용문, 논문 제목과 URL을 표시합니다. 이 항목들은 공식 문서나 원자료와 대조할 수 있습니다. 의견이나 전망을 설명하는 문단에도 이런 사실이 근거로 들어가 있다면 검증 대상에 포함합니다.
출처가 존재하는지, 주장을 뒷받침하는지 확인합니다
링크가 열리는지, 논문 제목과 저자, 발행처가 실제 자료와 일치하는지 확인합니다. 그다음 원문에서 해당 주장의 근거를 찾습니다. 답변이 원문을 다른 표현으로 요약할 수는 있지만, 수치의 대상과 기간, 적용 조건을 바꾸거나 원문보다 강하게 단정했다면 수정해야 합니다.
최신 정보를 실제로 조회했는지 살펴봅니다
서비스 화면의 검색 기록과 출처 표시에서 웹 검색이나 리서치 기능을 실행했는지 살펴봅니다. AI가 답변에서 "검색했다"고 말하는 것만으로 판단하지 않습니다. 검색한 자료도 오래됐을 수 있으므로 출처의 발행일과 마지막 수정일을 확인합니다.
중요한 판단은 해당 기관의 원자료로 대조합니다
의료와 법률, 금융, 가격과 계약 조건처럼 잘못 알았을 때 손해가 큰 정보는 해당 기관의 공식 문서나 원자료를 확인합니다. 여러 웹페이지가 같은 내용을 반복하더라도 모두 같은 출처를 옮긴 것이라면 독립된 근거가 여러 개 생긴 것은 아닙니다.
같은 질문의 답이 반복해서 바뀐다면 원문을 확인할 필요가 있습니다. 다만 모델, 검색결과, 대화 문맥의 차이로 답이 달라질 수도 있어 변화 자체가 할루시네이션의 증거는 아닙니다.
브랜드 정보가 틀렸을 때의 대응
AI가 회사의 대표와 위치, 가격, 서비스 범위를 틀리게 답했다면 먼저 오류가 어디서 시작됐는지 확인합니다.
- 답변과 질문, 사용한 서비스와 날짜를 기록합니다.
- 표시된 출처와 검색결과에서 같은 오류가 있는지 찾습니다.
- 공식 사이트와 비즈니스 프로필에서 틀리거나 오래된 정보를 바로잡습니다.
- 외부 출처에 오류가 있다면 해당 사이트에 정정을 요청합니다.
- 같은 질문을 일정한 간격으로 다시 실행해 오류가 남아 있는지 확인합니다.
공식 페이지를 갱신하면 검색 기능이 참고할 수 있는 정확한 출처를 제공할 수 있습니다. 다만 웹페이지 수정이 AI 답변에 즉시 반영된다고 보장할 수는 없습니다. 서비스의 부정적 평가나 신고 기능이 있다면 틀린 답변과 올바른 출처를 함께 제출합니다.
자주 묻는 질문
할루시네이션은 완전히 없앨 수 있나요?
현재의 생성형 AI에서는 오류 가능성을 전제로 사용해야 합니다. 모델 개선과 검색, 그라운딩으로 오류를 줄일 수는 있지만 정확성을 보장하지는 않습니다. 중요한 사실은 원문 확인이 필요합니다.
출처가 붙은 답변은 믿어도 되나요?
출처가 없는 답변보다 검증하기 쉽지만 정확성을 보장하지는 않습니다. 링크가 실제로 존재하는지 확인한 뒤, 원문이 답변의 핵심 주장과 적용 조건을 뒷받침하는지 대조해야 합니다.
최신 모델은 할루시네이션이 없나요?
아니요. 모델과 과제에 따라 오류 정도는 달라지지만, 최신 서비스들도 부정확한 사실과 인용을 만들 수 있다고 안내합니다. 모델이 바뀌어도 중요한 숫자와 인용, 의사결정에 쓰일 조건은 원문과 대조해야 합니다.
틀린 답변을 신고하면 바로 수정되나요?
서비스의 평가나 신고 기능으로 오류를 전달할 수 있지만, 특정 답변이나 모델 지식이 바로 수정된다고 보장되지는 않습니다. 답변이 인용한 원출처에도 오류가 있다면 그 정보도 바로잡아야 합니다.
함께 알아두면 좋은 용어
- 그라운딩: 답변을 외부 근거와 연결해 오류를 줄이는 방식
- RAG: 질문과 관련된 문서를 검색해 생성 과정에 제공하는 구조
- 지식 컷오프: 모델의 내장 지식 범위를 설명하는 기준 시점
- AI 인용: AI 답변에 참고 출처가 표시되는 방식