컨텍스트 윈도우는 AI 모델이 한 요청에서 다룰 수 있는 정보의 범위입니다. 크기는 토큰으로 셉니다. 모델이 학습한 지식의 양이 아니라, 현재 요청에 넣은 정보와 생성할 답변의 분량에 적용되는 한도입니다.
한도에 포함되는 항목
입력에는 첨부 문서 외에도 시스템 지침, 현재 질문, 이전 대화와 도구 설명, 도구 실행 결과가 포함됩니다. 답변을 생성할 분량도 남겨 두어야 하므로 컨텍스트 윈도우 전체를 입력 문서로 채울 수는 없습니다.
추론 모델은 사용자에게 보이는 답변 외에 내부 추론에도 토큰을 씁니다. OpenAI의 추론 토큰은 컨텍스트 윈도우와 출력 토큰 한도에 포함되며, API 응답의 사용량 정보에서 확인할 수 있습니다. Claude에서도 현재 응답의 사고 토큰은 한도에 포함됩니다. 다만 이전 대화의 사고 내용을 다음 요청에 계속 포함할지는 모델과 설정에 따라 다릅니다.
한도를 넘으면 요청을 거부하거나 입력을 잘라낼 수 있습니다. 오래된 대화를 요약하는 제품도 있습니다. 어떤 처리를 하는지는 API, 챗 서비스와 설정에 따라 달라집니다.
한도 안에 들어가도 생길 수 있는 오류
모델과 버전에 따라 최대 컨텍스트 크기가 다릅니다. 긴 문서를 입력할 수 있어도, 모델이 그 안의 모든 정보를 정확하게 찾아 쓴다는 뜻은 아닙니다.
Anthropic은 컨텍스트가 길어질수록 입력 안의 정보를 정확히 찾아내는 능력이 점진적으로 떨어지는 현상을 컨텍스트 로트(context rot)라고 설명합니다. 한도에 도달한 순간에만 문제가 생기는 것이 아니라, 한도 안에서도 분량이 늘면서 정확도가 낮아질 수 있다는 뜻입니다.
정보의 위치도 영향을 줄 수 있습니다. Liu 외 연구진의 2023년 Lost in the Middle 연구에서는 여러 문서에서 답을 찾는 과제와 키에 대응하는 값을 찾는 과제를 실험했습니다. 답에 필요한 정보가 입력의 처음이나 끝에 있을 때보다 중간에 있을 때 성능이 떨어졌으며, 긴 컨텍스트를 지원하는 모델에서도 이 현상을 관찰했습니다. 이는 당시 실험에 사용한 모델과 과제에서 얻은 결과입니다.
컨텍스트 로트는 입력 분량에 따른 성능 저하를, Lost in the Middle은 정보 위치에 따른 성능 차이를 다룹니다. 긴 입력을 평가할 때는 분량과 근거의 위치를 모두 바꿔 보며 오답과 누락이 생기는지 검사해야 합니다.
자료 전체를 넣을지 RAG로 검색할지
자료가 작고 자주 바뀌지 않는다면 전체를 입력하는 방식으로도 처리할 수 있습니다. 자료가 많거나 갱신이 잦다면 RAG로 필요한 부분만 검색해 넣는 방식이 유용합니다. 전체를 넣으면 검색 누락을 피할 수 있지만 입력이 길어지고, RAG는 입력을 줄이는 대신 필요한 근거를 검색기가 찾아야 합니다.
어느 분량부터 RAG를 써야 하는지 일률적인 기준은 없습니다. 같은 질문과 자료로 두 방식을 시험해 답의 정확도, 처리 시간과 비용을 비교해야 합니다.
콘텐츠 배치와 AI 인용에 적용할 때의 주의점
자체 챗봇에서는 모델에 넣는 문서의 분량과 순서를 직접 조정할 수 있습니다. 외부 AI 검색에서는 웹페이지를 그대로 넣을지, 일부를 잘라 넣을지 사이트 운영자가 정할 수 없습니다. 웹페이지의 첫 문단이 모델 입력에서도 앞부분에 놓인다고 가정할 수 없는 이유입니다. Lost in the Middle 연구만으로 특정한 문단 배치가 AI 인용을 늘린다고 결론 내릴 수는 없습니다.
자주 묻는 질문
컨텍스트 윈도우는 입력의 한도 아닌가요?
입력과 생성할 출력을 함께 고려해야 합니다. 추론 모델이라면 화면에 보이지 않는 추론 토큰도 포함되므로, 입력 문서가 한도보다 짧아도 답변 도중 한도에 도달할 수 있습니다.
긴 컨텍스트 모델이면 책을 통째로 읽힐 수 있나요?
입력과 출력에 필요한 분량이 지원 한도 안에 들어가면 가능합니다. 다만 책의 각 부분에서 근거를 찾아야 하는 질문으로 누락과 오답을 검사해야 합니다. 필요한 내용을 놓친다면 문서를 나누는 청킹과 검색을 적용해 비교할 수 있습니다.
컨텍스트 윈도우가 계속 커지면 RAG는 사라지나요?
컨텍스트가 커져도 자료가 계속 늘거나 자주 바뀌면 검색이 필요할 수 있습니다. 사용자별로 접근할 수 있는 문서가 다른 경우에도 허용된 자료만 골라 제공해야 합니다.
한도를 넘으면 어떻게 되나요?
제품과 설정에 따라 오류를 반환하거나 입력을 자르고, 이전 대화를 요약할 수 있습니다. 공식 안내를 확인한 뒤 실제 입력 토큰, 출력 한도와 초과 시 응답을 시험합니다.
함께 알아두면 좋은 용어
- 토큰: 컨텍스트 윈도우를 재는 단위
- RAG: 외부 자료에서 필요한 내용을 검색해 답변에 제공하는 방식
- 청킹: 검색과 처리를 위해 문서를 작은 구간으로 나누는 작업
- LLM: 대규모 텍스트로 학습해 언어를 이해하고 생성하는 모델