컨텍스트 엔지니어링 (Context Engineering)

컨텍스트 엔지니어링은 언어 모델에 어떤 정보를 언제 넣을지 정하는 작업입니다. 지침과 대화 기록, 검색 자료, 저장된 메모리 가운데 필요한 내용을 골라 구성하고, 작업이 진행되면 새 정보로 갱신합니다. 모델이 사용할 도구의 설명과 실행 결과도 관리 대상입니다.

여기서 컨텍스트는 모델이 답을 생성할 때 입력으로 받은 정보를 뜻합니다. 데이터베이스에 자료를 저장해 두었더라도, 현재 입력에 포함하지 않았다면 모델은 그 자료를 직접 참고할 수 없습니다.

프롬프트 밖의 정보까지 다룹니다

고객 지원 AI가 환불 문의에 답하려면 질문 외에도 주문 정보와 적용할 정책을 알아야 합니다.

• 회사의 환불 정책 중 관련된 절
• 고객의 현재 주문 상태와 결제일
• 환불을 실행할 수 있는 도구와 권한
• 앞선 대화에서 확인한 주문번호
• 여러 버전의 정책 중 해당 주문에 적용할 정책을 고르는 기준

주문 정보를 조회했다면 그 결과를 다음 모델 호출에 넣고, 대화가 길어져도 주문번호와 적용 정책은 남겨야 합니다. 조회에 실패했을 때는 오류를 알리고 환불 처리를 중단하는 등, 도구 실행 결과에 따른 처리 절차도 정합니다.

프롬프트 엔지니어링과 RAG가 맡는 부분

프롬프트 엔지니어링은 모델이 수행할 역할, 목표와 제약을 지시문으로 표현합니다. 원하는 출력 형식과 예시를 설계하는 일도 포함합니다.

RAG는 질문과 관련된 외부 자료를 검색해 모델 입력에 더합니다. 구현에 따라 검색어 생성, 문서 분할과 검색 결과 재정렬도 수행합니다.

컨텍스트 엔지니어링은 지시문과 검색 자료를 포함해 입력 전체를 관리합니다. 작업 단계에 따라 사용할 도구를 제한하거나, 과거 대화를 요약해 넣거나, 저장해 둔 메모리를 불러올 수 있습니다. 여러 에이전트가 협업한다면 서로 어떤 정보를 전달할지도 정합니다.

파인튜닝은 추가 학습으로 모델의 가중치를 바꿉니다. 컨텍스트 엔지니어링은 가중치를 바꾸지 않고, 모델이 답을 생성하는 추론 시점에 제공할 정보를 조정합니다.

긴 대화에서 남길 정보와 줄일 정보

컨텍스트 윈도우에는 처리할 수 있는 한도가 있습니다. 대화, 로그와 도구 결과를 계속 더하면 중요한 근거를 놓치거나 오래된 지시를 최신 상태보다 우선할 수 있습니다.

긴 작업을 수행하는 에이전트에서는 다음처럼 정보를 정리합니다.

• 끝난 단계의 세부 로그를 짧게 요약합니다.
• 다시 구할 수 있는 자료는 필요할 때 재검색합니다.
• 현재 목표와 결정 사항은 남기고 오래된 가설은 지웁니다.
• 상충하는 자료에는 날짜와 우선순위를 붙입니다.
• 도구 목록을 지금 단계에 필요한 것만 보여 줍니다.

요약은 단순히 글자 수를 줄이는 일이 아닙니다. 결정 사항이나 아직 해결하지 못한 문제를 빠뜨리면 이후 작업이 잘못될 수 있으므로, 원래 기록과 대조해 필요한 조건이 남았는지 점검해야 합니다.

오류가 난 지점을 찾는 순서

오답의 원인은 지시문뿐 아니라 누락된 자료나 잘못된 도구 결과일 수 있습니다. 실제 모델 입력과 실행 기록을 다음 순서로 대조합니다.

1. 정답에 필요한 사실이 컨텍스트에 있었는지 봅니다.
2. 검색기가 맞는 문서와 문단을 찾았는지 확인합니다.
3. 오래됐거나 상충하는 자료가 함께 들어갔는지 봅니다.
4. 어떤 자료를 우선할지 지시가 있었는지 확인합니다.
5. 도구 설명과 반환 값이 모델이 읽을 수 있는 형태였는지 봅니다.
6. 긴 기록을 요약하면서 핵심 조건이 빠졌는지 확인합니다.
7. 같은 입력으로 다시 실행해 오류가 반복되는지 봅니다.

필요한 사실이 빠졌다면 원문에 그 정보가 없는지, 검색 과정에서 놓쳤는지부터 가립니다. 서로 다른 정책을 혼동했다면 문서별 적용 조건과 우선순위를 명시합니다. 도구가 틀린 값을 반환한 경우에는 지시문을 고쳐도 해결되지 않으므로 도구 자체의 오류를 수정해야 합니다.

SEO와 콘텐츠 실무에서는 언제 쓰나요?

컨텍스트 엔지니어링은 자체 검색형 챗봇, 사내 RAG와 AI 에이전트를 개발할 때 직접 적용합니다. 웹페이지의 검색 순위를 높이는 SEO 기법으로 분류하지는 않습니다.

자사 콘텐츠를 답변 자료로 쓰는 챗봇이라면 어떤 페이지를 검색해 넣을지, 개정 전후 문서가 함께 검색됐을 때 무엇을 적용할지 설계할 수 있습니다. 반면 외부 AI 검색 서비스가 모델에 넣는 정보는 사이트 운영자가 직접 정할 수 없습니다. 자체 챗봇에서 효과가 있었던 문단 배치가 외부 서비스의 인용까지 보장하지는 않습니다.

함께 알아두면 좋은 용어

• 프롬프트 엔지니어링: 모델 지시문과 예시를 설계하는 작업
• RAG: 외부 자료를 검색해 모델 입력에 더하는 방식
• 컨텍스트 윈도우: 모델이 한 요청에서 다룰 수 있는 토큰 범위
• MCP: AI와 도구, 데이터 소스를 연결하는 규격

참고 문서

• Anthropic, Effective context engineering for AI agents
• Google Cloud, AI 컨텍스트 엔지니어링
• LangChain, Context engineering in agents
• A Survey of Context Engineering for Large Language Models