RAG는 생성형 AI가 답변할 때 참고하도록 외부 자료를 검색해 제공하는 방식입니다. Retrieval-Augmented Generation의 약자로, 검색 증강 생성이라고 합니다. 구현에 따라 답변 전에 한 번 검색하거나 답변을 만드는 과정에서 여러 번 검색할 수 있습니다.
모델이 학습하지 않은 최신 정보나 회사 내부 문서도 검색 대상에 포함하면 답변의 근거로 삼을 수 있습니다. 자료를 모델의 입력에 넣는 방식이므로, 문서가 바뀔 때마다 모델을 다시 학습시킬 필요는 없습니다.
검색, 증강, 생성의 기본 흐름
- 검색 단계에서 문서 저장소나 웹의 관련 자료를 찾습니다.
- 증강 단계에서 찾은 자료를 질문과 함께 모델의 입력에 넣습니다.
- 생성 단계에서 모델이 자료를 참고해 답변을 만듭니다.
검색 결과가 질문과 잘 맞도록 질의를 다시 쓰거나, 검색한 문서를 관련도 순으로 재정렬하는 단계를 추가할 수 있습니다. 질의 재작성과 재정렬은 필요에 따라 선택하며, 모든 RAG가 이 단계를 거치지는 않습니다.
자료를 찾는 여러 방법
웹 검색은 RAG에서 자료를 찾는 방법 중 하나입니다. RAG는 검색 결과를 모델 입력에 보충하고 답변을 생성하는 과정까지 포함합니다.
검색 대상은 회사 문서, 제품 데이터베이스, 논문 저장소나 고객지원 문서일 수도 있습니다. 공개 웹을 검색하지 않는 RAG도 구현할 수 있습니다.
RAG와 파인튜닝의 차이
| 구분 | RAG | 파인튜닝 |
|---|---|---|
| 정보 반영 | 답변할 때 외부 자료 검색 | 학습으로 모델 매개변수 조정 |
| 업데이트 | 검색 대상에 최신 자료를 반영 | 새 지식을 반영하려면 추가 학습 필요 |
| 출처 연결 | 검색 문서와 연결 가능 | 학습 데이터 출처를 바로 보여 주기 어려움 |
| 주요 용도 | 최신 정보와 사내 지식 활용 | 특정 작업의 수행 방식이나 응답 형식 학습 |
외부 자료를 검색하면서 특정 작업에 맞춰 파인튜닝한 모델로 답변을 생성하는 등 두 방식을 결합할 수 있습니다.
RAG의 한계
RAG에도 오류가 생길 수 있습니다. 검색기가 관련 문서를 놓치거나 모델이 찾은 내용을 잘못 해석할 수 있고, 출처에 없는 내용을 덧붙일 수도 있습니다.
- 검색 대상에 잘못된 정보나 개정 전 문서가 남아 있는지 점검합니다.
- 문서를 작은 구간으로 나눴다면 답에 필요한 조건까지 같은 구간에서 읽을 수 있는지 확인합니다.
- 검색 결과에 실제로 답의 근거가 들어 있는지 평가합니다.
- 답변의 수치와 조건을 근거 문서와 대조합니다.
- 근거를 찾지 못하면 답을 지어내지 말고, 확인할 수 없다고 응답하도록 설계합니다.
배송비 문의에 답하는 RAG 예시
직원이 사내 챗봇에 “올해 제주 추가 배송비가 얼마인가요?”라고 질문했다고 가정하겠습니다.
- 검색기가 배송 정책 문서에서 “2026년 제주 추가 배송비 3,000원” 구간을 찾습니다.
- 시스템이 질문과 해당 문서 구간을 모델 입력에 함께 넣습니다.
- 모델이 “제주 추가 배송비는 3,000원입니다”라고 답하고 정책 문서를 출처로 표시합니다.
검색기가 2024년 정책을 가져오면 오래된 금액으로 답할 수 있습니다. 최신 문서를 찾았더라도 모델이 원문에 없는 “도서 지역은 5,000원”이라는 조건을 추가할 수 있습니다. 따라서 검색 결과와 생성 답변을 각각 평가해야 합니다.
이런 오류를 검사하려면 대표 질문마다 정답과 근거 문서를 준비해 두어야 합니다. 검색 평가에서는 필요한 문서를 찾았는지, 답변 평가에서는 그 문서의 수치와 조건을 정확히 옮겼는지 기록합니다. 검색에 실패한 질문과 근거를 주고도 틀린 질문을 나누면 고칠 대상을 좁힐 수 있습니다.
웹페이지를 AI 답변의 자료로 제공하려면
웹 문서를 참고하는 AI 서비스도 자료를 수집하고 검색하는 방식은 서로 다를 수 있습니다.
Google의 AI Overviews와 AI Mode에 노출되려면 페이지가 색인되고 스니펫을 표시할 수 있어야 합니다. Search Console의 생성형 AI 기능 설정도 ‘포함’ 상태여야 합니다. 기본값은 포함이며, 상위 속성이 있으면 그 설정을 상속하므로 별도 신청을 뜻하지는 않습니다. Google은 주요 내용을 텍스트로 제공하라고 권장하며, 조건을 충족하더라도 실제 노출을 보장하지는 않습니다.
자주 묻는 질문
RAG를 쓰면 모델을 다시 학습하지 않아도 되나요?
새 문서를 검색 대상에 반영하면 모델을 다시 학습시키지 않고도 그 내용을 답변에 활용할 수 있습니다. 다만 문서를 제대로 찾고 정확히 해석하는지는 별도로 검증해야 합니다.
RAG는 항상 출처를 보여 주나요?
출처 표시는 별도로 구현해야 합니다. 검색 자료를 생성에 참고하는 구조와 사용자가 답변에서 인용 링크를 보는 기능은 구분됩니다.
벡터 데이터베이스가 꼭 필요한가요?
필수는 아닙니다. 키워드 검색이나 기존 데이터베이스 조회로도 답변에 필요한 자료를 가져올 수 있습니다. 벡터 검색은 RAG에서 선택할 수 있는 검색 방식 중 하나입니다.
함께 알아두면 좋은 용어
- AI 인용: 생성 답변이 참고한 출처를 링크나 표기로 연결하는 방식
- AI 검색 최적화: AI 검색에서 콘텐츠의 발견과 활용을 고려하는 작업
- 크롤링: 웹페이지를 발견하고 내용을 가져오는 과정
- 색인: 검색 시스템이 페이지 정보를 저장하는 과정