AI 가드레일은 AI의 입력, 검색 자료, 도구 호출과 출력을 검사해 서비스 정책을 지키도록 하는 장치입니다. 유해한 답변을 거르는 것 외에도, 자료를 읽을 권한을 확인하거나 허용하지 않은 도구 실행을 막을 수 있습니다. 검사 결과에 따라 요청을 허용하거나 내용을 수정하고, 필요하면 차단합니다.
가드레일을 적용하는 단계
가드레일은 AI가 요청을 처리하는 여러 단계에 배치합니다. 어떤 자료를 읽고 어떤 도구를 실행하며 어떤 답변을 내보낼지 각각 검사할 수 있으므로, 하나의 출력 필터로만 구성되지는 않습니다.
- 입력 검사: 사용자의 질문에 유해한 내용, 개인정보나 프롬프트 공격이 들어 있는지 검사합니다.
- 검색 자료 검사: RAG가 찾은 문서 조각에서 민감한 정보나 허용하지 않은 자료를 걸러냅니다.
- 도구 호출 검사: AI가 호출하려는 도구와 입력값, 도구가 돌려준 결과가 허용된 범위인지 검사합니다.
- 출력 검사: 생성한 답에 유해한 표현, 개인정보나 근거 없는 주장이 있는지 검사합니다.
문제가 발견돼도 반드시 요청 전체를 차단하지는 않습니다. 전화번호를 가린 뒤 통과시키거나 허용된 답변으로 바꾸고, 사람에게 검토를 맡기는 방식도 가능합니다.
NVIDIA NeMo Guardrails는 입력, 검색, 대화, 실행과 출력 단계로 가드레일을 구분합니다. 이는 공개된 구현 사례이며, ChatGPT, Gemini, Claude와 Perplexity의 내부 구성까지 같은 것은 아닙니다.
사내 RAG에서 볼 수 있는 작동 예시
사내 규정을 안내하는 AI에 다른 부서의 연봉 규정을 묻는 상황을 가정하겠습니다. 사용자의 열람 권한을 확인하도록 설계했다면 다음과 같이 처리할 수 있습니다.
- 입력 가드레일이 질문에 허용하지 않은 정보 요청이 있는지 검사합니다.
- 검색 시스템이 질문과 관련된 문서 조각을 찾습니다.
- 검색 가드레일이 인증된 사용자의 열람 권한을 기준으로 허용되지 않은 자료를 제외합니다.
- AI가 허용된 자료로 답을 만듭니다.
- 출력 가드레일이 개인정보가 노출되거나 근거와 다른 내용을 답하지 않았는지 검사합니다.
민감한 자료는 원본 저장소와 API에서도 접근 권한을 적용해야 합니다. 검색 결과에서 문서를 제외하는 가드레일만으로 전체 시스템의 접근 통제를 대신할 수는 없습니다.
할루시네이션 검사와 콘텐츠 모더레이션의 차이
콘텐츠 모더레이션, 할루시네이션 검사와 접근 권한 제어는 검사 대상이 다릅니다. 가드레일은 이런 검사를 필요한 단계에 조합할 수 있습니다.
카카오는 Safeguard by Kanana에서 유해 표현, 전문 조언과 개인정보 위험, 프롬프트 인젝션을 서로 다른 모델로 탐지한다고 설명합니다. 사용자 발화와 AI 답변에 여러 검사를 적용하는 실제 사례입니다.
AI 검색에서 자료가 제외되는 경우
가드레일을 적용한 AI 검색에서는 질문과 관련된 문서를 찾았어도 권한이나 정책 검사 결과에 따라 답변 자료에서 제외할 수 있습니다. 답변 초안에 포함한 문장도 출력 검사에서 수정하거나 삭제할 수 있습니다.
자체 서비스라면 검사 로그를 보고 문서가 어느 단계에서 왜 제외됐는지 조사할 수 있습니다. 외부 AI 검색 서비스에서 그런 기록을 제공하지 않는다면, 인용되지 않았다는 사실만으로 가드레일 때문인지 검색 단계에서 선택되지 않은 것인지 판단하기 어렵습니다.
자체 AI 서비스에서 확인할 항목
실제 업무 질문과 공격 사례를 평가 세트에 넣고, 서비스 정책에 따라 각 요청을 허용해야 하는지 미리 정합니다. 실행 결과를 이 기준과 대조해야 위험한 요청을 놓친 경우와 정상 요청을 잘못 막은 경우를 나눠 셀 수 있습니다.
- 실행된 검사 단계와 규칙, 최종 처리 결과를 기록합니다.
- 위험한 요청을 통과시킨 비율과 정상 요청을 차단한 비율을 각각 계산합니다.
- 검색 자료를 제외한 뒤에도 남은 근거만으로 답할 수 있었는지 검토합니다.
- 정책이나 모델을 바꾸면 같은 질문으로 다시 시험해 두 오류가 어떻게 달라졌는지 비교합니다.
자주 묻는 질문
AI 가드레일을 쓰면 할루시네이션이 없어지나요?
가드레일은 근거를 대조하거나 할루시네이션을 탐지해 오류를 줄일 수 있습니다. 그러나 검색한 자료 자체가 틀리거나 검사가 오류를 놓칠 수 있으므로 중요한 사실은 원문과 다시 대조해야 합니다.
가드레일은 모델 안에 들어 있나요?
구현 방식에 따라 다릅니다. 별도 분류 모델, 규칙, 프롬프트와 외부 API를 조합하거나 애플리케이션과 LLM 사이에 검사 단계를 둘 수 있습니다.
공개 웹페이지도 AI 가드레일 때문에 인용에서 빠질 수 있나요?
그럴 수 있습니다. 다만 인용되지 않은 원인이 가드레일인지는 보통 확인하기 어렵습니다. 검색 후보 선정과 품질 판단도 결과에 영향을 주므로, 인용 여부만 보고 특정 검사 규칙에 걸렸다고 단정할 수는 없습니다.
SEO 담당자가 가드레일을 설정할 수 있나요?
사내 챗봇이나 자체 RAG라면 개발팀과 정책, 검사 방식과 평가 기준을 정할 수 있습니다. ChatGPT나 Gemini처럼 외부에서 운영하는 서비스의 내부 가드레일은 사이트 운영자가 설정할 수 없습니다.
함께 알아두면 좋은 용어
- 할루시네이션: AI가 근거 없는 사실이나 출처를 만들어 내는 오류
- RAG: 질문과 관련된 외부 자료를 검색해 답변에 제공하는 구조
- 그라운딩: 생성한 답을 확인 가능한 근거와 연결하는 과정
- 프롬프트 인젝션: AI가 기존 지시를 무시하도록 유도하는 공격