프롬프트 인젝션 (Prompt Injection)

프롬프트 인젝션은 신뢰하지 않은 입력 속 지시 때문에 AI가 원래 목적과 다른 작업을 하게 되는 취약점과 공격을 말합니다. 공격자가 일부러 심은 문구뿐 아니라 정상 문서 안의 지시를 데이터와 구분하지 못해 생길 수도 있습니다. SQL 인젝션에 빗댄 이름은 2022년 개발자 사이먼 윌리슨이 제안하고 널리 알렸습니다. 웹페이지와 파일이 통로가 될 수 있어 콘텐츠 운영자도 알아둘 필요가 있습니다.

이 글은 사이먼 윌리슨의 원 글, OWASP LLM Top 10, 원 논문과 Google 검색 스팸 정책을 기준으로 작성했습니다.

직접 인젝션과 간접 인젝션

보안 표준 OWASP는 LLM 위협 1순위(LLM01)로 프롬프트 인젝션을 꼽고 둘로 나눕니다.

• 직접 인젝션: 사용자가 직접 입력한 프롬프트로 모델의 동작을 의도치 않게 바꿉니다. 이전 지시를 무시하라는 식의 조작이 전형입니다
• 간접 인젝션: 모델이 웹페이지나 파일 같은 외부 소스에서 입력을 받을 때, 그 안에 심어진 지시가 모델을 조작합니다

검색과 콘텐츠 운영에서는 외부 웹페이지가 공격 통로가 되는 간접 인젝션을 주로 봅니다. AI가 요약하려고 가져온 문서 안의 지시를 사용자 요청처럼 처리하면 문제가 생길 수 있습니다. 이 공격 경로는 2023년 Greshake 등의 논문에서 체계적으로 다뤘습니다.

정상 콘텐츠와 공격 입력의 차이

문장 모양만으로 공격을 완벽히 판정할 수는 없습니다. 시스템이 외부 문서에 어떤 권한을 주는지, 문서의 지시가 도구 실행과 데이터 유출로 이어질 수 있는지를 함께 봐야 합니다.

숨긴 텍스트와 클로킹은 Google 스팸 정책이 다루는 대상입니다. AI 답변을 조작하려고 사용자에게 보이지 않는 지시를 넣는 방식은 보안 위험과 검색 스팸 문제를 함께 만들 수 있습니다.

운영자가 확인하는 방법

1. AI가 읽는 웹페이지와 파일, 이메일, 사용자 입력의 출처를 구분합니다
2. 외부 콘텐츠를 시스템 지시와 분리해 낮은 신뢰의 데이터로 다룹니다
3. 외부 문서가 도구 호출이나 비밀 정보 접근을 직접 지시해도 자동 실행되지 않게 합니다
4. 영향이 큰 작업은 권한 범위를 줄이고 사용자 확인과 실행 기록을 둡니다
5. 웹페이지의 숨긴 텍스트와 화면 밖 요소, 사용자 생성 콘텐츠를 점검합니다
6. 정상 입력과 공격 문구를 포함한 테스트 세트로 방어가 작동하는지 반복 확인합니다

현재 알려진 한 가지 설정만으로 프롬프트 인젝션을 완전히 막을 수는 없습니다. 단순 키워드 차단에 기대지 않고 격리와 최소 권한, 승인, 검증과 모니터링을 여러 겹으로 적용합니다.

콘텐츠 운영자가 가져갈 것

이 개념의 실무 의미는 두 방향입니다. 하나는 하지 말아야 할 것의 확인입니다. AI 노출을 노려 숨긴 지시를 넣으라는 조언은 프롬프트 인젝션 시도이자 스팸 정책 위반이라, GEO 전술로 팔리더라도 걸러야 합니다. 다른 하나는 자사 방어입니다. 사용자 입력이나 외부 데이터를 AI에 넣는 서비스를 운영한다면, 외부 콘텐츠를 신뢰할 지시가 아니라 데이터로 격리하는 것이 기본 대비입니다. AVCD는 AI 노출 전술을 검토할 때 이 개념을 근거 없는 블랙햇 조언을 걸러내는 기준선으로 씁니다.

함께 알아두면 좋은 용어

• LLM: 프롬프트 인젝션의 대상 모델
• AI 검색 최적화: 정당한 노출 관리의 영역
• 구글 페널티: 숨긴 텍스트 스팸의 결과
• AI 크롤러: 웹 콘텐츠를 AI로 가져오는 경로

참고 문서

• Simon Willison, Prompt injection attacks against GPT-3 (2022)
• OWASP, LLM01: Prompt Injection
• Greshake et al., Not what you’ve signed up for: Indirect Prompt Injection (2023)
• Google 검색 센터, 스팸 정책 (숨긴 텍스트, 생성형 AI 응답 조작)