AI 크롤러는 AI 서비스가 웹페이지를 수집하거나 확인할 때 쓰는 자동화 봇입니다. 모델 학습, 검색 색인, 사용자 요청 처리와 안전성 확인 등 목적에 따라 역할이 나뉩니다. 한 회사가 여러 봇을 운영하기도 하고, 구글봇처럼 기존 검색 크롤러가 AI 검색에 필요한 자료까지 수집하기도 합니다.
학습용, 검색용, 사용자 요청용 봇
같은 회사의 봇이라도 수집 목적에 따라 별도로 허용하거나 차단할 수 있습니다. 예를 들어 OpenAI는 모델 학습용 수집을 GPTBot으로, ChatGPT 검색용 수집을 OAI-SearchBot으로 관리합니다.
| 운영사 | 봇 | 주 용도 | robots.txt 준수 |
|---|---|---|---|
| OpenAI | GPTBot | 모델 학습용 수집 | 준수 |
| OpenAI | OAI-SearchBot | ChatGPT 검색 결과에 표시할 페이지 수집 | 준수 |
| OpenAI | OAI-AdsBot | 광고로 제출한 랜딩페이지의 안전성과 관련성 확인 | 공식 문서에 별도 안내 없음 |
| OpenAI | ChatGPT-User | 사용자 요청 시 실시간 페이지 방문 | 적용 안 될 수 있음 |
| Anthropic | ClaudeBot | 모델 학습용 수집 | 준수 |
| Anthropic | Claude-SearchBot | Claude 검색 결과 품질 개선용 수집 | 준수 |
| Anthropic | Claude-User | 사용자 질문에 답하기 위한 실시간 방문 | 준수 |
| Perplexity | PerplexityBot | 검색 결과 노출용 수집 | 준수 |
| Perplexity | Perplexity-User | 사용자 질문에 답하기 위한 실시간 방문 | 일반적으로 따르지 않음 |
사용자 요청으로 방문하는 봇이라고 해서 모두 robots.txt를 무시하는 것은 아닙니다. Claude-User는 robots.txt를 준수합니다. 반면 ChatGPT-User는 규칙을 적용하지 않을 수 있고, Perplexity-User는 일반적으로 따르지 않는다고 각 운영사가 명시합니다.
Google 검색의 AI Overviews와 AI Mode는 구글봇이 수집한 콘텐츠를 활용합니다. Google-Extended는 별도로 페이지를 방문하는 봇이 아니라, 수집한 콘텐츠의 AI 활용 범위를 지정하는 robots.txt 제어 토큰입니다. Gemini 모델의 학습과 일부 Gemini 서비스의 답변 근거 제공을 제어하며, 차단해도 Google 검색 색인과 순위에는 영향을 주지 않습니다. AI Overviews와 AI Mode에서 사이트를 제외하려면 Search Console의 Search generative AI 설정을 이용합니다.
차단과 허용의 판단 기준
robots.txt에서는 봇별로 접근 규칙을 지정합니다. AI 모델 학습을 거부하면서 AI 검색 노출은 허용할 수 있으므로, 모든 AI 봇에 같은 규칙을 적용할 필요는 없습니다.
- GPTBot과 ClaudeBot 차단은 사이트 콘텐츠를 향후 모델 학습에 쓰지 말라는 의사를 전달하는 설정입니다.
- OAI-SearchBot을 차단하면 ChatGPT 검색 답변에 사이트가 표시되지 않습니다. 다만 사이트로 이동하기 위한 링크는 남을 수 있습니다. Claude-SearchBot 차단도 검색용 색인을 막아 Claude 검색에서의 노출에 영향을 줄 수 있습니다.
robots.txt는 봇이 규칙을 따를 때 효과가 있습니다. Perplexity-User처럼 정책상 이를 따르지 않는 봇이나 규칙을 무시하는 수집을 막으려면 서버 또는 방화벽에서 접근을 차단해야 합니다.
GPTBot의 학습용 수집을 막고 OAI-SearchBot의 ChatGPT 검색용 수집은 허용하려면 다음처럼 각각 설정합니다.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
설정을 바꾼 뒤에는 서버 로그에서 허용한 OAI-SearchBot이 페이지를 정상적으로 가져가는지 살펴봅니다. robots.txt에서 허용해도 방화벽이 요청을 거부하면 수집할 수 없습니다.
봇 트래픽과 사칭 확인 방법
User-Agent는 요청한 프로그램이 자신의 이름을 적어 보내는 값이므로 사칭할 수 있습니다. 서버 로그에 공식 봇 이름이 남았더라도 요청 IP를 운영사의 공개 목록과 대조해야 실제 방문인지 판단할 수 있습니다.
OpenAI는 gptbot.json, searchbot.json, chatgpt-user.json, adsbot.json을 봇별로 제공하고, Perplexity는 perplexitybot.json과 perplexity-user.json을 제공합니다. Anthropic도 2026년 4월 갱신한 문서에서 통합 IP 목록인 bots.json을 공개했습니다. IP 범위는 바뀔 수 있으므로 방화벽 규칙을 관리할 때는 각 공식 문서에 연결된 최신 목록을 사용합니다.
자주 묻는 질문
AI 크롤러를 차단하면 SEO에 불이익이 있나요?
Google-Extended를 차단해도 Google 검색 순위와 색인에는 영향이 없습니다. 구글봇까지 차단하면 Google이 페이지를 수집하지 못하므로 같은 설정으로 취급해서는 안 됩니다. ChatGPT나 Claude의 검색용 봇을 차단할 때는 해당 서비스의 검색 노출에 영향을 줄 수 있습니다.
llms.txt를 만들면 AI 크롤러가 따르나요?
llms.txt는 AI가 참고할 사이트 정보와 문서 링크를 정리하자는 제안입니다. 파일을 만들어도 봇이 읽거나 그 내용을 따른다고 보장할 수 없고, 접근을 허용하거나 차단하는 규칙을 대신하지도 않습니다.
뉴스나 이미지도 같은 방식으로 관리하나요?
robots.txt에서 봇과 URL 경로를 지정하는 방식은 같습니다. 다만 Google은 뉴스와 이미지에 별도 제어 토큰을 제공하므로 Googlebot, Googlebot-News, Googlebot-Image 중 어느 규칙을 바꾸는지에 따라 영향받는 서비스가 달라집니다. 콘텐츠 이용 계약이 있는 자료라면 접근 설정과 별도로 해당 계약에서 허용한 이용 범위를 확인해야 합니다.
Perplexity-User는 robots.txt로 못 막나요?
Perplexity-User는 일반적으로 robots.txt를 따르지 않으므로 이 파일만으로는 차단하기 어렵습니다. 서버나 방화벽에서 방문을 막으려면 User-Agent와 공식 IP 목록을 대조해 Perplexity-User의 요청을 식별하고 접근을 거부하도록 설정합니다.
함께 알아두면 좋은 용어
- 구글봇: 검색 색인용 크롤러
- robots.txt: 봇별 접근을 제어하는 파일
- llms.txt: LLM에게 사이트를 안내하는 제안 표준
- AI 검색: 외부 정보를 찾아 생성형 답변을 만드는 서비스와 기능