구글봇은 Google 검색이 웹페이지를 수집할 때 쓰는 크롤러입니다. 링크와 사이트맵에서 발견한 URL에 접속해 내용을 가져옵니다. Google은 그 자료를 분석한 뒤 색인 여부를 판단합니다.
스마트폰 구글봇과 데스크톱 구글봇
구글봇에는 스마트폰용과 데스크톱용이 있습니다. Google이 모바일 콘텐츠를 기준으로 색인하면서 대부분의 크롤링은 스마트폰 구글봇이 수행합니다.
모바일 페이지에도 데스크톱과 같은 핵심 본문과 링크를 제공해야 합니다. 작은 화면에 맞춘다는 이유로 내용을 삭제하면 Google이 수집할 정보도 줄어들 수 있습니다. 모바일 사용성을 점검할 때 두 버전의 내용도 대조합니다.
구글봇이 하는 일과 하지 않는 일
구글봇은 페이지 내용을 수집하는 크롤링을 맡습니다. 서버 로그에 방문 기록이 있어도 이후에 색인되지 않거나 검색결과에 노출되지 않을 수 있습니다. 실제로 색인됐는지는 Search Console의 URL 검사에서, 검색에 얼마나 노출됐는지는 실적 보고서에서 확인합니다.
robots.txt는 크롤링할 경로를 제한하고, noindex는 페이지를 색인에서 제외하라고 지시합니다. robots.txt로 막으면 Google이 본문을 읽지 못해도 외부 링크 등에서 찾은 URL을 검색결과에 남길 수 있습니다. noindex를 읽고 처리하게 하려면 해당 페이지의 크롤링은 허용해야 합니다.
진짜 구글봇인지 확인하는 방법
서버 로그의 User-Agent에 Googlebot이 적혀 있어도 실제 Google 요청이라고 단정할 수는 없습니다. 다른 수집 봇이 이름을 사칭할 수 있기 때문입니다.
Google이 공개한 일반 크롤러의 IP 대역 목록과 요청 IP를 대조합니다. Googlebot 요청을 검사할 때 다른 Google 서비스의 IP 목록을 섞지 않도록 공식 검증 문서에서 해당 목록을 골라야 합니다.
DNS로 확인하는 방법도 있습니다. 요청 IP를 역방향 조회해 호스트 이름이 .googlebot.com으로 끝나는지 확인한 뒤, 그 이름을 다시 IP로 조회했을 때 처음 요청한 IP와 같은지 대조합니다. 서버 담당자에게 점검을 요청할 때도 User-Agent 문자열만 확인했는지, IP 검증까지 마쳤는지 구별해야 합니다.
구글봇과 AI 크롤러의 차이
GPTBot과 ClaudeBot은 Googlebot과 별도로 운영하는 AI 봇이므로 robots.txt 규칙도 따로 지정합니다. Google-Extended는 별도 크롤러가 아니라 Google이 이미 수집하는 콘텐츠의 AI 활용 범위를 정하는 robots.txt 토큰입니다. 이 토큰은 향후 Gemini 모델 학습과 Gemini 앱, Vertex AI의 Google 검색 기반 그라운딩에 콘텐츠를 활용할지 제어합니다. 그라운딩은 검색한 자료를 모델에 제공해 답변의 근거로 쓰게 하는 기능입니다.
Google-Extended를 차단해도 Google 검색의 크롤링과 색인은 그대로 유지됩니다. Google 검색의 수집을 막으려면 Googlebot에 적용할 규칙을 따로 설정해야 합니다.
자주 묻는 질문
구글봇이 우리 사이트에 얼마나 자주 오는지 볼 수 있나요?
구글 서치 콘솔의 크롤링 통계에서 요청 수, 응답 상태와 크롤러 유형을 확인할 수 있습니다. 방문 빈도는 사이트 규모, 콘텐츠 갱신과 서버 상태에 따라 Google이 조절합니다.
구글봇 방문이 서버에 부담을 주면 어떻게 하나요?
먼저 서버 로그에서 실제 Googlebot 요청인지 검증하고, 요청이 몰리는 URL과 응답 시간을 찾습니다. 필터나 정렬 조건 때문에 불필요한 URL이 계속 생긴다면 해당 경로의 크롤링을 제한할지 검토합니다. 서버 오류가 많아지면 Google도 수집 속도를 낮추지만, 그에만 기대기보다 요청이 늘어난 원인을 고쳐야 합니다. 이런 점검은 크롤 버짓 관리에도 필요합니다.
구글봇만 허용하고 다른 봇을 막을 수 있나요?
robots.txt에 User-Agent별 규칙을 작성할 수 있습니다. 다만 이름을 사칭하거나 규칙을 무시하는 트래픽에는 서버와 방화벽의 IP 기반 차단 등 별도 조치가 필요합니다.
함께 알아두면 좋은 용어
- 크롤링: 검색로봇이 페이지를 찾아 읽는 과정
- robots.txt: 크롤러의 방문 범위를 조절하는 파일
- 크롤 버짓: Google이 사이트의 크롤링에 배정하는 시간과 자원의 규모
- Yeti: 네이버 검색의 크롤러