크롤 버짓은 Google이 일정한 시간 동안 한 사이트에서 방문할 수 있고 방문하려는 URL의 범위입니다. 서버가 감당할 수 있는 요청량과 Google이 다시 확인할 필요가 있다고 보는 URL 수에 따라 달라집니다.
새 글이 늦게 수집되면 크롤 버짓이 부족하다고 생각하기 쉽습니다. 하지만 대부분의 작은 사이트는 크롤 버짓을 별도로 관리할 필요가 없습니다.
이 글은 Google 공식 문서를 기준으로 작성했습니다.
크롤 버짓을 정하는 수용 한도와 수요
| 구성 요소 | 의미 | 주요 영향 |
|---|---|---|
| 크롤 수용 한도 | 서버에 부담을 주지 않고 Google이 요청할 수 있는 범위 | 서버 응답 속도, 5xx 오류, Google의 자원 한계 |
| 크롤 수요 | Google이 해당 URL을 다시 방문할 필요가 있다고 보는 정도 | 전체 URL 수, 페이지 인기도, 변경 여부, 콘텐츠 가치 |
서버가 느려지거나 오류를 자주 반환하면 Google은 요청을 줄일 수 있습니다. 서버에 여유가 있어도 중복 URL이 많고 새로 확인할 가치가 낮다면 크롤 수요가 크지 않을 수 있습니다.
크롤 버짓 관리가 필요한 사이트
Google 공식 가이드는 다음 사이트를 주요 대상으로 제시합니다.
- URL이 100만 개 이상이고 콘텐츠가 주 단위로 바뀌는 대형 사이트
- URL이 1만 개 이상이고 콘텐츠가 매일 빠르게 바뀌는 사이트
- Search Console에
발견됨 - 현재 색인이 생성되지 않음URL이 많은 사이트
숫자는 정확한 경계가 아니라 대략적인 기준입니다. 새 페이지가 발행 당일 정상적으로 크롤링되는 작은 사이트라면 사이트맵과 색인 상태를 관리하는 것으로 충분한 경우가 많습니다.
크롤 효율을 낮추는 원인
- 필터와 정렬 조합으로 비슷한 URL이 무한히 생성되는 경우
- 중복 페이지가 여러 주소에서 열리는 경우
- 삭제된 것처럼 보이지만 200을 반환하는 소프트 404가 많은 경우
- 긴 리디렉션 체인을 반복해서 따라가야 하는 경우
- 중요하지 않은 URL이 사이트맵과 내부 링크에 계속 남아 있는 경우
- 서버 응답이 느리거나 5xx 오류가 자주 발생하는 경우
불필요한 URL 정리의 효과
- 검색되어야 할 URL 목록을 먼저 정리합니다.
- 중복 콘텐츠는 대표 URL로 통합합니다.
- 영구 삭제한 URL은 404 또는 410을 반환합니다.
- 소프트 404를 찾아 정상 상태 코드로 고칩니다.
- 중요 URL과 정확한
lastmod를 사이트맵에 유지합니다. - 긴 리디렉션 체인을 최종 주소로 바로 연결합니다.
- 서버 응답 시간과 5xx 오류를 개선합니다.
Google은 noindex 페이지도 내용을 확인하기 위해 요청해야 하므로, 크롤 버짓 절약만을 목적으로 noindex를 남발하지 말라고 안내합니다.
차단 URL과 크롤 요청의 관계
특정 URL을 막았다고 Google이 남은 요청을 중요한 페이지에 그대로 옮겨 주는 것은 아닙니다. URL 열 개를 막았다고 다른 페이지 열 개를 더 방문한다고 생각하면 안 됩니다.
검색되어야 할 페이지를 쉽게 발견하게 만들고 불필요한 URL 생성부터 줄이세요.
크롤 버짓은 Googlebot을 설명하는 개념이며 모든 AI 크롤러가 같은 예산을 공유한다는 뜻은 아닙니다. Google 검색의 AI 기능은 기존 Google 크롤링과 색인 기반을 쓰지만, OpenAI와 Anthropic의 봇은 각 서비스의 정책과 방문 빈도를 따릅니다. Search Console 크롤링 통계에서는 Googlebot을 보고, 범용 AI 봇은 서버 로그에서 사용자 에이전트와 요청량을 따로 확인합니다.
필터 조합으로 수천 개 URL이 생긴 쇼핑몰이라면 Search Console 크롤링 통계와 서버 로그에서 필터 URL의 요청 비중을 먼저 봅니다. 불필요한 URL 생성을 줄인 뒤 중요한 상품과 카테고리 URL의 재방문 빈도와 색인 변화를 비교합니다. 전체 요청 수가 줄었다는 사실만으로 성공으로 보지 않습니다.
자주 묻는 질문
작은 블로그도 크롤 버짓을 관리해야 하나요?
새 글이 빠르게 크롤링되고 URL 수가 많지 않다면 대개 별도 관리가 필요하지 않습니다. 내부 링크, 사이트맵과 서버 오류부터 확인하세요.
사이트맵을 제출하면 크롤 버짓이 늘어나나요?
사이트맵은 중요한 URL의 발견과 업데이트 확인을 돕지만 크롤 버짓 자체를 보장해 늘리는 도구는 아닙니다.
크롤링된 페이지는 모두 색인되나요?
아닙니다. 크롤링 후에도 페이지는 통합과 품질 평가를 거치며 색인되지 않을 수 있습니다.
함께 알아두면 좋은 용어
- 크롤링: 검색로봇이 URL을 발견하고 내용을 가져오는 과정
- 사이트맵: 검색엔진에 중요 URL과 변경 정보를 알려 주는 파일
- 소프트 404: 오류처럼 보이지만 정상 응답을 반환하는 페이지
- HTTP 상태 코드: 서버가 요청 처리 결과를 알리는 코드