인덱스 블로트는 검색 가치가 낮은 페이지가 검색엔진 색인에 많이 쌓인 상태입니다. 페이지 수 자체가 아니라 색인에 쌓인 페이지의 품질이 문제이고, SEO 업계에서는 이 상태를 인덱스 블로트라고 부릅니다.
이 글은 사이트 전체의 색인이 부풀어 있는 상태와 그 진단 방법을 다룹니다. 페이지 한 개의 품질 문제는 씬 콘텐츠, 중복 자체가 생기는 원인은 중복 콘텐츠, 전체 콘텐츠를 목록화해 유지와 삭제를 정하는 절차는 콘텐츠 감사에서 자세히 설명합니다.
이 글은 Google 검색 센터의 크롤 버짓 문서와 페이지 색인 생성 보고서 공식 도움말, 네이버 서치어드바이저 공식 가이드를 기준으로 작성했습니다. Ahrefs와 Search Engine Land의 실무 자료도 참고했습니다.
업계 용어와 Google 공식 설명의 차이
인덱스 블로트는 Google이 공식적으로 정의한 용어가 아닙니다. Google의 개발자 문서와 도움말센터를 직접 찾아보면 이 표현은 등장하지 않고, Google Search Central Community 포럼에서 웹마스터들이 질문할 때 쓰는 표현으로만 나타납니다. Google 담당자가 답변할 때도 이 표현을 새로 정의하지 않고 사용자가 쓴 말을 그대로 받아 씁니다.
Google이 이 문제 자체를 모른 척하는 것은 아닙니다. 크롤 버짓 공식 문서는 같은 문제를 구체적인 URL 유형으로 나눠 설명합니다. 무한 스크롤 페이지가 복제하는 콘텐츠, 정렬만 다른 페이지, 검색로봇에게 오류처럼 보이지 않는 소프트 404 페이지, 삭제됐지만 상태 코드를 제대로 반환하지 않는 페이지가 그 예입니다. Google은 이런 URL이 크롤링 시간을 낭비한다고 안내하지만, 이 상태 자체를 부르는 이름은 따로 두지 않습니다.
Ahrefs와 Search Engine Land 같은 SEO 매체가 이 상태를 인덱스 블로트라고 부르면서 이 이름이 업계에 자리 잡았습니다. Google 공식 용어를 근거로 대는 대신, 크롤 버짓과 페이지 색인 생성 보고서처럼 Google이 실제로 쓰는 개념과 도구를 조합해 정의를 세운 것으로 보는 편이 정확합니다.
인덱스 블로트를 만드는 페이지 유형
색인에 저가치 URL이 쌓이는 경로는 대개 정해져 있습니다.
- 색상, 사이즈 같은 필터를 조합할 때마다 새로 생기는 패싯 내비게이션 URL
- UTM이나 세션ID 같은 추적 파라미터가 붙어 같은 페이지가 여러 주소로 나뉘는 경우
- 워드프레스 태그 페이지, 날짜별 아카이브처럼 CMS가 기본값으로 만드는 목록 페이지
- 고유한 정보나 검색 수요 없이 대량으로 찍어낸 프로그래매틱 페이지
- 사이트 내부 검색결과 페이지처럼 자동으로 생성되는 페이지
이 목록에 들어간다고 전부 문제인 것은 아닙니다. 판단 기준은 URL 수가 아니라 페이지가 실제로 답하는 검색 의도가 있는지입니다. 아래 예시로 감을 잡을 수 있습니다.
| 상태 | 인덱스 블로트 판단 | 이유 |
|---|---|---|
| 필터 조합 URL 수천 개가 원본과 같은 상품 목록을 그대로 복제해 색인됨 | 해당 | 고유 정보 없이 URL만 늘어남 |
| UTM 파라미터가 붙은 같은 랜딩 페이지가 여러 주소로 색인됨 | 해당 | 같은 콘텐츠가 중복 색인됨 |
| 색인된 URL은 많지만 각 페이지가 서로 다른 지역이나 조건의 검색 의도에 답함 | 비해당 | 페이지 수가 아니라 각 페이지의 고유 가치가 기준 |
| 검색로봇이 아직 방문하지 않아 "발견됨 – 현재 색인이 생성되지 않음"으로 남은 URL | 비해당 | 아직 색인되지 않았으므로 블로트 상태가 아님 |
Search Console 페이지 색인 생성 보고서로 확인하는 방법
색인이 부풀었는지는 감으로 판단하지 않습니다. Search Console의 페이지 색인 생성 보고서를 열면 색인된 URL 수와 색인되지 않은 URL의 사유를 함께 볼 수 있습니다. 중복, noindex, robots.txt 차단, 404, 리디렉션 오류, 서버 오류 같은 항목이 URL 단위로 나옵니다.
기준으로 삼을 만한 숫자는 하나입니다. 의도한 색인 대상 URL 수와 실제 색인된 URL 수 사이의 차이가 얼마나 큰가입니다. 사이트에 있어야 할 상품, 카테고리, 글의 수를 먼저 세어 두고, 색인된 실제 수와 비교하면 격차가 눈에 보입니다.
site: 검색으로 대략적인 규모를 가늠해 볼 수는 있지만, Google 공식 문서는 이 결과가 정확한 색인 수를 보장하지 않는다고 명시합니다. site 연산자는 지정한 URL 하위의 색인 URL을 전부 반환하지 않으며, 규모가 큰 사이트일수록 결과에 모든 URL이 나오지 않는다고 안내합니다. 따라서 site: 검색은 감을 잡는 용도로만 쓰고, 실제 판단은 Search Console에서 합니다.
네이버 서치어드바이저 사이트 진단으로 확인하는 방법
네이버는 "인덱스 블로트"라는 용어를 쓰지 않지만, 비슷한 확인을 지원하는 리포트가 있습니다. 서치어드바이저의 사이트 진단은 색인(정상 수집되고 색인된 문서 수), 수집제한(수집 과정에서 제한된 문서 수), 색인제외(수집은 됐지만 색인 과정에서 빠진 문서 수), SEO(최적화가 필요한 문서 수)를 각각 보여줍니다.
진단 이력에서는 색인량이 라인 그래프로, 수집제한과 색인제외는 막대그래프로 표시됩니다. 네이버 공식 가이드도 색인량보다 수집제한이나 색인제외 그래프가 더 크게 나타나면 유형별 세부 URL을 참고해 정비하라고 안내합니다. 이 비교가 사실상 사이트 전체 색인 상태를 점검하는 절차입니다.
네이버도 검색창의 site: 검색으로 특정 URL의 색인 여부를 바로 확인할 수 있습니다. 다만 이 결과는 현재 시점의 색인 상태만 보여주고, 기간별 증감은 알 수 없다고 공식 가이드에 나와 있습니다. 증감 추이를 보려면 사이트 진단을 확인해야 합니다.
헷갈리는 용어와 인덱스 블로트의 차이
인접한 용어와 겹치는 것처럼 보이지만 가리키는 대상이 다릅니다.
| 용어 | 가리키는 대상 |
|---|---|
| 인덱스 블로트 | 저가치 URL이 색인에 대량으로 쌓인 사이트 전체 상태 |
| 씬 콘텐츠 | 페이지 한 개가 다른 페이지와 구별되는 정보나 기능이 부족한 상태 |
| 크롤 버짓 | 검색로봇이 크롤링에 쓸 수 있는 자원 자체 |
| 중복 콘텐츠 | 같거나 매우 비슷한 내용이 둘 이상의 URL에 존재하는 상태 |
| noindex | 특정 페이지를 색인에서 빼 달라고 전달하는 지시 |
크롤 버짓과의 관계가 가장 헷갈리기 쉽습니다. 저가치 URL이 많으면 크롤 버짓을 낭비하는 원인이 되지만, 크롤 버짓은 크롤링에 쓰는 자원을 말하고 인덱스 블로트는 크롤링과 처리를 거친 뒤 색인에 남은 결과 상태를 말합니다.
발견한 뒤 정리하는 순서
진단에서 격차를 확인했다면, 개별 URL을 하나씩 손대기보다 원인 유형별로 묶어서 처리하는 편이 빠릅니다.
- 파라미터나 필터로 생긴 중복 URL은 대표 URL로 신호를 모으는 캐노니컬 태그를 검토합니다
- 사용자에게는 필요하지만 검색에 노출될 이유가 없는 페이지는 noindex를 검토합니다
- 고유 가치가 없고 회생 가능성도 없는 페이지는 삭제를 검토합니다
noindex를 걸었다고 크롤링 부담이 바로 줄지는 않습니다. Google은 noindex 페이지도 내용을 확인하려면 요청해야 하므로, 크롤 버짓 절약만을 목적으로 noindex를 남발하지 말라고 안내합니다. 저가치 URL이 왜 생기는지 원인을 먼저 없애는 편이 우선입니다.
URL 하나하나가 아니라 사이트 전체를 목록화하고 유지, 개선, 통합, 삭제를 결정하는 절차는 콘텐츠 감사에서 다룹니다.
자주 묻는 질문
색인된 페이지가 많으면 무조건 인덱스 블로트인가요?
아닙니다. 인덱스 블로트는 페이지 수가 아니라 품질의 문제입니다. 색인된 페이지가 많아도 각 페이지가 고유한 검색 의도에 답한다면 문제가 아닙니다. 반대로 페이지 수가 적어도 저가치 URL 비중이 높으면 점검이 필요합니다.
site: 검색 결과 숫자를 그대로 믿어도 되나요?
아닙니다. Google 공식 문서는 site: 연산자가 색인된 모든 URL을 반환한다고 보장하지 않는다고 명시합니다. 특히 규모가 큰 사이트는 결과에 모든 URL이 나오지 않습니다. 정확한 색인 수와 제외 사유는 Search Console 페이지 색인 생성 보고서에서 확인합니다.
noindex를 걸면 인덱스 블로트가 바로 해결되나요?
바로 해결되지는 않습니다. noindex 페이지도 검색로봇이 다시 방문해 지시를 확인해야 하고, 그 과정에서 크롤링은 계속 일어납니다. 필터나 파라미터처럼 저가치 URL을 계속 만들어내는 구조를 먼저 정리해야 근본적으로 줄어듭니다.
네이버에도 인덱스 블로트라는 개념이 있나요?
네이버 공식 문서에는 이 용어 자체가 없습니다. 다만 서치어드바이저의 사이트 진단이 색인, 수집제한, 색인제외 문서 수와 기간별 추이를 보여주므로, 비슷한 점검을 이 리포트로 할 수 있습니다.
함께 알아두면 좋은 용어
- 씬 콘텐츠: 페이지 한 개가 다른 페이지와 구별되는 정보나 기능이 부족한 상태
- 크롤 버짓: 검색로봇이 일정 시간 동안 한 사이트에서 방문할 수 있고 방문하려는 URL의 범위
- 중복 콘텐츠: 같거나 매우 비슷한 내용이 둘 이상의 URL에 존재하는 상태
- 콘텐츠 감사: 사이트 전체나 정한 범위의 콘텐츠를 목록화하고 평가해 조치를 정하는 절차
- noindex: 특정 페이지를 검색결과에서 빼 달라고 전달하는 지시