인덱스 블로트는 검색에 불필요한 페이지가 색인에 많이 쌓인 상태입니다. 사용자에게 필요한 정보가 거의 없거나 다른 URL과 내용이 중복되는 페이지가 그 대상입니다. SEO 업계에서는 이런 페이지 때문에 사이트의 색인 규모가 부풀었을 때 이 표현을 씁니다.
URL이 많이 생성됐더라도 실제로 색인되지 않았다면 인덱스 블로트는 아닙니다. 씬 콘텐츠나 중복 콘텐츠가 얼마나 색인에 남아 있는지, 각 URL을 검색에 제공할 이유가 있는지를 살펴야 합니다.
색인 증가와 크롤링 낭비의 관계
Google의 크롤 버짓 가이드는 무한 스크롤에서 복제되는 페이지, 정렬만 다른 URL과 소프트 404 등이 크롤링 자원을 낭비할 수 있다고 설명합니다. 이런 URL을 계속 요청하면 중요한 페이지를 수집하는 데 쓸 시간과 자원이 줄어들 수 있습니다. 다만 수집한 페이지가 모두 색인되지는 않으므로 크롤링 낭비가 곧 인덱스 블로트를 뜻하지는 않습니다.
Ahrefs와 Search Engine Land의 인덱스 블로트 설명도 불필요하게 색인된 URL을 다룹니다. Google 보고서에서는 이 이름의 오류 항목을 찾기보다 어떤 URL이 색인됐고 어떤 URL이 제외됐는지를 조사합니다.
인덱스 블로트를 만드는 페이지 유형
검색에 불필요한 URL은 필터, 추적값이나 CMS의 자동 생성 기능에서 늘어날 수 있습니다.
- 색상, 사이즈 같은 필터를 조합할 때마다 새로 생기는 패싯 내비게이션 URL
- UTM이나 세션ID 같은 추적 파라미터가 붙어 같은 페이지가 여러 주소로 나뉘는 경우
- 워드프레스 태그 페이지, 날짜별 아카이브처럼 CMS가 기본값으로 만드는 목록 페이지
- 고유한 정보나 검색 수요 없이 대량으로 찍어낸 프로그래매틱 페이지
- 사이트 내부 검색결과 페이지처럼 자동으로 생성되는 페이지
필터나 목록 페이지도 특정 조건의 상품과 정보를 찾는 데 도움이 된다면 검색에 제공할 수 있습니다. 반면 상품 목록은 그대로인데 정렬 순서나 추적값만 다른 URL은 별도로 색인할 이유가 적습니다.
| 상태 | 인덱스 블로트 판단 | 이유 |
|---|---|---|
| 필터 조합 URL 수천 개가 원본과 같은 상품 목록을 그대로 복제해 색인됨 | 해당 | 고유 정보 없이 URL만 늘어남 |
| UTM 파라미터가 붙은 같은 랜딩 페이지가 여러 주소로 색인됨 | 해당 | 같은 콘텐츠가 중복 색인됨 |
| 색인된 URL은 많지만 각 페이지가 서로 다른 지역이나 조건의 검색 의도에 답함 | 비해당 | 페이지 수가 아니라 각 페이지의 고유 가치가 기준 |
| 검색로봇이 아직 방문하지 않아 "발견됨 – 현재 색인이 생성되지 않음"으로 남은 URL | 비해당 | 아직 색인되지 않았으므로 블로트 상태가 아님 |
Search Console 페이지 색인 생성 보고서로 확인하는 방법
Search Console의 페이지 색인 생성 보고서에서 색인된 URL 수가 언제 늘었는지 살펴보고, 예시 URL의 경로와 매개변수를 확인합니다. 별도로 제공하는 미색인 사유에는 중복, noindex, robots.txt 차단과 404 등이 있습니다. 이 목록에 있다는 이유로 해당 URL을 색인 블로트에 포함하면 안 됩니다.
검색에 제공하려던 상품, 카테고리와 글 목록을 보고서와 대조하면 예상하지 못한 URL 유형을 찾을 수 있습니다. 보고서의 예시 목록은 전체 URL을 보장하지 않으므로 사이트 크롤링이나 CMS에서 얻은 목록도 활용합니다. 의심되는 URL의 개별 색인 상태와 Google이 선택한 대표 URL은 URL 검사에서 확인합니다.
site: 검색은 불필요한 페이지를 찾는 보조 수단입니다. Google은 이 연산자가 색인된 모든 URL을 반환한다고 보장하지 않으므로, 검색결과 수를 사이트의 정확한 색인 수로 쓰지 않습니다.
네이버 서치어드바이저 사이트 진단으로 확인하는 방법
네이버 서치어드바이저의 사이트 진단은 색인, 수집제한, 색인제외와 SEO 점검 문서를 나눠 보여 줍니다. 최근 90일간 수집한 페이지를 분석하며, 색인된 문서는 개수만 제공하고 개별 URL 목록은 제공하지 않습니다.
진단 이력에서는 색인량을 선 그래프로, 수집제한과 색인제외를 막대그래프로 표시합니다. 네이버는 수집제한이나 색인제외 문서가 색인량보다 많으면 유형별 URL을 조사하도록 안내합니다. 다만 의도한 리디렉션이나 차단도 포함되므로 전부 오류로 처리하지 않습니다.
네이버의 site: 검색으로는 현재 시점의 URL 색인 상태를 살펴볼 수 있습니다. 기간별 증가와 감소는 이 검색만으로 알 수 없으므로 사이트 진단 이력을 확인합니다.
헷갈리는 용어와 인덱스 블로트의 차이
페이지 품질, 수집 자원과 색인 결과는 서로 연결돼 있지만 같은 대상을 뜻하지 않습니다.
| 용어 | 가리키는 대상 |
|---|---|
| 인덱스 블로트 | 저가치 URL이 색인에 대량으로 쌓인 사이트 전체 상태 |
| 씬 콘텐츠 | 페이지에 독자에게 필요한 정보나 기능이 부족한 상태 |
| 크롤 버짓 | 검색로봇이 크롤링에 쓸 수 있는 자원 자체 |
| 중복 콘텐츠 | 같거나 매우 비슷한 내용이 둘 이상의 URL에 존재하는 상태 |
| noindex | 특정 페이지를 색인에서 빼 달라고 전달하는 지시 |
발견한 뒤 정리하는 순서
불필요한 URL을 발견했다면 생성 원인과 용도로 묶어 처리합니다. 같은 설정에서 나온 페이지를 개별적으로만 수정하면 문제가 반복될 수 있습니다.
- 같은 내용의 중복 URL을 유지해야 한다면 캐노니컬 태그로 대표 URL을 알립니다. 지정한 주소가 실제로 같은 내용인지 먼저 확인합니다.
- 사용자에게 필요하지만 검색에 제공하지 않을 페이지에는 noindex를 적용합니다.
- 보완해 살릴 정보가 없고 사용자에게도 불필요한 페이지는 삭제할 수 있습니다. 대체 페이지 없이 삭제했다면 404나 410으로 응답합니다.
noindex를 설정해도 크롤링이 즉시 줄어들지는 않습니다. Google이 지시를 읽으려면 페이지에 다시 요청해야 합니다. 크롤 버짓을 아끼려는 목적만으로 noindex를 늘리기보다, 불필요한 URL을 계속 만드는 구조를 먼저 정리합니다.
이 조치는 콘텐츠 감사에서 정한 유지, 개선, 통합과 삭제 판단에 맞춰 적용합니다. 색인 수를 줄이는 것 자체를 목표로 삼으면 필요한 페이지까지 제외할 수 있습니다.
자주 묻는 질문
색인된 페이지가 많으면 무조건 인덱스 블로트인가요?
페이지가 많다는 이유만으로 문제는 아닙니다. 각 URL이 고유한 검색 의도에 답하면 규모가 커도 유용할 수 있습니다. 반대로 규모가 작아도 불필요한 URL 비중이 높으면 점검해야 합니다.
site: 검색 결과 숫자를 그대로 믿어도 되나요?
그대로 믿어서는 안 됩니다. Google은 site:가 색인한 URL 전체를 반환한다고 보장하지 않습니다. 색인 규모와 제외 사유는 Search Console의 페이지 색인 생성 보고서로 확인합니다.
noindex를 걸면 인덱스 블로트가 바로 해결되나요?
검색로봇이 다시 방문해 noindex를 읽고 처리해야 합니다. 그동안에도 크롤링은 발생합니다. 필터나 파라미터가 불필요한 URL을 계속 생성한다면 해당 구조도 함께 정리해야 합니다.
태그나 카테고리 페이지는 모두 noindex로 막아야 하나요?
아닙니다. 주제별 글이나 상품을 찾아보는 데 유용한 목록이라면 검색에 제공할 수 있습니다. 같은 목록을 여러 이름으로 복제하거나 내용이 거의 없는 페이지가 반복된다면 통합하거나 검색에서 제외할 대상을 고릅니다.
함께 알아두면 좋은 용어
- 씬 콘텐츠: 독자에게 필요한 정보나 기능이 부족한 콘텐츠
- 크롤 버짓: 검색로봇이 한 사이트를 수집하는 데 배정하는 시간과 자원
- 중복 콘텐츠: 같거나 매우 비슷한 내용이 둘 이상의 URL에 존재하는 상태
- 콘텐츠 감사: 사이트 전체나 정한 범위의 콘텐츠를 목록화하고 평가해 조치를 정하는 절차
- noindex: 특정 페이지를 검색결과에서 빼 달라고 전달하는 지시