인덱서빌리티(Indexability)는 페이지가 검색엔진에 색인될 수 있는지를 뜻합니다. 크롤러가 페이지를 가져왔더라도 noindex가 있으면 색인에서 제외됩니다. 응답 코드와 색인 지시를 비롯해 대표 URL 설정, 콘텐츠 상태를 살펴보며 색인을 막는 원인이 있는지 판단합니다.
Ahrefs와 Semrush 같은 SEO 도구에서 쓰는 용어입니다. Search Console의 "색인 생성 허용 여부"도 관련 항목이지만, 이 값 하나가 인덱서빌리티 전체를 나타내지는 않습니다. "예"라고 표시돼도 noindex를 발견하지 못했다는 뜻일 뿐, 실제 색인 여부나 콘텐츠 품질까지 평가한 결과는 아닙니다.
색인 가능 여부를 점검하는 항목
먼저 정상 응답과 noindex 등 사이트에서 설정한 조건을 검사합니다. 기술적으로 문제가 없다면 Google이 다른 URL을 대표로 골랐는지, 콘텐츠를 중복이나 사실상 오류 페이지로 판단했는지 조사합니다.
| 점검 항목 | 확인할 내용 |
|---|---|
| 200 정상 응답 | 색인하려는 페이지가 200으로 응답하고 실제 본문을 제공하는지 확인합니다. |
| noindex | 검색엔진이 noindex를 확인하면 해당 페이지를 색인에서 제외합니다. |
| 캐노니컬 태그 | 다른 URL을 지정했는지와 Google이 실제로 어떤 URL을 대표로 선택했는지 확인합니다. |
| 크롤러 접근과 robots.txt | 본문을 가져올 수 있는지 확인합니다. 접근이 막혀도 URL 자체가 색인에 남을 수 있습니다. |
| 중복 여부와 실질적인 내용 | 검색엔진이 중복이나 저품질로 판단하면 색인하지 않을 수 있습니다. |
200을 반환해도 본문이 없거나 오류 안내만 있으면 검색엔진이 사실상 오류 페이지로 판단할 수 있습니다. 이를 소프트 404라고 부릅니다.
noindex는 HTML의 robots meta tag나 HTTP 응답의 X-Robots-Tag 헤더로 전달합니다. 페이지 소스에 태그가 없더라도 헤더에 noindex가 있으면 색인에서 제외될 수 있습니다.
크롤링 가능과 색인 완료는 어떻게 다른가요?
페이지에 접근할 수 있는지, 색인 조건을 갖췄는지, 실제로 저장됐는지를 나눠 확인해야 합니다.
- 크롤링 가능: 크롤러가 페이지에 접근해 콘텐츠를 가져올 수 있는가
- 색인 가능(인덱서빌리티): 응답 코드와 색인 지시 등 페이지를 색인할 수 있는 조건을 갖췄는가
- 색인 완료: 검색엔진이 실제로 콘텐츠를 분석하고 저장했는가
크롤링에 성공해도 noindex가 있거나 검색엔진이 다른 URL을 대표로 선택하면 해당 URL이 색인되지 않을 수 있습니다. 다만 canonical은 대표 주소를 제안하는 신호입니다. 다른 주소를 적었다고 반드시 색인에서 빠지는 것도 아니고, 자기 주소를 적어야만 색인될 수 있는 것도 아닙니다.
기술적인 차단이 없어도 실제 색인이 보장되지는 않습니다. Google 페이지 색인 생성 보고서의 "크롤링됨 – 현재 색인이 생성되지 않음"은 페이지를 가져왔지만 아직 색인하지 않았다는 뜻입니다. 이 상태만으로 나중에 색인될지, 어떤 이유로 색인하지 않았는지를 확정할 수는 없습니다.
robots.txt 차단과 인덱서빌리티의 관계
Google의 robots.txt 소개 문서에 따르면 크롤링을 차단해도 URL이 검색결과에서 사라지는 것은 아닙니다. 본문을 읽지 못하더라도 다른 페이지의 링크에서 주소를 발견할 수 있기 때문입니다. 이때 URL과 주변 링크 텍스트를 바탕으로 한 정보가 검색결과에 남을 수 있습니다.
페이지를 검색에서 제외하려면 크롤러가 noindex를 읽을 수 있어야 합니다. Google의 noindex 안내처럼, robots.txt로 접근을 막은 상태에서는 페이지 안에 넣은 noindex를 전달하지 못합니다. noindex를 추가했는데도 검색에 남아 있다면 robots.txt가 해당 URL을 차단하는지부터 확인합니다.
URL 검사에서도 이 제한을 고려해야 합니다. robots.txt로 차단된 페이지의 "색인 생성 허용 여부"는 항상 "예"로 나타납니다. Google이 페이지의 noindex를 읽지 못했기 때문이므로 이 값만으로 페이지의 색인 가능 여부를 확정해서는 안 됩니다.
Google의 AI 검색에도 색인이 필요한가요?
Google의 AI 기능 안내는 AI Overviews와 AI Mode의 참조 링크 후보가 되려면 페이지가 색인돼 있고 스니펫을 표시할 자격이 있어야 한다고 설명합니다. 색인됐더라도 스니펫을 허용하지 않으면 이 조건을 충족하지 못합니다.
Search Console의 검색 생성형 AI 설정에서 사이트가 제외돼 있지 않은지도 확인합니다. 기본값은 포함이며 하위 속성은 상위 설정을 따를 수 있습니다. 이 설정은 일반 검색 색인 여부와 별개이므로, 색인 상태가 정상이어도 생성형 AI 기능에서 제외될 수 있습니다.
이 조건은 Google 검색의 AI 기능에 적용됩니다. Google에 색인됐다는 사실만으로 ChatGPT, Claude, Perplexity에서도 해당 페이지를 답변의 출처로 사용할 수 있다고 판단할 수는 없습니다.
구글과 네이버에서 확인하는 법
구글 서치 콘솔의 URL 검사에서는 크롤링 허용 여부와 페이지 가져오기 결과부터 확인합니다. 페이지를 가져오는 데 성공했다면 "색인 생성 허용 여부"와 Google이 선택한 대표 URL을 조사합니다. 이렇게 해야 접근하지 못해 설정을 읽지 못한 상황과, 읽은 뒤 색인에서 제외한 상황을 구별할 수 있습니다.
Naver 서치어드바이저의 URL 검사에서는 URL 상태 코드, 수집 여부, 색인 가능 여부, 색인 여부를 확인합니다. 색인 가능 여부가 정상이어도 실제 색인 여부는 별도 항목으로 확인해야 합니다.
자주 묻는 질문
인덱서빌리티 조건을 다 충족하면 반드시 색인되나요?
색인을 막는 기술 문제가 없어도 검색엔진이 모든 페이지를 저장하지는 않습니다. Google은 읽은 페이지도 "크롤링됨 – 현재 색인이 생성되지 않음" 상태로 남을 수 있다고 안내합니다. 실제 색인 여부는 별도로 확인해야 합니다.
robots.txt로 차단하면 인덱서빌리티가 사라지나요?
robots.txt는 본문 수집을 막지만 URL 자체의 색인을 막지는 못합니다. Google은 다른 페이지의 링크에서 주소를 발견하면 본문 없이도 그 URL을 검색결과에 표시할 수 있다고 안내합니다.
인덱서빌리티와 크롤러빌리티는 같은 말인가요?
크롤러빌리티는 페이지를 가져올 수 있는지, 인덱서빌리티는 페이지가 색인될 조건을 갖췄는지를 뜻합니다. 예를 들어 정상적으로 수집한 페이지라도 noindex가 있으면 색인에서는 제외됩니다.
AI 검색에 나오려면 인덱서빌리티만 확인하면 되나요?
아니요. Google의 AI Overviews와 AI Mode에서는 페이지가 실제로 색인돼 있고 스니펫 표시도 허용돼야 합니다. Search Console의 생성형 AI 설정에서 제외되지 않았는지도 확인합니다. 이 조건을 충족해도 답변의 참조 링크로 반드시 선택되는 것은 아닙니다. 다른 AI 서비스의 노출 여부를 Google의 색인 상태로 판단할 수도 없습니다.
함께 알아두면 좋은 용어
- 색인: 검색엔진이 페이지 정보를 분석해 검색결과 후보로 저장하는 과정과 결과
- 크롤러빌리티: 크롤러가 페이지에 접근해 콘텐츠를 가져올 수 있는 상태
- noindex: 페이지를 검색 색인에서 제외하라고 전달하는 지시
- 캐노니컬 태그: 유사한 URL 가운데 대표 URL을 알려 주는 태그
- robots.txt: 검색로봇이 접근할 수 있는 경로를 알려 주는 파일
- URL 검사: 개별 URL의 크롤링과 색인 상태를 확인하는 기능