인덱서빌리티(Indexability)는 페이지가 noindex, 캐노니컬, 응답 코드 같은 조건을 충족해 검색엔진의 색인 후보가 될 수 있는 상태입니다. 크롤러가 페이지에 접근할 수 있어도 이 조건 중 하나라도 어긋나면 검색엔진은 그 페이지를 색인하지 않습니다.
Google은 이 개념을 인덱서빌리티라는 이름으로 따로 정의하지 않습니다. Search Console URL 검사에는 이에 해당하는 "색인 생성 허용 여부"라는 항목이 있을 뿐입니다. 인덱서빌리티는 Ahrefs와 Semrush 같은 SEO 도구가 이 상태를 부르는 이름이고, 이 글도 그 쓰임을 따릅니다.
이 글은 Google 검색 센터와 Google Search Console 도움말의 공식 문서를 기준으로 작성했습니다. Ahrefs와 Semrush의 실무 정의도 참고했습니다.
색인 가능 상태를 가르는 조건
한 페이지가 색인 후보가 되려면 아래 조건을 함께 충족해야 합니다.
| 조건 | 충족하지 못하면 |
|---|---|
| 200 정상 응답 | 404, 5xx 오류나 리디렉션 응답은 색인 대상에서 제외됩니다 |
| noindex 없음 | noindex가 있으면 검색엔진이 이를 확인한 뒤 색인하지 않습니다 |
| 캐노니컬 태그가 자기 자신을 가리킴 | 다른 URL을 대표로 지정하면 이 URL 대신 그 URL이 색인 후보가 됩니다 |
| 크롤러가 페이지에 접근 가능 (robots.txt가 대표적인 차단 수단) | 접근이 막히면 크롤러가 내용을 읽지 못해 판단 자체가 어려워집니다 |
| 다른 페이지와 지나치게 겹치지 않고 실질적인 내용이 있음 | 검색엔진이 중복이나 저품질로 판단해 색인에서 골라낼 수 있습니다 |
마지막 조건은 응답 코드가 200이어도 예외가 아닙니다. 페이지가 열리기는 하는데 실제 내용이 없거나 안내 문구만 있다면, 검색엔진은 사실상 오류 페이지로 봅니다. 이런 상태를 소프트 404라고 부릅니다.
noindex는 HTML의 robots meta 태그나 서버가 보내는 HTTP 헤더로 전달합니다. 전달 방식에 따라 확인 위치가 달라지므로, 자세한 문법은 robots meta tag 글에서 다룹니다.
크롤링 가능, 색인 가능, 색인 완료의 순서
세 단어가 비슷해 보이지만 검색엔진이 확인하는 지점이 다릅니다.
- 크롤링 가능: 크롤러가 페이지에 접근해 콘텐츠를 가져올 수 있는가
- 색인 가능(인덱서빌리티): 가져온 콘텐츠를 검색엔진이 저장할 자격이 있는가
- 색인 완료: 검색엔진이 실제로 콘텐츠를 분석하고 저장했는가
세 단계는 순서대로 이어지지만 다음 단계로 자동으로 넘어가지는 않습니다. 크롤링할 수 있어도 noindex나 잘못된 캐노니컬 때문에 색인 가능 조건을 충족하지 못할 수 있습니다. 반대로 색인 가능 조건을 모두 충족해도 실제 색인은 다른 문제입니다.
Google 페이지 색인 생성 보고서는 "크롤링됨 – 현재 색인이 생성되지 않음" 상태를 페이지는 크롤링했지만 색인은 만들지 않았고, 이후 색인될 수도 되지 않을 수도 있는 상태라고 설명합니다. 이 상태값 자체를 진단하는 방법은 색인 글에서 확인할 수 있습니다. 이 글에서는 그 앞 단계, 즉 색인 후보가 될 자격을 가르는 조건만 다룹니다.
robots.txt 차단과 인덱서빌리티의 관계
Google은 robots.txt를 웹페이지를 검색결과에서 숨기는 수단으로 쓰지 말라고 명시합니다. robots.txt 소개 문서는 이렇게 경고합니다.
"웹페이지가 Google에 표시되는 것을 방지하기 위한 메커니즘이 아닙니다."
이유는 이렇습니다. robots.txt로 막힌 URL도 다른 사이트에서 링크가 걸려 있으면, 크롤러가 페이지 본문은 읽지 못해도 그 링크 정보를 바탕으로 색인을 만들 수 있습니다. Google 문서도 "허용되지 않은 URL이 웹상의 다른 곳에 연결된 경우 관련 정보를 찾아 색인을 생성할 수는 있습니다"라고 밝힙니다. 이때는 본문 없이 URL과 주변 링크 텍스트 정도만 색인에 남는 경우가 많습니다.
더 헷갈리는 지점은 robots.txt와 noindex를 함께 쓸 때 생깁니다. robots.txt가 접근을 막으면 크롤러는 그 페이지 안의 noindex 지시도 읽지 못합니다. Google의 noindex 안내는 "Google 웹 크롤러가 이 URL을 크롤링하지 못하도록 차단하여 Google에서 태그를 인식하지 못하는 경우에도 페이지가 검색 결과에 계속 표시됩니다"라고 설명합니다. noindex를 넣었는데도 페이지가 사라지지 않는다면, robots.txt가 그 지시를 가리고 있는 것은 아닌지부터 확인해야 합니다.
이 충돌은 진단 화면에도 그대로 나타납니다. Google URL 검사에서 robots.txt로 차단된 페이지는 "색인 생성 허용 여부"가 항상 "예"로 표시됩니다. Google이 페이지 안의 noindex 지시를 확인해 따를 수 없기 때문입니다. 이 화면의 "예"는 실제로 색인 가능하다는 뜻이 아니라, Google이 아직 판단하지 못했다는 뜻에 가깝습니다.
검색과 AI 실무에서 중요한 이유
인덱서빌리티 조건을 충족하지 못하면 색인 자체가 안 되고, 색인이 안 되면 일반 검색결과는 물론 AI 기능에도 나올 수 없습니다. Google의 AI 기능 안내는 AI Overviews와 AI Mode에 참조 링크로 표시되려면 페이지가 색인되어 있고 스니펫과 함께 검색에 표시될 수 있어야 한다고 밝힙니다. 이 안내는 "추가적인 요구사항은 없으며, 다른 특별한 최적화가 필요하지도 않다"고도 덧붙입니다. 그래서 AI 검색을 준비할 때도 결국 인덱서빌리티 조건부터 다시 확인하는 편이 맞습니다.
ChatGPT, Claude, Perplexity 같은 서비스는 자체 색인이나 저장 방식을 이런 수준으로 공개하지 않습니다. 이 글에서 다룬 조건과 진단 방법은 Google 검색 기준이며, 다른 AI 서비스에도 그대로 적용된다고 보면 안 됩니다.
구글과 네이버에서 확인하는 법
구글 서치 콘솔의 URL 검사는 "색인 생성 허용 여부" 항목으로 인덱서빌리티 상태를 보여줍니다. 다만 앞서 본 것처럼 robots.txt로 차단된 페이지는 이 값이 실제 상태와 다르게 "예"로 나올 수 있으므로, 차단 여부부터 따로 확인해야 합니다.
Naver 서치어드바이저의 URL 검사도 비슷한 구조입니다. URL 상태 코드와 수집 여부, 색인 가능 여부, 색인 여부를 각각 따로 보여줍니다. 두 도구 모두 항목을 실제로 입력하고 결과를 읽는 방법은 URL 검사 글에서 자세히 다룹니다.
자주 묻는 질문
인덱서빌리티 조건을 다 충족하면 반드시 색인되나요?
아닙니다. 조건을 충족하면 색인 후보 자격을 얻을 뿐입니다. Google은 크롤링한 페이지도 품질이나 중복 판단에 따라 "크롤링됨 – 현재 색인이 생성되지 않음" 상태로 남겨둘 수 있다고 안내합니다. 실제 색인 여부는 검색엔진의 별도 판단을 거칩니다.
robots.txt로 차단하면 인덱서빌리티가 사라지나요?
꼭 그렇지는 않습니다. robots.txt로 막힌 URL도 다른 곳에서 링크가 걸려 있으면 관련 정보를 찾아 색인이 만들어질 수 있다고 Google은 밝힙니다. 본문 내용 없이 URL 정도만 남는 경우가 많아 완전한 차단으로 보기는 어렵습니다.
인덱서빌리티와 크롤러빌리티는 같은 말인가요?
다릅니다. 크롤러빌리티는 크롤러가 페이지에 접근해 콘텐츠를 가져올 수 있는지를 보고, 인덱서빌리티는 그렇게 가져온 콘텐츠를 검색엔진이 저장할 자격이 있는지를 봅니다. 크롤링할 수 있어도 noindex나 캐노니컬 설정 때문에 색인 가능 조건은 충족하지 못할 수 있습니다.
AI 검색에 나오려면 인덱서빌리티만 확인하면 되나요?
색인이 일반 검색 노출의 전제 조건인 것은 맞습니다. Google은 AI Overviews와 AI Mode의 참조 링크 자격도 색인 여부를 기준으로 삼고, 별도의 AI 전용 최적화는 필요 없다고 안내합니다. 다만 이는 Google 기준이며, 다른 AI 서비스의 색인 방식은 공식적으로 확인되지 않았습니다.
함께 알아두면 좋은 용어
- 색인: 검색엔진이 페이지 정보를 분석해 검색결과 후보로 저장하는 과정과 결과
- 크롤러빌리티: 크롤러가 페이지에 접근해 콘텐츠를 가져올 수 있는 상태
- noindex: 페이지를 검색 색인에서 제외하라고 전달하는 지시
- 캐노니컬 태그: 유사한 URL 가운데 대표 URL을 알려 주는 태그
- robots.txt: 검색로봇이 접근할 수 있는 경로를 알려 주는 파일
- URL 검사: 개별 URL의 크롤링과 색인 상태를 확인하는 기능