색인(Indexing)은 검색엔진이 가져온 페이지의 내용과 의미를 분석해 검색에 쓸 정보를 저장하는 과정입니다. 같은 내용을 여러 주소에서 제공한다면 그중 대표 URL을 고르기도 합니다. 페이지를 가져오는 크롤링과, 분석한 정보를 저장하는 색인은 별도 단계입니다.
검색엔진은 색인에 저장한 페이지 중에서 검색어에 맞는 결과를 골라 보여 줍니다. 따라서 크롤링을 마쳐도 색인되지 않을 수 있고, 색인돼도 특정 검색어에 노출된다고 보장할 수는 없습니다.
페이지 정보를 저장하는 과정
검색엔진은 페이지의 제목과 본문, 이미지 정보 등을 분석해 무엇을 다루는지 파악합니다. 같은 상품이 기본 주소와 광고 추적값이 붙은 주소에서 모두 열린다면, 두 URL을 중복으로 묶고 그중 하나를 대표로 선택할 수 있습니다.
구글은 이 저장 공간을 Google 색인이라고 부릅니다. 네이버도 수집한 문서를 정제하고 색인한 뒤 검색 순위를 판단합니다.
Google의 페이지 색인 생성 보고서 안내는 사이트의 모든 URL이 색인될 필요는 없다고 설명합니다. 중복 페이지와 이동용 URL, 검색에 남길 필요가 없는 빈 페이지는 색인되지 않아도 정상일 수 있습니다. 검색에 보여 줄 중요한 대표 페이지가 색인되어 있는지부터 확인합니다.
SEO 도구의 “색인 가능(indexable)” 판정은 정상 응답과 색인 지시 등 도구가 검사한 조건을 충족했다는 뜻입니다. Google이 실제로 색인했는지를 나타내는 “색인됨(indexed)”과는 다릅니다. 도구에서 문제가 없다고 나와도 검색엔진의 처리 결과를 따로 확인해야 합니다.
크롤링, 색인, 노출의 단계 구분
| 단계 | 검색엔진이 하는 일 | 확인할 질문 |
|---|---|---|
| 크롤링 | URL을 발견하고 페이지 내용을 가져옵니다. | 검색로봇이 이 페이지에 방문했는가? |
| 색인 | 내용을 분석하고 검색에 사용할 정보를 저장합니다. | 이 페이지가 검색결과 후보에 들어갔는가? |
| 노출 | 검색어에 맞는 페이지를 골라 검색결과에 보여 줍니다. | 어떤 검색어에서 몇 위에 보이는가? |
검색결과에서 페이지를 찾지 못했다면 먼저 색인 여부를 확인합니다. 색인돼 있다면 해당 검색어와 얼마나 관련 있는지, 경쟁 페이지와 비교해 내용이 충분한지 살펴봅니다.
색인 제외가 정상인 URL과 점검할 URL
색인되지 않았다고 해서 모두 오류는 아닙니다. 먼저 검색에 포함하려는 페이지가 맞는지부터 확인해야 합니다.
색인되지 않아도 정상인 경우
- 다른 페이지로 이동시키는 리디렉션 URL
- 대표 페이지와 내용이 같은 중복 또는 대체 URL
noindex로 검색 제외를 요청한 페이지- 삭제되어 404 응답을 반환하는 페이지
위 URL은 제외된 이유가 운영 의도와 맞는지 확인하면 됩니다. 검색에 보여 주려는 대표 페이지가 빠졌다면 원인을 점검해야 합니다.
확인이 필요한 경우
- 검색엔진이 새 페이지를 아직 발견하지 못했거나 다시 방문하지 않은 경우
- robots.txt, 로그인, 서버 오류 등으로 페이지 내용을 가져오지 못한 경우. 다만 Google은 robots.txt로 막힌 URL도 다른 페이지의 링크 정보를 참고해 본문 없이 색인할 수 있습니다.
- 페이지에
noindex가 남아 있거나 다른 URL이 대표 페이지로 지정된 경우 - JavaScript를 실행한 뒤에도 검색엔진이 읽을 핵심 본문이 거의 없는 경우
- 다른 페이지와 내용이 지나치게 비슷하거나 검색에 저장할 정보가 부족한 경우
Search Console에서 자주 보이는 두 상태도 이름이 비슷하지만 확인할 지점은 다릅니다.
| Search Console 상태 | 의미 | 먼저 확인할 것 |
|---|---|---|
| 발견됨, 현재 색인이 생성되지 않음 | Google이 URL은 알지만 아직 크롤링하지 않았습니다. | 내부 링크, 사이트맵, 서버 응답 상태 |
| 크롤링됨, 현재 색인이 생성되지 않음 | Google이 페이지를 가져갔지만 현재 색인에는 넣지 않았습니다. | 렌더링된 본문, 중복 여부, Google이 선택한 대표 URL |
“크롤링됨, 현재 색인이 생성되지 않음”은 콘텐츠 품질이 낮다는 판정문이 아닙니다. 현재 색인에 없다는 상태를 나타내며 나중에 색인될 수도 있습니다. 위 항목을 조사하되 이 상태 하나만으로 글을 삭제하거나 전면 수정하지는 않습니다.
구글과 네이버에서 색인 상태를 확인하는 법
구글과 네이버에서는 URL 검사로 개별 페이지를 확인하고, 사이트 보고서에서 여러 페이지의 수집과 색인 상태를 살펴볼 수 있습니다.
| 확인 대상 | 구글 | 네이버 |
|---|---|---|
| 개별 페이지 | Search Console의 URL 검사 | 서치어드바이저의 URL 검사 |
| 사이트 전체 | 페이지 색인 생성 보고서 | 수집 및 색인 현황 |
| 확인 내용 | 크롤링 여부, 색인 상태, 대표 URL, 제외 이유 | 상태 코드, 수집 여부, 색인 가능 여부, 색인 여부 |
개별 글은 URL 검사로, 여러 글이 한꺼번에 빠진 경우는 사이트 보고서로 조사합니다. 예를 들어 사이트 개편 뒤 주요 페이지의 제외 건수가 늘었다면 특정 템플릿에서 noindex나 오류 응답이 반복되는지 확인합니다.
페이지 색인 생성 보고서와 URL 검사 결과는 갱신 시점이 다를 수 있습니다. 두 결과가 다르면 개별 URL의 마지막 크롤링 날짜와 검사 결과를 대조합니다.
수정한 페이지는 실시간 테스트로 Google이 현재 접근할 수 있는지 확인합니다. 다만 이 테스트에서는 중복 페이지를 어떻게 묶었는지, 어떤 canonical을 선택했는지는 확인하지 않습니다. 테스트가 정상이어도 실제 색인은 별도로 진행됩니다.
site: 검색에 나오는 결과는 색인된 URL 전체 목록이 아닙니다. 특정 URL의 상태와 제외 이유는 URL 검사와 페이지 색인 생성 보고서에서 확인하는 편이 정확합니다.
색인 요청 전 확인 항목
Google URL 검사에서는 색인 생성을, 네이버 서치어드바이저에서는 웹페이지 수집을 요청할 수 있습니다. 접근 차단이나 잘못된 색인 지시가 남아 있다면 다시 요청해도 같은 문제가 생길 수 있으므로 먼저 원인을 고칩니다.
- 페이지가 정상적으로 열리고 200 응답을 반환하는지 확인합니다.
- 검색에 포함할 페이지에
noindex가 없는지 봅니다. - robots.txt나 방화벽이 검색로봇을 막지 않는지 확인합니다.
- 캐노니컬이 의도한 대표 URL을 가리키는지 확인합니다.
- 검색엔진이 읽은 HTML에 제목과 핵심 본문이 있는지, 다른 페이지와 같은 내용만 제공하지는 않는지 확인합니다.
- 내부 링크와 사이트맵이 색인하려는 대표 URL을 직접 가리키는지 확인합니다.
수정이 끝나면 Google URL 검사에서 개별 페이지의 색인 생성을 요청하거나, 네이버 서치어드바이저에서 웹페이지 수집을 요청합니다. 여러 페이지를 알릴 때는 사이트맵에 최신 URL을 반영해 제출합니다.
색인 요청은 검색엔진에 다시 확인해 달라고 알리는 기능이며, 색인이나 검색 노출을 보장하지는 않습니다. 같은 URL을 반복해서 요청한다고 우선 처리되는 것도 아닙니다.
AI 검색 출처와 색인의 관계
Google의 AI 기능 안내에 따르면 AI Overviews와 AI Mode에 링크로 나오려면 페이지가 Google에 색인되어 있어야 합니다. 일반 검색에서 페이지 설명을 표시할 수 있는 상태여야 한다는 조건도 같습니다.
Search Console의 검색 생성형 AI 설정에서 사이트가 제외돼 있지 않은지도 확인합니다. 기본값은 포함이며 하위 속성은 상위 설정을 따를 수 있습니다. 일반 검색에 색인된 상태와 생성형 AI 기능에 포함될 수 있는 상태를 구별해야 합니다.
다만 Google 색인 여부를 ChatGPT Search나 Perplexity의 검색 포함 여부와 같은 뜻으로 보면 안 됩니다. 서비스마다 콘텐츠를 찾고 저장하는 방식이 다릅니다.
자주 묻는 질문
구글 색인 상태는 어떻게 확인하나요?
Google Search Console의 URL 검사에 전체 URL을 입력하세요. 현재 색인 여부, 마지막 크롤링 정보, Google이 선택한 대표 URL과 제외 이유를 확인할 수 있습니다.
색인 요청 후 얼마나 걸리나요?
정해진 시간은 없습니다. 페이지와 사이트 상태에 따라 달라지며, 요청해도 색인되지 않을 수 있습니다. 새 글이라면 검색로봇이 접근할 수 있는지와 내부 링크, 사이트맵 연결부터 확인하세요.
색인되지 않은 페이지는 모두 고쳐야 하나요?
아닙니다. 리디렉션 URL, 중복 또는 대체 페이지, 의도적으로 noindex를 사용한 페이지는 색인되지 않는 것이 정상입니다. 검색에 노출하려는 대표 페이지가 제외됐을 때 원인을 확인하면 됩니다.
색인되면 검색 순위가 오르나요?
색인은 검색결과 후보가 되는 단계입니다. 검색엔진은 검색어와 얼마나 관련 있는지, 콘텐츠 품질과 사이트 신호는 어떤지 등을 따져 실제 노출과 순위를 별도로 결정합니다.
함께 알아두면 좋은 용어
- 크롤링: 검색로봇이 URL을 발견하고 페이지 내용을 가져오는 과정
- noindex: 특정 페이지를 검색 색인에서 제외하라는 지시
- 캐노니컬 태그: 여러 유사 URL 중 대표 URL을 알려 주는 태그
- 사이트맵: 검색엔진에 수집할 URL 목록을 제공하는 파일
- URL 검사: 개별 URL의 크롤링과 색인 상태를 확인하는 기능
참고 문서
- Google Search Console 페이지 색인 생성 보고서
- Google Search Console URL 검사 도구
- Google 검색의 AI 기능과 웹사이트
- 네이버 서치어드바이저 사이트의 색인 효율성 개선하기
- 네이버 서치어드바이저 URL 검사
- 네이버 서치어드바이저 수집 현황
- 네이버 서치어드바이저 수집요청 및 검색제외
- Ahrefs, What Crawled, Currently Not Indexed Means
- Ahrefs, How to Get Google to Index Your Website
- Ahrefs, Canonical Tags Explained
- Semrush, Technical SEO Checklist
- Search Engine Land, Indexability Guide
- Search Engine Land, Google Indexing Report Fixed