색인(Indexing)은 크롤링으로 수집된 페이지를 검색엔진이 분석해 검색 데이터베이스에 저장하는 과정이다. 검색 결과에 노출될 수 있는 페이지는 색인이 완료된 페이지뿐이다. 페이지가 존재한다는 것과 검색엔진에 색인됐다는 것은 별개의 문제이며, 크롤링됐더라도 품질·중복·설정 문제로 색인에서 제외될 수 있다.
왜 중요한가
색인은 검색 노출의 전제 조건이다. 콘텐츠를 아무리 잘 만들어도 색인되지 않으면 검색 유입은 0이다. 실무에서 “글을 올렸는데 검색에 안 나온다”는 문의의 상당수가 색인 단계에서 멈춘 경우다.
반대로 색인을 의도적으로 막아야 하는 페이지도 있다. 검색 유입이 필요 없는 관리용 페이지, 중복 페이지, 준비 중인 페이지는 noindex로 색인에서 제외해 사이트 전체의 품질 평가를 지킨다.
색인 여부를 확인하고 관리하는 방법
- 구글 서치콘솔 > 색인 생성 > 페이지: 색인된 페이지와 제외된 페이지, 제외 사유를 확인한다. “크롤링됨 – 현재 색인이 생성되지 않음”이 대표적인 품질 관련 제외 사유다.
- URL 검사 도구: 개별 URL의 색인 상태를 확인하고, 새 글·수정 글은 색인 요청으로 반영을 앞당긴다.
- noindex 메타 태그: 색인에서 제외할 페이지에
<meta name="robots" content="noindex">를 선언한다. robots.txt 차단과 달리 이미 색인된 페이지를 제거하는 효과가 있다. - canonical 정리: 같은 내용의 URL이 여러 개면 대표 URL을 canonical로 지정해 색인이 분산되지 않게 한다.
관련 용어
- 크롤링 — 색인의 전 단계, 검색엔진 봇의 페이지 수집 과정
- noindex — 특정 페이지를 색인에서 제외하는 메타 지시어
- 구글 서치콘솔 — 색인 상태를 확인하는 구글 공식 도구
- canonical — 중복 URL 중 대표 URL을 지정하는 태그