크롤링(Crawling)은 검색엔진의 수집 봇(크롤러)이 링크를 따라 웹페이지를 방문해 HTML, 이미지, 스크립트 등의 콘텐츠를 수집하는 과정이다. 구글의 Googlebot, 네이버의 Yeti, 빙의 Bingbot이 대표적인 크롤러이며, GPTBot·ClaudeBot 같은 AI 크롤러도 같은 방식으로 페이지를 수집해 답변의 근거로 사용한다. 크롤링된 페이지만 다음 단계인 색인(인덱싱)으로 넘어갈 수 있다.
왜 중요한가
검색 노출은 크롤링 → 색인 → 랭킹의 순서로 진행된다. 크롤링이 막히면 이후 단계가 전부 막히기 때문에, 크롤링은 SEO에서 가장 먼저 점검하는 항목이다.
크롤러는 한 사이트에 무한정 머무르지 않는다. 사이트마다 배정되는 수집 자원(크롤 예산)이 있어서, 불필요한 페이지가 크롤링을 소모하면 정작 중요한 페이지의 수집이 늦어진다. 페이지 수가 많은 사이트일수록 크롤링 관리가 성과에 직접 영향을 준다.
실무에서 확인하는 방법
크롤링 상태는 추측하지 않고 도구로 확인한다.
- 구글 서치콘솔 > 설정 > 크롤링 통계: Googlebot이 하루에 몇 페이지를 수집하는지, 응답 오류가 없는지 확인한다.
- robots.txt 점검: 수집을 허용할 경로가
Disallow로 차단돼 있지 않은지 확인한다. 리뉴얼 직후 개발용 차단 설정이 남아 있는 사고가 흔하다. - XML 사이트맵 제출: 크롤러가 링크를 따라오기를 기다리지 않고, 수집할 URL 목록을 서치콘솔·서치어드바이저에 직접 전달한다.
- 내부 링크 구조: 어떤 페이지에서도 링크로 도달할 수 없는 고립 페이지(오펀 페이지)는 크롤러도 찾지 못한다.
관련 용어
- 색인(인덱싱) — 크롤링된 페이지가 검색 데이터베이스에 저장되는 다음 단계
- robots.txt — 크롤러의 수집 범위를 지시하는 파일
- 크롤 예산 — 크롤러가 한 사이트에 배정하는 수집 자원
- XML 사이트맵 — 수집 대상 URL을 검색엔진에 전달하는 목록