CDN은 여러 지역에 둔 서버에서 웹사이트 콘텐츠를 전달하는 네트워크입니다. 원본 콘텐츠를 보관한 오리진 서버와 사용자 사이에 엣지 서버를 두고, 사용자와 가까운 서버에서 이미지, CSS, HTML 등을 전송합니다.
CDN은 Content Delivery Network의 약자입니다. 엣지 서버에 콘텐츠 사본을 저장해 두는 캐시를 이용하므로, 같은 파일을 요청할 때마다 먼 오리진 서버까지 왕복할 필요가 줄어듭니다.
오리진 서버와 엣지 서버의 요청 처리
CDN의 캐시에 유효한 사본이 있으면 엣지 서버가 직접 응답하고, 사본이 없으면 오리진 서버에 요청합니다.
- 사용자가 브라우저에서 페이지를 요청합니다.
- 요청을 받은 엣지 서버가 저장된 캐시를 확인합니다.
- 유효한 캐시가 있으면 오리진 서버 대신 응답합니다.
- 캐시가 없으면 오리진 서버에서 콘텐츠를 받아 사용자에게 전달하고, 설정에 따라 캐시에 저장합니다.
새로 공개한 URL은 캐시가 없다면 오리진 서버가 첫 요청을 처리해야 합니다. Google은 새 페이지를 대량으로 공개할 때 초기 며칠 동안 캐시를 채우는 요청이 몰려 오리진 서버의 부담이 늘 수 있다고 설명합니다. 상품 수십만 개를 한 번에 공개한다면 CDN의 처리 용량뿐 아니라 원본 서버가 감당할 요청량도 검토해야 합니다. 서버가 요청을 안정적으로 처리할 수 있는지는 크롤 버짓에도 관련됩니다.
속도 개선과 요청 차단 기능
사용자와 가까운 엣지 서버가 응답하면 통신에 걸리는 왕복 시간을 줄일 수 있습니다. 여러 서버가 요청을 나눠 처리하므로 트래픽이 몰릴 때 오리진 서버의 부담도 줄어듭니다. CDN 서비스에는 비정상적인 접속이나 악성 요청을 차단하는 보안 기능이 함께 제공되기도 합니다.
보안 설정이 정상적인 크롤러까지 차단하면 검색엔진은 실제 콘텐츠를 가져오지 못합니다. 속도가 개선됐는지와 별개로, 검색엔진과 허용하려는 AI 크롤러가 사이트에 접근할 수 있는지도 확인해야 합니다.
하드 블록과 소프트 블록
Google은 CDN과 크롤링 문서에서 의도하지 않은 크롤러 차단을 하드 블록과 소프트 블록으로 구분합니다. 자주 발생하는 문제는 아니지만 차단이 지속되면 검색 노출에 영향을 줄 수 있습니다.
| 유형과 응답 | 크롤링에 미치는 영향 |
|---|---|
| 하드 블록, HTTP 상태 코드 503 또는 429 | 콘텐츠를 일시적으로 제공할 수 없다는 신호입니다. Google이 크롤링을 줄이는 동안 차단 원인을 찾아 해제할 수 있습니다. |
| 하드 블록, 네트워크 타임아웃 | 심각한 오류로 처리하며 URL이 색인에서 빠질 수 있습니다. |
| 하드 블록, 오류 페이지를 HTTP 200으로 응답 | 오류로 판별해 URL을 제외하거나, 같은 오류 화면이 반복되는 URL들을 중복 콘텐츠로 처리할 수 있습니다. 중복으로 처리되면 재수집과 회복이 늦어질 수 있습니다. |
| 소프트 블록, 사람인지 확인하는 중간 화면 | 실제 콘텐츠 대신 확인 화면만 가져오게 됩니다. |
사람인지 확인하는 화면을 제공해야 한다면 Google은 크롤러에 HTTP 503을 반환하도록 권고합니다. 정상 페이지를 뜻하는 200 대신 일시적으로 콘텐츠를 제공할 수 없다고 알리려는 목적입니다. 크롤러의 접근을 허용할 계획이라면 상태 코드만 바꾸는 데 그치지 말고 해당 요청을 차단한 규칙도 수정해야 합니다.
검색엔진 크롤러 접근 점검
- 구글 서치 콘솔의 URL 검사에서 실시간 테스트를 실행하고 렌더링된 화면을 확인합니다. 본문 대신 빈 화면이나 오류, 인증 화면이 나오면 해당 요청이 CDN에서 어떻게 처리됐는지 살펴봅니다.
- 로그 파일 분석으로 요청 IP를 찾고 역DNS 조회를 합니다. Google이 안내한
googlebot.com,google.com,googleusercontent.com도메인인지 확인합니다. - 확인한 호스트 이름을 다시 순DNS로 조회해 원래 요청 IP와 일치하는지 대조합니다.
- 구글봇의 요청은 공식 IP 목록과 대조하는 방법으로도 확인할 수 있습니다. 실제 크롤러로 확인된 요청을 CDN의 웹 애플리케이션 방화벽(WAF)이 차단했다면 해당 규칙을 조정합니다.
네이버도 방화벽이 검색로봇을 차단하지 않는지 점검하도록 안내합니다. 예티(Yeti)의 요청 IP를 역DNS로 조회해 호스트 이름이 .naver.com으로 끝나는지 확인하고, 그 이름을 다시 DNS로 조회한 결과가 원래 IP와 일치하는지 대조합니다. 네이버가 공개한 검색로봇 IP 목록과 비교하는 방법도 있습니다.
페이지 속도와 엣지 SEO의 차이
페이지 속도는 서버 응답과 이미지 크기, 브라우저 렌더링 등을 함께 다룹니다. CDN은 그중 캐싱과 전달 경로를 담당합니다. 캐시가 오래돼 수정 내용이 늦게 보이거나, 캐시 설정이 없어 오리진 서버가 매번 응답한다면 CDN 설정도 점검 대상입니다.
엣지 SEO는 엣지 서버에서 코드를 실행해 리디렉션이나 메타 태그를 수정하는 작업입니다. CDN은 이를 실행하는 인프라이고, 엣지 SEO는 그 위에서 수행하는 SEO 작업입니다.
자주 묻는 질문
CDN을 쓰면 검색 순위가 오르나요?
도입 자체가 순위 상승을 보장하지는 않습니다. 캐싱으로 로딩이 빨라지면 코어 웹 바이탈이 개선될 수 있으며, 대량의 URL을 제공할 때 서버 부담을 분산하는 데도 도움이 됩니다.
CDN을 새로 붙이면 크롤링이 느려지나요?
Google은 CDN이 있는 사이트가 더 많은 동시 요청을 처리할 수 있다고 보고 크롤링 상한을 높일 수 있습니다. 다만 초기 며칠은 캐시가 없는 URL의 요청을 오리진 서버가 처리하므로 일시적으로 부담이 늘 수 있습니다.
AI 크롤러도 CDN에서 차단될 수 있나요?
GPTBot이나 ClaudeBot도 CDN의 봇 관리 규칙에 걸릴 수 있습니다. 허용하려는 봇이라면 운영사가 공개한 IP 정보와 CDN 차단 기록을 대조해야 합니다. Google의 색인 제외나 재수집 방식에 관한 설명은 다른 AI 서비스에 그대로 적용되지 않습니다.
크롤러가 차단됐는지 어떻게 확인하나요?
URL 검사에서 가져온 화면을 확인하고 서버 로그의 요청과 응답 코드를 대조합니다. Google 크롤러를 확인할 때는 IP를 역DNS와 순DNS로 검증해 실제 크롤러 요청인지 확인합니다.
함께 알아두면 좋은 용어
- 페이지 속도: 서버 응답부터 렌더링까지 포함하는 전반적인 로딩 성능
- 코어 웹 바이탈: 로딩과 반응성, 화면 안정성을 측정하는 핵심 지표
- 크롤러빌리티: 크롤러가 페이지에 접근해 가져올 수 있는 상태
- 로그 파일 분석: 서버 요청 기록으로 실제 크롤러 방문을 확인하는 작업
- 구글봇: 구글 검색이 웹페이지를 발견하고 읽기 위해 쓰는 크롤러
- 엣지 SEO: 엣지 서버에서 코드를 실행해 SEO 요소를 직접 수정하는 작업