CDN을 검색하면 웹사이트 콘텐츠를 전달하는 인프라 CDN과 함께 캐나다 달러(CAD)를 표시하는 환율 CDN도 같이 나옵니다. 여기서는 콘텐츠 전송 네트워크로서의 CDN만 다룹니다.
CDN은 오리진 서버 대신 사용자와 가까운 엣지 서버에서 콘텐츠를 전달하는 분산 서버망입니다. 사용자가 요청하는 이미지, CSS, HTML 같은 파일을 엣지 서버가 미리 캐시해 두었다가 그대로 응답하기 때문에, 지구 반대편에 있는 오리진 서버까지 매번 오갈 필요가 없습니다.
이 글은 Cloudflare와 Google 검색 센터의 공식 문서를 기준으로 작성했습니다.
오리진 서버와 엣지 서버 사이의 요청 흐름
CDN은 오리진 서버와 최종 사용자 사이에 놓인 중개자입니다. Cloudflare는 CDN을 콘텐츠를 사용자와 가까운 곳에 캐시해 두는, 지리적으로 분산된 서버 그룹으로 설명합니다(CDN 정의). 어떤 사용자가 URL을 처음 요청하면 CDN은 그 응답을 캐시에 저장해 두고, 같은 콘텐츠를 다시 요청받을 때는 오리진 서버 대신 캐시에서 바로 응답합니다.
- 사용자가 브라우저에서 페이지를 요청합니다
- 요청은 사용자와 가까운 엣지 서버로 먼저 도착합니다
- 엣지 서버에 해당 파일의 캐시가 있으면 그대로 응답합니다
- 캐시가 없으면 엣지 서버가 오리진 서버에 파일을 요청해 받아온 뒤, 캐시에 저장하고 사용자에게 응답합니다
아직 아무도 요청하지 않은 URL은 캐시가 비어 있는 상태라서, 오리진 서버가 최소 한 번은 그 URL을 직접 서빙해야 합니다. Google도 새 페이지를 대량으로 열면 이 캐시가 채워지는 며칠 동안 오리진 서버 부담과 크롤 요청이 함께 늘어날 수 있다고 안내합니다. 상품 수십만 개를 한 번에 공개하는 사이트라면 크롤 버짓 관점에서 미리 감안해 둘 지점입니다.
CDN이 주는 속도와 보안 효과
엣지 서버가 사용자와 가까운 곳에서 응답하면 왕복 시간이 줄어 페이지가 더 빨리 열립니다. 여기에 대량 트래픽과 악성 요청을 걸러내는 기능도 함께 제공됩니다. CDN은 전 세계 트래픽 흐름을 다루다 보니 비정상적인 접속 패턴을 감지해 과도하거나 악의적인 요청을 자동으로 차단할 수 있습니다.
그런데 이 차단 기능이 지나치게 예민하면, 정작 사이트에 와야 할 검색엔진과 AI 크롤러까지 함께 걸러질 수 있습니다.
크롤러를 막는 하드 블록과 소프트 블록
Google 검색 센터는 CDN이 원치 않게 크롤러를 막는 상황을 하드 블록과 소프트 블록 두 갈래로 나눠 설명합니다(CDN과 크롤링). 물론 CDN이 크롤을 막는 일은 흔하지 않지만, 한번 발생하면 검색결과 노출 자체가 사라질 수 있어 확인해 둘 가치가 있습니다.
| 유형 | 신호 | 결과 |
|---|---|---|
| 하드 블록 | HTTP 상태 코드 503이나 429 | 일시 차단 신호로 처리돼 대응할 시간이 있습니다 |
| 하드 블록 | 네트워크 타임아웃 | 심각한 오류로 처리돼 URL이 색인에서 빠질 수 있습니다 |
| 하드 블록 | HTTP 200과 함께 오는 오류 메시지 | 중복 페이지로 인식돼 함께 제거될 수 있어 회복에 시간이 더 걸립니다 |
| 소프트 블록 | 사람인지 확인하는 인터스티셜 화면 | 크롤러가 실제 콘텐츠 대신 확인 화면만 읽습니다 |
Google은 소프트 블록 상황에서는 크롤러 같은 자동화 클라이언트에 503 상태 코드를 명확히 보내라고 권고합니다. 그래야 콘텐츠가 오류로 오인돼 자동으로 색인에서 빠지지 않습니다.
봇 관리 규칙은 사람 방문자와 악성 봇을 구분하려고 만든 것이지만, 검색엔진과 AI 크롤러도 자동화된 요청이라 같은 규칙에 걸릴 수 있습니다. 봇 차단 기능을 강하게 설정한 뒤 검색엔진 크롤러 요청까지 함께 걸러진 사례가 여러 CDN에서 보고됩니다.
검색엔진 크롤러 차단을 막는 확인 절차
- 구글 서치 콘솔의 URL 검사 도구로 렌더링된 화면을 확인합니다. 실제 페이지가 보이면 정상이고, 빈 화면이나 오류, 확인 화면이 보이면 CDN 쪽 설정을 봐야 합니다
- 로그 파일 분석으로 실제 요청 IP를 확인하고, 그 IP로 역DNS 조회를 실행해 도메인이 googlebot.com, google.com, googleusercontent.com인지 확인합니다
- 확인된 도메인으로 다시 순DNS 조회를 실행해 원래 IP와 같은지 대조합니다
- 구글봇을 비롯한 검색엔진이 공개하는 크롤러 IP 목록과 CDN의 방화벽(WAF) 차단 목록을 대조해, 차단된 IP가 있으면 허용 목록에 추가합니다
네이버 서치어드바이저 공식 문서에서는 CDN이 예티의 크롤링을 막는 상황에 대한 별도 안내를 확인하지 못했습니다. Google과 같은 방식이 그대로 통한다고 단정하지 말고, 의심되는 차단은 네이버 고객센터에 별도로 문의하는 편이 안전합니다.
페이지 속도, 엣지 SEO와 다른 점
CDN은 페이지 속도를 구성하는 요소 하나입니다. 서버 응답, 이미지 크기, 렌더링까지 포함하는 페이지 속도와 달리, CDN은 그중 캐싱과 전달 경로만 담당합니다. 캐시가 오래돼 새 콘텐츠를 늦게 반영하거나, 캐시 설정이 아예 없어 오리진 서버가 매번 직접 응답하는 경우처럼 CDN 자체의 설정 문제도 속도 저하 원인이 될 수 있습니다.
엣지 SEO는 이 엣지 서버에서 코드를 실행해 리다이렉트나 메타 태그 같은 요소를 직접 수정하는 실무 방식입니다. CDN은 그 작업이 이뤄지는 인프라이고, 엣지 SEO는 그 인프라 위에서 하는 작업입니다.
자주 묻는 질문
CDN을 쓰면 검색 순위가 오르나요?
CDN 자체가 순위를 올려주지는 않습니다. 다만 캐싱으로 페이지가 빨리 열리면 코어 웹 바이탈 같은 페이지 경험 지표가 좋아질 수 있고, 새 URL을 대량으로 열 때 생기는 크롤 부담을 줄이는 데도 도움이 됩니다.
CDN을 새로 붙이면 크롤링이 느려지나요?
오히려 크롤 속도가 오르는 경우가 많습니다. Google의 크롤링 인프라는 CDN이 뒤에 있는 사이트로 판단되면 서버가 더 많은 동시 요청을 버틸 수 있다고 보고 크롤 속도의 상한을 높입니다. 다만 아직 캐시가 채워지지 않은 초기 며칠은 오리진 서버가 첫 요청을 직접 처리해야 해서 부담이 잠시 늘 수 있습니다.
AI 크롤러도 CDN에서 차단될 수 있나요?
GPTBot이나 ClaudeBot 같은 AI 크롤러도 자동화된 요청이라는 점은 검색엔진 크롤러와 같습니다. CDN의 봇 관리 설정이 강하면 함께 걸러질 수 있다는 사례가 업계에서 보고됩니다. 다만 Google처럼 하드 블록과 소프트 블록을 공식적으로 분류해 안내하는 문서는 이 글을 쓰는 시점에 확인하지 못했습니다.
크롤러가 차단됐는지 어떻게 확인하나요?
URL 검사 도구로 렌더링 결과를 먼저 보고, 빈 화면이나 확인 화면이 뜨면 서버 로그에서 해당 크롤러의 요청과 응답 코드를 찾습니다. 그 요청이 진짜 크롤러인지는 IP를 역DNS와 순DNS로 대조해 확인합니다.
함께 알아두면 좋은 용어
- 페이지 속도: 서버 응답부터 렌더링까지 포함하는 전반적인 로딩 성능
- 코어 웹 바이탈: 로딩과 반응성, 화면 안정성을 측정하는 핵심 지표
- 크롤러빌리티: 크롤러가 페이지에 접근해 가져올 수 있는 상태
- 로그 파일 분석: 서버 요청 기록으로 실제 크롤러 방문을 확인하는 작업
- 구글봇: 구글 검색이 웹페이지를 발견하고 읽기 위해 쓰는 크롤러
- 엣지 SEO: 엣지 서버에서 코드를 실행해 SEO 요소를 직접 수정하는 방식