본문 바로가기
SEO·GEO 용어사전

로그 파일 분석 (Log File Analysis)

마지막 업데이트
선호 출처로 추가
목차
로그 파일이 기록하는 요청 정보로그 파일 분석으로 확인하는 정보크롤링 통계 보고서와 로그 파일의 차이진짜 크롤러인지 가려내는 법로그 파일 분석 진행 순서자주 묻는 질문함께 알아두면 좋은 용어참고 문서

로그 파일 분석은 서버나 CDN의 요청 기록에서 크롤러의 방문 시각, 요청 URL, 응답 상태 등을 조사하는 작업입니다. SEO에서는 검색엔진과 AI 크롤러가 중요한 페이지를 수집하는지, 같은 URL을 반복해서 요청하거나 오류 응답을 받는지 파악합니다.

로그 분석은 보안 침해나 서버 장애 조사에도 쓰입니다. 분석할 수 있는 정보는 로그를 남긴 위치, 보관 기간, 기록하도록 설정한 항목에 따라 달라집니다.

로그 파일이 기록하는 요청 정보

접근 로그(access log)는 서버가 처리한 요청을 기록합니다. Apache의 Common Log Format에는 클라이언트 IP, 인증 관련 정보, 요청 시각, 요청 라인, 상태 코드, 응답 크기가 들어갑니다. 요청 라인은 요청 방식, 경로, HTTP 버전을 담습니다.

여기에 참조 페이지를 나타내는 Referer와 요청 프로그램이 밝힌 User-Agent를 더한 형식이 Combined Log Format입니다. W3C의 Extended Log File Format 초안은 기록할 필드를 선택하고 로그 머리 부분에 그 목록을 적는 방식을 제안합니다.

Common Log Format에 Referer와 User-Agent를 추가한 가상의 접근 기록입니다.

66.249.66.1 - - [15/Aug/2026:09:12:03 +0900] "GET /glossary/log-file-analysis HTTP/1.1" 200 15320 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

이 예시에서는 /glossary/log-file-analysis 경로를 GET으로 요청했고, 서버가 200 상태와 15,320바이트의 응답 본문을 돌려줬습니다. 마지막 문자열은 요청자가 자신을 Googlebot이라고 밝힌 값이며, 실제 Google의 요청인지 검증한 결과는 아닙니다.

로그 파일 분석으로 확인하는 정보

  • 방문 빈도: 크롤러가 URL별로 언제 몇 번 요청했는지 집계합니다. 요청 기록이 있다고 색인됐다는 뜻은 아닙니다.
  • 불필요한 요청: 중복 URL이나 정렬 매개변수에 요청이 집중되는지 살펴 크롤 버짓이 불필요한 수집에 쓰이는 부분을 찾습니다.
  • 오류 응답: HTTP 상태 코드별로 URL을 나눠, 살아 있어야 할 페이지의 404나 서버 장애를 뜻하는 5xx를 찾습니다. 의도적으로 삭제한 페이지의 404까지 모두 고칠 필요는 없습니다.
  • AI 크롤러 방문: GPTBot, ClaudeBot 같은 AI 크롤러의 요청 시각과 URL, 응답을 조사합니다. Search Console과 네이버 서치어드바이저의 수집 보고서만으로는 이들 봇의 방문을 확인할 수 없습니다.

크롤링 통계 보고서와 로그 파일의 차이

Google Search Console의 크롤링 통계와 서버 로그는 집계 대상이 다릅니다. Google 도움말에 따르면 robots.txt를 가져오지 못해 실행하지 못한 크롤링 시도도 보고서의 총계에 포함됩니다. 서버 로그에는 서버까지 도달한 요청만 남으므로 두 수치가 반드시 일치하지는 않습니다.

구분무엇을 보여주는가대상 범위
크롤링 통계 보고서Google이 직접 집계해 가공한 데이터Google 크롤러만
로그 파일서버나 CDN이 남긴 개별 요청 기록해당 위치에서 기록한 사용자와 크롤러 요청

CDN이 캐시에서 응답한 요청은 오리진 서버까지 도달하지 않을 수 있습니다. 오리진 로그만 보고 방문이 없었다고 판단하지 않도록 CDN 로그의 수집 범위도 확인해야 합니다. 반대로 CDN과 오리진에 남은 같은 요청을 단순히 더하면 중복 집계할 수 있습니다.

진짜 크롤러인지 가려내는 법

User-Agent는 요청자가 직접 지정할 수 있습니다. 로그에 Googlebot이라고 적혀 있어도 실제 Google 크롤러인지는 별도로 검증해야 합니다.

Google은 IP의 역DNS와 순DNS 조회 결과를 대조하는 검증 절차를 안내합니다.

  1. 로그의 요청 IP로 역DNS 조회를 실행합니다. 조회된 호스트 이름이 Google 공식 문서에 나온 크롤러 종류별 도메인과 형식에 맞는지 확인합니다. Googlebot은 .googlebot.com, 다른 Google 크롤러나 가져오기 도구는 종류에 따라 .google.com이나 .googleusercontent.com을 씁니다.
  2. 그 호스트 이름을 순DNS로 조회해 원래 요청 IP가 나오는지 확인합니다.

대량 요청은 Google이 공개한 크롤러별 IP 목록과 대조할 수 있습니다. developers.google.com/static/crawling/ipranges/의 common-crawlers.json, special-crawlers.json, user-triggered-fetchers.json 등을 내려받아 확인합니다. Screaming Frog Log File Analyser 같은 도구는 IP 대조를 자동화하고 Googlebot이나 Bingbot을 사칭한 요청을 표시합니다.

AI 크롤러도 공식 IP 목록과 대조합니다. OpenAI는 GPTBot 등 봇별 목록을, Anthropic은 통합 목록을 공개합니다. IP가 운영사 목록에 속하는지 확인한 뒤 User-Agent로 봇 종류를 나눕니다.

로그 파일 분석 진행 순서

  1. 호스팅 서버나 CDN에서 access log를 받습니다. 크롤링 추세를 분석할 때는 여러 차례의 재방문을 비교할 수 있도록 기간을 잡습니다. 방문 간격이 길면 더 긴 기간을 확보하고, 장애를 조사한다면 발생 전후 기록을 먼저 모읍니다.
  2. User-Agent로 검색엔진과 AI 크롤러 요청을 추립니다. 프록시나 CDN을 쓴다면 IP 필드가 실제 요청자의 주소인지 중계 서버의 주소인지 확인합니다.
  3. 역DNS와 순DNS 조회 또는 공식 IP 목록으로 요청자를 검증합니다. 검증하지 못한 요청은 별도로 분류합니다.
  4. 로그의 시간대 표기를 맞춘 뒤 URL별 방문 횟수, 상태 코드, 마지막 방문 시각을 집계합니다.
  5. 사이트맵이나 중요 URL 목록과 대조해 분석 기간에 요청받지 못한 페이지와 불필요한 요청이 집중된 URL을 찾습니다.

결과에는 분석 기간, 로그를 수집한 위치, IP 검증 방법을 적습니다. 기록이 없는 URL은 ‘분석 기간의 수집 로그에서 요청을 찾지 못했다’고 해석해야 합니다. 지금까지 한 번도 크롤링되지 않았다는 뜻으로 확대할 수는 없습니다.

자주 묻는 질문

서버 로그 파일은 어디서 구하나요?

호스팅 제어판, FTP나 CDN 콘솔에서 access log를 받을 수 있습니다. CDN이 직접 처리한 요청은 오리진 서버까지 도달하지 않을 수 있으므로 CDN 로그도 확인합니다.

전용 도구가 꼭 필요한가요?

기록이 적으면 스프레드시트로 분석할 수 있습니다. 수백만 줄을 집계하거나 IP 검증을 반복해야 한다면 Screaming Frog Log File Analyser 같은 전용 도구로 작업 시간을 줄일 수 있습니다.

네이버 예티 방문도 로그로 확인할 수 있나요?

네. Yeti로 표시된 요청의 시각, URL, 응답 상태를 확인할 수 있습니다. 실제 네이버 요청인지는 로그의 IP를 역DNS로 조회해 호스트 이름이 .naver.com으로 끝나는지 확인하고, 그 이름을 순DNS로 조회했을 때 원래 IP가 나오는지 대조합니다. 네이버 서치어드바이저가 안내하는 검증 절차입니다.

함께 알아두면 좋은 용어

  • 크롤링: 검색로봇이 URL을 발견하고 페이지를 가져오는 과정
  • 구글봇: 구글 검색이 웹페이지를 발견하고 읽기 위해 쓰는 크롤러
  • 크롤 버짓: Google이 특정 호스트를 크롤링하는 데 할당하는 시간과 자원
  • 크롤러빌리티: 크롤러가 페이지에 접근해 가져올 수 있는 상태
  • AI 크롤러: AI 모델 학습, 검색 색인, 사용자 요청 처리를 위해 웹페이지에 접근하는 봇
  • HTTP 상태 코드: 서버가 요청 처리 결과를 알리는 코드
  • 구글 서치 콘솔: Google 검색에서 사이트 상태를 확인하는 도구

참고 문서

다른 용어

모든 용어 보기