robots meta tag는 개별 HTML 페이지의 색인과 검색결과 표시 방식을 검색로봇에 전달하는 태그입니다. Google과 Naver가 지원한다고 밝힌 규칙만 다루고, robots.txt와 X-Robots-Tag의 역할을 구분합니다.
이 글은 Google 공식 문서와 네이버 공식 문서를 기준으로 작성했습니다.
HTML head 작성 위치
페이지의 HTML에 다음과 같이 작성합니다.
<meta name="robots" content="noindex, follow">
name="robots"는 해당 규칙을 지원하는 검색로봇 전체를 대상으로 합니다. Googlebot처럼 특정 로봇만 대상으로 하려면 지원 여부를 확인해 이름을 지정할 수 있습니다.
검색엔진별 지원 규칙 차이
| 규칙 | 의미 |
|---|---|
| index | Google의 기본 동작이며 별도로 적어도 효과가 없음 |
| noindex | Google에 페이지를 검색 색인에서 제외하도록 지시 |
| follow | Google의 기본 동작이며 별도로 적어도 효과가 없음 |
| nofollow | Google에 페이지 안 링크를 따라가지 않도록 지시 |
| nosnippet | Google 검색결과의 텍스트와 동영상 snippet을 제한 |
| max-snippet | Google 검색결과 텍스트 snippet의 최대 길이를 설정 |
| noimageindex | Google에 해당 페이지의 이미지 색인을 제한하도록 지시 |
위 표는 Google 공식 문서의 범위입니다. 다른 검색엔진이 같은 값을 모두 지원한다고 가정하지 마세요. index, follow는 Google의 기본 동작이라 태그를 쓰지 않아도 같습니다. CMS가 어떤 값을 출력하는지 실제 페이지 소스에서 확인하세요.
robots.txt와 나누는 역할
robots.txt는 크롤러가 경로에 접근하는 것을 허용하거나 제한합니다. robots meta tag는 크롤러가 페이지를 읽은 뒤 색인과 표시 방식을 판단할 때 사용합니다.
| 설정 | 적용 범위 | 주요 역할 |
|---|---|---|
| robots.txt | 호스트의 경로와 크롤러 | 크롤링 접근 제어 |
| robots meta tag | 개별 HTML 페이지 | 색인과 검색결과 표시 제어 |
페이지를 noindex로 제외하려면 검색로봇이 페이지에 접근해 태그를 읽을 수 있어야 합니다. robots.txt로 같은 페이지를 막아두면 noindex를 확인하지 못할 수 있습니다.
noindex 규칙과 전달 방법의 구분
노인덱스는 색인 제외 규칙의 이름입니다. robots meta tag는 noindex를 비롯한 여러 규칙을 HTML에 전달하는 방법입니다.
즉 noindex는 다음처럼 meta 태그에 넣을 수도 있고 HTTP의 X-Robots-Tag로 전달할 수도 있습니다.
X-Robots-Tag: noindex
X-Robots-Tag의 적용 대상
PDF와 이미지 같은 비HTML 파일에는 HTML meta 태그를 넣을 수 없습니다. 이 경우 서버가 보내는 HTTP 응답 헤더에 X-Robots-Tag를 사용할 수 있습니다.
X-Robots-Tag는 서버와 CDN 설정에 영향을 받습니다. 개발자 도구의 Network 탭이나 curl -I 명령으로 실제 응답 헤더를 확인하세요.
Google과 Naver의 지원 규칙 차이
공통으로 사용하는 noindex와 nofollow가 있지만 검색엔진별 지원 규칙은 다를 수 있습니다.
Naver는 robots meta tag에서 nosourceinfo를 사용하면 해당 사이트에 대해 AI로 자동 생성된 출처 설명을 제공하지 않는다고 안내합니다. 이 값은 Google의 일반 robots meta 규칙으로 가정하지 말고 Naver 전용 안내에 따라 사용하세요.
Google의 robots meta 지시를 ChatGPT와 Claude가 공통으로 따른다고 가정하면 안 됩니다. 범용 AI 서비스마다 크롤러와 콘텐츠 사용 정책이 다르며, Naver의 nosourceinfo도 Naver 전용입니다. 페이지의 실제 메타 태그와 응답 헤더를 확인하고, AI 크롤러 요청은 서버 로그에서 서비스별로 구분합니다.
자주 묻는 질문
robots meta tag가 없으면 색인되지 않나요?
아닙니다. 일반적으로 별도 제한이 없으면 색인 가능 상태로 처리될 수 있습니다. 크롤링과 색인 여부는 다른 조건도 함께 영향을 줍니다.
nofollow를 쓰면 페이지도 색인되지 않나요?
nofollow는 페이지 안 링크의 처리에 관한 규칙입니다. 현재 페이지 자체를 색인에서 제외하려면 noindex를 사용합니다.
태그를 지웠는데 검색결과에 바로 다시 나오나요?
검색엔진이 페이지를 다시 크롤링하고 변경된 규칙을 처리해야 합니다. URL 검사로 현재 HTML을 확인하고 재처리 시간을 두세요.
함께 알아두면 좋은 용어
- 노인덱스: 페이지를 검색 색인에서 제외하는 규칙
- robots.txt: 크롤러의 경로 접근을 제어하는 파일
- X-Robots-Tag: HTTP 응답 헤더로 로봇 규칙을 전달하는 방식
- snippet: 검색결과에 표시되는 페이지 설명이나 요약