로봇 메타 태그는 HTML 페이지의 색인과 검색결과 표시 규칙을 검색로봇에 전달하는 태그입니다. 페이지의 <head>에 작성하며, 검색로봇이 HTML을 읽을 수 있어야 규칙도 처리할 수 있습니다. noindex로 검색결과에서 제외하거나 nosnippet으로 요약 표시를 제한하는 용도로 쓰며, 지원하는 값은 검색엔진마다 다릅니다.
태그 작성 위치와 대상
다음 태그는 해당 HTML 페이지를 색인에서 제외하도록 지시합니다. 사이트 전체가 아니라 이 태그를 넣은 페이지에 적용됩니다.
<meta name="robots" content="noindex, follow">
name="robots"는 규칙을 지원하는 검색로봇 전체를 대상으로 합니다. Google 검색에만 적용하려면 name을 googlebot으로 지정할 수 있습니다. Google 뉴스에만 적용하는 값은 googlebot-news입니다. 특정 로봇을 지정할 때는 해당 서비스가 지원하는 이름을 써야 합니다.
content에는 쉼표로 구분한 규칙을 적습니다. 위 예시의 follow는 링크를 따라가는 기본 동작을 뜻하므로 Google에서는 따로 적을 필요가 없습니다. follow를 함께 썼다고 noindex가 취소되는 것은 아닙니다.
Google이 지원하는 주요 규칙
| 규칙 | 역할 |
|---|---|
index | 색인을 제한하지 않는 기본값입니다. 따로 적어도 색인을 보장하지 않습니다. |
noindex | 페이지를 검색 색인에서 제외하도록 지시합니다. |
follow | 페이지의 링크를 따라가는 기본 동작입니다. 따로 지정하지 않아도 됩니다. |
nofollow | 해당 페이지의 링크를 따라가지 않도록 지시합니다. |
nosnippet | 텍스트 스니펫과 동영상 미리보기를 표시하지 않도록 합니다. 정적인 이미지 썸네일은 표시될 수 있습니다. |
max-snippet | 텍스트 스니펫의 최대 글자 수를 정합니다. 이미지나 동영상 미리보기 길이에는 적용하지 않습니다. |
noimageindex | 이 페이지에 있는 이미지를 색인하지 않도록 지시합니다. |
CMS나 SEO 플러그인에서 값을 설정했다면 실제 페이지의 HTML에서 출력된 태그를 확인합니다. 여러 태그가 겹쳐 있을 수도 있습니다. Google은 규칙이 충돌하면 더 제한적인 쪽을 적용하므로, max-snippet:50과 nosnippet이 함께 있으면 텍스트 스니펫을 표시하지 않습니다.
robots.txt와 noindex를 함께 설정할 때
robots.txt는 크롤러가 특정 경로를 수집할 수 있는지 정합니다. 로봇 메타 태그는 페이지를 수집한 뒤 적용할 색인과 표시 규칙을 담습니다.
| 설정 | 적용 위치 | 주요 역할 |
|---|---|---|
| robots.txt | 호스트 루트의 /robots.txt 파일 | 경로와 크롤러별 수집 허용 여부 지정 |
| 로봇 메타 태그 | 개별 HTML 페이지 | 색인과 검색결과 표시 제어 |
페이지를 노인덱스로 제외하려면 검색로봇이 태그를 읽을 수 있도록 수집을 허용해야 합니다. 같은 URL을 robots.txt로 차단하면 로봇은 페이지 안의 noindex를 읽지 못합니다. 검색결과에서 제외하려는 URL이라면 robots.txt의 차단 규칙과 실제 페이지 응답부터 확인합니다.
X-Robots-Tag로 전달하는 방법
Google은 HTTP 응답 헤더인 X-Robots-Tag로 전달한 규칙도 처리합니다. 다음 응답 헤더는 위 HTML 예시와 마찬가지로 noindex를 지시합니다.
X-Robots-Tag: noindex
PDF나 이미지 파일에는 HTML 메타 태그를 넣을 수 없으므로 응답 헤더를 이용합니다. HTML 페이지에도 X-Robots-Tag를 적용할 수 있습니다.
서버나 CDN 설정에서 응답 헤더를 추가했다면 HTML의 메타 태그를 지워도 noindex가 남을 수 있습니다. 브라우저 개발자 도구의 Network 탭에서 페이지 응답을 열어 X-Robots-Tag를 찾습니다. curl -I로 헤더를 조회할 수도 있습니다. 색인 제한을 해제할 때는 HTML과 응답 헤더 양쪽에서 규칙을 제거했는지 확인해야 합니다.
네이버와 AI 서비스에 적용되는 범위
네이버도 noindex와 nofollow를 안내하며, 별도로 nosourceinfo를 지원합니다. 이 값은 네이버가 AI로 자동 생성한 사이트 출처 설명을 제공하지 않도록 하는 규칙입니다. 사이트의 모든 AI 활용을 막는 설정은 아닙니다.
Google은 nosnippet을 지정한 콘텐츠를 AI Overviews와 AI Mode의 직접 입력 자료로도 쓰지 않는다고 안내합니다. max-snippet은 두 기능에 직접 입력할 수 있는 내용의 양에도 제한을 둡니다. 다만 구조화 데이터나 별도 계약 등으로 사용을 따로 허용한 내용에는 max-snippet의 제한이 적용되지 않을 수 있습니다.
ChatGPT나 Claude에도 같은 규칙이 적용된다고 보아서는 안 됩니다. 각 서비스의 크롤러와 콘텐츠 사용 지침을 따로 따라야 합니다. 서버 로그는 어떤 크롤러가 언제 접근했는지 확인하는 자료이며, 요청 기록만으로 콘텐츠를 어떻게 활용했는지까지 알 수는 없습니다.
자주 묻는 질문
태그가 없으면 색인되지 않나요?
아닙니다. Google에서 index, follow는 기본값이므로 모든 페이지에 태그를 넣을 필요는 없습니다. 다만 robots.txt나 응답 헤더가 별도로 제한할 수 있고, 접근이 가능해도 Google이 모든 페이지를 색인하는 것은 아닙니다.
nofollow를 쓰면 현재 페이지도 색인되지 않나요?
nofollow만으로 현재 페이지가 색인에서 제외되지는 않습니다. 이 값은 페이지 안의 링크를 따라가는 동작에 관한 규칙입니다. 현재 페이지를 검색결과에서 제외하려면 noindex를 적용하고 검색로봇이 그 규칙을 읽을 수 있도록 해야 합니다.
태그를 지우면 검색결과에 바로 돌아오나요?
즉시 돌아오는 것은 아닙니다. 검색엔진이 다시 수집해 변경을 처리해야 합니다. Google에서는 Search Console의 실시간 URL 검사로 현재 HTML과 접근 상태를 확인하고, 이전 수집 결과와 비교할 수 있습니다. 메타 태그를 지웠는데도 색인이 제한된다면 응답 헤더의 X-Robots-Tag도 확인합니다. 제한을 없앴다고 재색인이 보장되지는 않습니다.
함께 알아두면 좋은 용어
- 노인덱스: 페이지를 검색 색인에서 제외하는 규칙
- robots.txt: 크롤러의 경로 접근을 제어하는 파일
- X-Robots-Tag: HTTP 응답 헤더로 로봇 규칙을 전달하는 수단
- snippet: 검색결과에 표시되는 페이지 설명이나 요약