noindex는 특정 페이지를 검색결과에서 빼 달라고 검색엔진에 전달하는 지시입니다. 검색로봇이 이 지시를 확인하면 해당 페이지를 색인하지 않습니다. 검색에 내보낼 필요가 없는 페이지라면 정상 설정이지만, 대표 페이지에 남아 있다면 수정해야 합니다.
이 글은 Google 검색 센터와 네이버 서치어드바이저의 공식 문서를 기준으로 작성했습니다. Ahrefs와 Semrush의 실무 자료도 참고했습니다.
검색 색인에서 페이지를 빼는 역할
noindex는 페이지 단위로 색인 여부를 제어합니다. HTML 문서의 robots meta 태그나 웹서버가 보내는 HTTP 응답 헤더에 이 지시를 넣을 수 있습니다.
검색로봇은 페이지에 방문한 뒤 noindex를 읽습니다. 따라서 태그를 추가했다고 검색결과에서 즉시 사라지는 것은 아닙니다. 검색로봇이 다시 크롤링하고 변경된 내용을 처리해야 반영됩니다.
여기서 중요한 점이 하나 있습니다. noindex는 검색 제외 지시이지 접근 차단이나 보안 설정이 아닙니다. 로그인 없이 열리는 페이지는 noindex 여부와 관계없이 누구나 볼 수 있습니다.
그렇다면 어떤 페이지에 noindex를 사용해야 할까요?
noindex를 두는 페이지 기준
사용자에게는 필요하지만 검색결과의 진입 페이지로 제공할 필요가 없는 URL인지 판단합니다.
| 페이지 상태 | noindex 판단 | 예시 |
|---|---|---|
| 검색 유입이 필요한 대표 콘텐츠 | 제거 | 서비스 페이지, 상품 페이지, 블로그 글 |
| 특정 절차를 마친 사용자에게만 의미가 있음 | 적용 검토 | 신청 완료, 결제 완료 페이지 |
| 사이트 안에서만 사용하는 결과 화면 | 적용 검토 | 내부 검색결과, 일부 필터 결과 |
| 다른 URL이 대표인 중복 페이지 | noindex보다 canonical 검토 | 매개변수만 다른 유사 URL |
| 외부에 공개하면 안 되는 정보 | noindex 사용 금지 | 관리자 화면, 고객 정보, 사내 문서 |
페이지 유형만 보고 일괄 적용해서는 안 됩니다. 예를 들어 필터 페이지도 검색자가 유용하게 사용할 수 있는 독립 콘텐츠라면 색인 가치가 있을 수 있습니다. 반대로 검색 유입을 받을 이유가 없다면 제외를 검토할 수 있습니다.
테스트 사이트와 스테이징 환경도 noindex만으로 보호하면 안 됩니다. 외부에 공개되면 곤란한 환경은 로그인이나 IP 제한처럼 실제 접근 통제를 함께 사용해야 합니다.
사용 여부를 정했다면, 다음은 noindex를 전달하는 두 가지 방식을 구분할 차례입니다.
meta robots와 X-Robots-Tag의 적용 구분
일반 웹페이지에는 robots meta 태그를 사용합니다. 아래 코드를 페이지의 <head> 영역에 넣습니다.
<meta name="robots" content="noindex">
PDF나 이미지처럼 <head> 영역이 없는 파일에는 서버가 보내는 X-Robots-Tag를 사용할 수 있습니다.
X-Robots-Tag: noindex
| 방식 | 주로 사용하는 대상 | 확인 위치 |
|---|---|---|
| robots meta 태그 | 일반 HTML 페이지 | 페이지 소스의 <head> |
| X-Robots-Tag | PDF, 이미지 등 비HTML 파일 또는 서버 단위 설정 | HTTP 응답 헤더 |
WordPress 같은 CMS에서는 SEO 플러그인이나 사이트의 검색 가시성 설정이 태그를 자동으로 만들기도 합니다. 편집 화면에서 noindex를 선택하지 않았더라도 사이트 전체 설정이나 템플릿에 남아 있을 수 있습니다.
반대로 검색에 다시 포함하려면 noindex를 제거하면 됩니다. Google에서는 별도의 index 태그를 꼭 추가하지 않아도 제한이 없으면 기본적으로 색인 가능한 상태로 처리합니다. 하지만 태그를 제거했다고 색인이 보장되는 것은 아닙니다. 검색엔진은 페이지를 다시 읽은 뒤 색인 여부를 따로 판단합니다.
구현 방식보다 더 자주 생기는 문제는 noindex를 다른 설정과 혼동하는 경우입니다.
robots.txt, canonical과 다른 목적
각 설정은 해결하려는 문제가 다릅니다.
| 목적 | 사용할 방법 | 의미 |
|---|---|---|
| 검색결과에서 페이지 제외 | noindex | 페이지를 색인하지 않도록 요청 |
| 검색로봇의 URL 접근 제한 | robots.txt | 해당 경로를 크롤링하지 않도록 요청 |
| 유사 URL 중 대표 페이지 지정 | canonical | 검색에 사용할 대표 URL을 알림 |
| 삭제한 페이지 처리 | 404, 410 또는 적절한 리디렉션 | 페이지가 없어졌거나 이동했음을 알림 |
| 비공개 정보 보호 | 로그인과 권한 제어 | 사용자의 실제 접근을 차단 |
가장 많이 생기는 실수는 robots.txt와 noindex를 함께 사용하는 것입니다. Google의 noindex 안내에 따르면 robots.txt가 페이지 방문을 막으면 검색로봇은 페이지 안의 noindex를 읽지 못합니다. 다른 페이지의 링크로 URL만 발견한 경우에는 주소가 검색결과에 남을 수도 있습니다.
중복 페이지를 정리할 때도 noindex부터 넣지 않습니다. 대표 URL로 신호를 모으려는 목적이라면 canonical이 맞습니다. noindex를 사용하면 해당 페이지는 검색에서 완전히 제외되므로 대표 URL을 지정하는 일과 결과가 다릅니다.
이 차이를 알고 나면 Search Console의 제외 문구도 훨씬 쉽게 판단할 수 있습니다.
의도한 제외와 오류의 구분
항상 오류는 아닙니다. 검색에서 제외하려고 noindex를 넣은 페이지라면 정상적으로 처리된 상태입니다. 검색에 보여야 하는 페이지에서 발견됐을 때만 수정이 필요합니다.
수정이 필요한 경우에는 아래 순서대로 확인하세요.
- 해당 URL이 실제로 검색 유입을 받아야 하는 대표 페이지인지 판단합니다.
- 페이지 소스에서
<meta name="robots" content="noindex">가 남아 있는지 확인합니다. - HTTP 응답 헤더에
X-Robots-Tag: noindex가 있는지 봅니다. - WordPress의 검색엔진 가시성이나 SEO 플러그인의 사이트 전체 설정을 확인합니다.
- robots.txt가 페이지를 막고 있다면 검색로봇이 변경된 태그를 읽을 수 있도록 설정을 바로잡습니다.
- noindex를 제거한 뒤 URL 검사에서 현재 페이지를 다시 테스트하고 재크롤링을 요청합니다.
태그를 지웠는데도 보고서에 이전 상태가 남을 수 있습니다. Search Console의 페이지 색인 생성 보고서와 마지막 크롤링 날짜에는 시차가 있기 때문입니다.
이때는 같은 버튼을 반복해서 누르기보다 URL 검사의 실시간 테스트에서 Google이 현재 받은 HTML과 색인 허용 상태를 확인하는 편이 정확합니다.
설정을 고쳤다면 구글과 네이버에서 실제로 어떻게 읽혔는지 확인해야 합니다.
구글과 네이버에서 noindex 적용 여부를 확인하는 법
| 확인 대상 | 구글 | 네이버 |
|---|---|---|
| 개별 URL | Search Console URL 검사 | 서치어드바이저 URL 검사 |
| 확인할 내용 | 색인 허용 여부, 마지막 크롤링, 감지된 noindex | 수집 여부, 색인 가능 여부, 색인 여부 |
| 수정 후 조치 | 실시간 테스트 후 색인 생성 요청 | URL 검사 및 수집 요청 |
브라우저에서 보이는 화면만으로는 충분하지 않습니다. noindex는 화면에 표시되지 않는 <head>나 HTTP 헤더에 들어가기 때문입니다. 페이지 소스와 응답 헤더, 검색엔진 도구의 검사 결과를 함께 확인하세요.
Google 색인에서 제외된 페이지는 AI Overviews와 AI Mode의 지원 링크 자격도 갖지 못합니다. Google의 AI 기능 안내는 두 기능의 링크 후보에 색인과 스니펫 표시 가능 상태를 요구합니다.
다만 이를 모든 AI 검색이나 학습 봇의 공통 규칙으로 보면 안 됩니다. AI 봇의 접근과 학습 데이터 사용은 서비스별 정책을 따로 확인해야 합니다.
자주 묻는 질문
noindex를 제거하면 바로 검색에 나오나요?
바로 나오지는 않을 수 있습니다. 검색로봇이 페이지를 다시 크롤링하고 변경된 지시를 처리해야 합니다. 이후에도 페이지의 내용과 대표 URL 설정 등에 따라 색인 여부가 결정됩니다.
noindex와 nofollow는 같은 뜻인가요?
다릅니다. noindex는 현재 페이지를 검색 색인에서 제외합니다. robots meta의 nofollow는 검색로봇에 현재 페이지 안의 링크를 따라가지 말라고 지시합니다.
개별 링크에 쓰는 rel="nofollow"는 링크 관계를 Google에 알리는 힌트입니다. 페이지 전체에 적용하는 robots meta의 nofollow와 범위가 다르며, 어느 하나를 설정해도 noindex가 자동으로 적용되지는 않습니다.
robots.txt에 noindex를 적어도 되나요?
Google은 robots.txt 안의 noindex 규칙을 지원하지 않습니다. noindex를 적용하려면 robots meta 태그나 X-Robots-Tag를 사용해야 합니다.
noindex를 사용하면 페이지가 비공개로 바뀌나요?
아닙니다. 검색결과에서 제외될 뿐 URL 접속은 그대로 가능합니다. 비공개 정보는 로그인, 비밀번호, 권한 설정 등으로 접근을 제한해야 합니다.
noindex 페이지도 Google AI 검색에 인용될 수 있나요?
Google AI Overviews와 AI Mode의 지원 링크는 Google 색인에 포함되고 스니펫을 표시할 수 있는 페이지를 대상으로 합니다. noindex 페이지는 이 조건을 충족하지 않습니다.
함께 알아두면 좋은 용어
- 색인: 검색엔진이 페이지 정보를 분석해 검색결과 후보로 저장하는 과정
- 크롤링: 검색로봇이 URL을 발견하고 페이지 내용을 가져오는 과정
- robots.txt: 검색로봇이 접근할 수 있는 경로를 알려 주는 파일
- robots meta nofollow: 검색로봇에 현재 페이지 안의 링크를 따라가지 말라고 지시하는 페이지 단위 규칙
rel="nofollow": 개별 링크의 관계를 Google에 알리는 힌트- 캐노니컬 태그: 유사한 URL 가운데 대표 URL을 알려 주는 태그
- X-Robots-Tag: HTTP 응답 헤더로 색인 및 검색결과 표시 규칙을 전달하는 방식
- URL 검사: 개별 URL의 크롤링과 색인 상태를 확인하는 도구
noindex는 검색에서 숨기고 싶은 페이지에 무조건 붙이는 태그가 아닙니다. 검색에 제공할 페이지인지 먼저 판단하고, 목적에 맞는 설정을 선택해야 합니다.
특히 검색에 보여야 하는 페이지가 제외됐다면 태그만 지우고 끝내지 마세요. 검색로봇이 수정된 페이지에 접근할 수 있는지, 현재 HTML과 HTTP 헤더에서 noindex가 사라졌는지까지 확인해야 합니다.
참고 문서
- Google 검색 센터, noindex로 검색 색인 생성 차단
- Google 검색 센터, Robots meta 태그 및 X-Robots-Tag 사양
- Google 검색 센터, 표준 URL 지정 방법
- Google 검색 센터, Google 검색의 AI 기능과 웹사이트
- 네이버 서치어드바이저, 선호 URL 및 로봇 메타 태그
- 네이버 서치어드바이저, 웹 검색 제외
- 네이버 서치어드바이저, 웹 검색 미노출
- Ahrefs, Robots Meta Tag and X-Robots-Tag
- Semrush, What Is Noindex Used for?
- Semrush, Meta Robots Tag and X-Robots-Tag