noindex는 페이지를 검색 색인에서 제외하라고 검색엔진에 전달하는 지시입니다. Google처럼 이 규칙을 지원하는 검색엔진은 페이지를 수집하면서 noindex를 읽고 처리한 뒤 검색결과에서 제외합니다. 페이지 자체를 삭제하거나 접속을 막는 설정은 아닙니다.
검색 색인에서 페이지를 빼는 역할
HTML의 robots 메타 태그나 서버의 HTTP 응답 헤더에 noindex를 넣어 페이지별로 색인 여부를 제어합니다. 아래처럼 Search Console에 noindex로 제외됐다고 표시되면, 검색로봇이 해당 지시를 감지했다는 뜻입니다.
이미 색인된 페이지에 태그를 추가해도 즉시 검색결과에서 사라지지는 않습니다. 검색로봇이 다시 크롤링해 바뀐 지시를 읽어야 합니다. 반영을 확인할 때는 현재 태그뿐 아니라 검색로봇의 마지막 방문 시각도 확인합니다.
noindex를 두는 페이지 기준
신청 완료 화면은 신청을 마친 사용자에게 필요하지만, 검색에서 처음 방문할 페이지로는 적합하지 않을 수 있습니다. 반면 상품의 특징과 가격을 설명하는 페이지는 검색 유입을 받아야 합니다. noindex 적용 여부는 이렇게 페이지의 역할에 따라 정합니다.
| 페이지 상태 | noindex 판단 | 예시 |
|---|---|---|
| 검색 유입이 필요한 대표 콘텐츠 | 제거 | 서비스 페이지, 상품 페이지, 블로그 글 |
| 특정 절차를 마친 사용자에게만 의미가 있음 | 적용 검토 | 신청 완료, 결제 완료 페이지 |
| 사이트 안에서만 사용하는 결과 화면 | 적용 검토 | 내부 검색결과, 일부 필터 결과 |
| 다른 URL이 대표인 중복 페이지 | noindex보다 canonical 검토 | 매개변수만 다른 유사 URL |
| 외부에 공개하면 안 되는 정보 | 로그인이나 권한 제어로 보호 | 관리자 화면, 고객 정보, 사내 문서 |
필터 결과라고 모두 제외할 필요는 없습니다. 특정 제품군을 찾는 사람에게 맞는 상품 목록과 고유한 설명을 제공한다면 검색에서 직접 방문할 페이지로 운영할 수 있습니다. URL만 달라지고 내용은 같은 경우에는 대표 URL로 통합할지를 먼저 검토합니다.
테스트 사이트와 스테이징 환경에 비공개 정보가 있다면 로그인이나 IP 제한으로 접근을 통제해야 합니다. noindex만으로는 보호할 수 없습니다.
meta robots와 X-Robots-Tag의 적용 구분
일반 HTML 페이지에는 <head>에 robots 메타 태그를 넣습니다.
<meta name="robots" content="noindex">
PDF나 이미지처럼 HTML의 <head>가 없는 파일에는 HTTP 응답 헤더인 X-Robots-Tag로 지시를 전달할 수 있습니다.
X-Robots-Tag: noindex
| 방식 | 주로 사용하는 대상 | 확인 위치 |
|---|---|---|
| robots 메타 태그 | 일반 HTML 페이지 | 페이지 소스의 <head> |
| X-Robots-Tag | PDF, 이미지 등 비HTML 파일 또는 서버 단위 설정 | HTTP 응답 헤더 |
WordPress에서는 SEO 플러그인이나 사이트 검색 가시성 설정이 noindex 태그를 만들 수 있습니다. 여러 페이지에서 동시에 발견됐다면 각 글의 설정뿐 아니라 사이트 전체 설정과 공통 템플릿을 확인합니다. 태그를 없앴는데도 제외된다면 HTTP 응답 헤더에 같은 지시가 남아 있는지도 검사합니다.
검색에 다시 포함하려면 noindex를 제거합니다. Google에 별도 index 태그를 보낼 필요는 없습니다. 다만 제외 지시가 사라진 것이므로 검색로봇이 다시 방문하고 페이지를 평가한 뒤 실제 색인 여부를 결정합니다.
robots.txt, canonical과 다른 목적
검색로봇이 페이지를 읽지 못하게 하는 설정과, 읽은 페이지를 검색에 표시하지 말라는 지시는 다릅니다. 같은 URL에 여러 설정을 적용하기 전에 무엇을 제어하려는지 정합니다.
| 목적 | 사용할 방법 | 의미 |
|---|---|---|
| 검색결과에서 페이지 제외 | noindex | 페이지를 색인하지 않도록 요청 |
| 검색로봇의 URL 접근 제한 | robots.txt | 해당 경로를 크롤링하지 않도록 요청 |
| 유사 URL 중 대표 페이지 지정 | canonical | 검색에 사용할 대표 URL을 알림 |
| 삭제한 페이지 처리 | 404, 410 또는 적절한 리디렉션 | 페이지가 없어졌거나 이동했음을 알림 |
| 비공개 정보 보호 | 로그인과 권한 제어 | 사용자의 실제 접근을 차단 |
Google의 noindex 안내에 따르면 robots.txt로 접근을 막으면 검색로봇은 페이지의 noindex를 읽을 수 없습니다. 외부 링크에서 URL만 발견한 경우 주소가 검색결과에 남을 수도 있습니다. 검색 제외가 목적이라면 크롤러가 noindex를 확인할 수 있어야 합니다.
중복 URL의 링크 등 신호를 대표 페이지로 모으려면 canonical을 검토합니다. noindex는 다른 어느 페이지가 대표인지 알려 주지 않고 해당 URL을 색인에서 제외합니다. Google도 같은 사이트의 중복 페이지를 정리할 목적으로 noindex를 쓰는 것은 권장하지 않습니다.
의도한 제외와 오류의 구분
검색에서 제외할 목적으로 noindex를 설정한 페이지라면 정상입니다. 검색 유입을 받아야 하는 페이지에서 발견됐을 때 수정합니다.
- 지시가 나온 위치를 찾습니다. 페이지 소스의 robots 메타 태그와 HTTP 응답 헤더의
X-Robots-Tag를 모두 확인합니다. 둘 중 하나에라도 noindex가 남으면 Google은 제외 지시를 읽을 수 있습니다. - 설정을 만든 곳에서 수정합니다. 개별 페이지의 SEO 설정인지, 공통 템플릿이나 사이트 전체의 검색 가시성 설정인지 확인해 noindex를 제거합니다.
- 현재 응답을 다시 검사합니다. URL 검사의 실시간 테스트에서 Google이 받은 HTML과 색인 허용 여부를 확인합니다. robots.txt가 페이지를 막고 있다면 변경한 지시를 읽을 수 있도록 수집을 허용합니다.
- 재처리를 요청합니다. 수정한 페이지의 색인 생성을 요청한 뒤 마지막 크롤링 시각과 색인 상태를 확인합니다.
실시간 테스트가 색인 허용 상태를 보여 줘도 페이지 색인 생성 보고서에는 이전의 noindex 제외가 남아 있을 수 있습니다. 마지막 크롤링이 수정 전이라면 Google이 아직 변경 사항을 처리하지 않은 결과일 수 있습니다. 실시간 테스트는 현재 접근과 설정을 검사하며, 실제 색인을 보장하는 도구는 아닙니다.
구글과 네이버에서 noindex 적용 여부를 확인하는 법
| 확인 대상 | 구글 | 네이버 |
|---|---|---|
| 개별 URL | Search Console URL 검사 | 서치어드바이저 URL 검사 |
| 확인할 내용 | 색인 허용 여부, 마지막 크롤링, 감지된 noindex | 수집 여부, 색인 가능 여부, 색인 여부 |
| 수정 후 조치 | 실시간 테스트 후 색인 생성 요청 | URL 검사 및 수집 요청 |
네이버도 페이지를 재방문해 noindex 메타 태그를 읽은 뒤 색인에서 제외합니다. Google의 검사 결과로 네이버의 처리까지 확인할 수는 없으므로 각 도구에서 수집과 색인 상태를 확인합니다.
Google 색인에서 제외된 페이지는 AI Overviews와 AI Mode의 지원 링크 자격도 갖지 못합니다. Google의 AI 기능 안내는 색인과 스니펫 표시 가능 상태를 요구하며, 현재 최적화 가이드는 Search Console의 Search generative AI 설정도 포함 상태여야 한다고 명시합니다. 이 설정의 기본값은 포함입니다.
noindex는 AI 학습을 거부하는 설정도 아닙니다. Google 검색에서의 표시 여부와 학습용 크롤러의 접근은 목적이 다르므로, 학습을 제한하려면 해당 서비스의 크롤러 정책에 맞춰 별도로 설정합니다.
자주 묻는 질문
noindex를 제거하면 바로 검색에 나오나요?
검색로봇이 재방문해 변경한 지시를 처리해야 합니다. Google은 이후에도 본문과 대표 URL 설정 등을 검토해 색인 여부를 결정하므로 noindex 제거만으로 즉시 노출되지는 않습니다.
noindex와 nofollow는 같은 뜻인가요?
noindex는 현재 페이지를 검색 색인에서 제외하는 지시입니다. robots 메타 태그의 nofollow는 현재 페이지 안의 링크를 따라가지 말라는 지시입니다.
개별 링크에 쓰는 rel="nofollow"는 링크 관계를 Google에 알리는 힌트입니다. 페이지 전체에 적용하는 robots 메타 태그의 nofollow와 범위가 다르며, 어느 하나를 설정해도 noindex가 자동으로 적용되지는 않습니다.
robots.txt에 noindex를 적어도 되나요?
Google은 robots.txt 안의 noindex 규칙을 지원하지 않습니다. noindex를 적용하려면 robots 메타 태그나 X-Robots-Tag를 사용해야 합니다.
noindex를 사용하면 페이지가 비공개로 바뀌나요?
URL 접속은 그대로 가능합니다. 비공개 정보는 로그인, 비밀번호나 권한 제어로 실제 접근을 제한해야 합니다.
noindex 페이지도 Google AI 검색에 인용될 수 있나요?
Google이 noindex를 처리해 색인에서 제외한 페이지는 AI Overviews와 AI Mode의 지원 링크에 필요한 색인 조건을 충족하지 않습니다. 반대로 noindex를 제거했다고 AI 검색에 자동으로 표시되는 것도 아닙니다. 실제 색인과 스니펫 허용, Search generative AI의 포함 설정이 모두 필요합니다.
함께 알아두면 좋은 용어
- 색인: 검색엔진이 페이지 정보를 분석해 검색결과 후보로 저장하는 과정
- 크롤링: 검색로봇이 URL을 발견하고 페이지 내용을 가져오는 과정
- robots.txt: 검색로봇이 접근할 수 있는 경로를 알려 주는 파일
- robots 메타 태그의 nofollow: 검색로봇에 현재 페이지 안의 링크를 따라가지 말라고 지시하는 페이지 단위 규칙
rel="nofollow": 개별 링크의 관계를 Google에 알리는 힌트- 캐노니컬 태그: 유사한 URL 가운데 대표 URL을 알려 주는 태그
- X-Robots-Tag: HTTP 응답 헤더로 색인 및 검색결과 표시 규칙을 전달하는 방식
- URL 검사: 개별 URL의 크롤링과 색인 상태를 확인하는 도구
참고 문서
- Google 검색 센터, noindex로 검색 색인 생성 차단
- Google 검색 센터, Robots meta 태그 및 X-Robots-Tag 사양
- Google 검색 센터, 표준 URL 지정 방법
- Google 검색 센터, Google 검색의 AI 기능과 웹사이트
- 네이버 서치어드바이저, 선호 URL 및 로봇 메타 태그
- 네이버 서치어드바이저, 웹 검색 제외
- 네이버 서치어드바이저, 웹 검색 미노출
- Ahrefs, Robots Meta Tag and X-Robots-Tag
- Semrush, What Is Noindex Used for?
- Semrush, Meta Robots Tag and X-Robots-Tag
- Search Console 도움말, Search generative AI 설정