중복 콘텐츠는 주요 내용이 같거나 매우 비슷한 페이지가 둘 이상의 URL에 존재하는 상태입니다. 한 사이트에서 같은 페이지가 여러 주소로 열리거나 다른 사이트에 같은 글을 배포하면서 생길 수 있습니다.
사이트 내부의 중복은 CMS 기능이나 URL 설정 때문에 생기기도 합니다. 같은 콘텐츠의 주소가 여러 개라면 그중 어떤 URL을 검색결과에 표시하고 싶은지 정하고, 내부 링크와 사이트맵도 그 주소를 가리키게 맞춥니다.
중복 URL이 생기는 경로
글을 복사하지 않아도 다음과 같은 운영 방식에서 중복 주소가 만들어집니다.
- HTTP와 HTTPS, www가 있는 주소와 없는 주소를 함께 제공합니다.
- 정렬이나 추적 매개변수 때문에 같은 콘텐츠가 다른 URL에서 열립니다. 필터 URL도 결과가 사실상 같다면 중복이 될 수 있습니다.
- 인쇄용이나 모바일용 페이지를 별도 주소로 제공합니다.
- 같은 상품을 여러 카테고리 경로에서 엽니다.
- 다른 사이트에 글을 그대로 배포합니다.
- 개발용이나 미리보기 주소를 외부에 공개합니다.
기술적인 중복과 검색 스팸의 구분
Google은 사이트에 일부 중복 콘텐츠가 있는 것은 정상이며 그 자체로 스팸 정책 위반이 아니라고 설명합니다. 주요 내용이 같은 페이지를 묶고, 검색에 보여 줄 대표 URL을 선택하는 방식으로 처리합니다.
운영상 문제는 Google이 운영자가 원하지 않은 주소를 대표로 고르거나 같은 내용을 여러 URL에서 반복 수집할 때 생깁니다. 내부 링크와 사이트맵이 서로 다른 주소를 가리키면 선호하는 대표 URL을 알리는 신호도 일치하지 않습니다.
반면 검색 순위를 조작하려고 가치가 거의 없는 콘텐츠를 대량 복제했다면 확장된 콘텐츠 악용이나 스크래핑 등 스팸 정책의 적용 대상이 될 수 있습니다. 중복된 문장 수만 세어 판단할 문제가 아닙니다.
대표 URL로 통합하는 방법
검색에 제공할 대표 주소를 정한 뒤 다른 설정도 그 주소에 맞춥니다.
- 더 이상 사용하지 않을 중복 주소는 같은 내용을 제공하는 대표 페이지로 영구 리디렉션합니다.
- 같은 콘텐츠의 여러 URL을 계속 제공해야 한다면 캐노니컬 태그로 대표 주소를 제안합니다.
- 내부 링크를 대표 URL로 통일합니다.
- 사이트맵에는 대표 URL만 넣습니다.
- hreflang을 쓴다면 각 언어의 대표 URL과 언어별 연결이 맞는지 확인합니다. 구조화 데이터에도 해당 페이지를 나타내는 주소를 일관되게 적습니다.
Google은 리디렉션과 rel="canonical"을 강한 신호로, 사이트맵 수록을 상대적으로 약한 신호로 설명합니다. 캐노니컬에서는 A를, 사이트맵에서는 중복 페이지 B를 제안하는 식으로 설정이 엇갈리지 않게 해야 합니다.
canonical 선언과 Google의 선택이 다른 경우
canonical은 사이트가 선호하는 주소를 제안하는 신호입니다. Google은 다른 URL이 더 적합하다고 판단할 수 있습니다.
Search Console의 URL 검사에서 사용자 선언 canonical과 Google 선택 canonical을 비교합니다. 둘이 다르면 먼저 두 페이지의 실제 내용이 충분히 비슷한지 살펴봅니다. 대표로 지정한 페이지가 404를 반환하거나 noindex 상태는 아닌지, 내부 링크와 사이트맵이 다른 주소를 제안하지는 않는지도 확인합니다.
비슷한 콘텐츠의 통합과 분리 기준
공통 메뉴나 회사 소개 문구가 겹친다고 페이지 전체를 합칠 필요는 없습니다. 각 페이지가 서로 다른 질문에 답하고 주요 내용도 뚜렷하게 다르면 독립 페이지로 운영할 수 있습니다. 예를 들어 필터가 실제로 다른 상품군을 보여 준다면 단순 추적 매개변수와 같은 중복으로 처리해서는 안 됩니다.
반대로 제목과 검색어만 바꾸고 같은 본문을 반복했다면 한 페이지로 통합할지 검토합니다. 별개 페이지로 유지하려면 제목뿐 아니라 본문의 답과 정보에도 차이가 있어야 합니다.
자주 묻는 질문
카테고리와 태그 페이지도 중복 콘텐츠인가요?
카테고리나 태그라는 형식만으로 판단하지 않습니다. 두 페이지가 실제로 어떤 글을 모아 보여 주는지 비교해야 합니다. 목록과 설명이 사실상 같다면 통합을 검토하고, 서로 다른 정보를 찾는 데 필요한 목록이면 각각 유지할 수 있습니다.
다른 사이트에 같은 글을 배포해도 되나요?
배포는 가능하지만 원문이 검색 대표로 선택된다고 보장할 수는 없습니다. 원문 유입을 유지하는 것이 중요하다면 파트너에게 사본의 noindex 처리를 요청합니다. Google은 신디케이션 콘텐츠에 canonical을 쓰는 방법을 권장하지 않으며, 파트너 사본의 색인 차단이 더 효과적이라고 안내합니다.
중복 페이지에 noindex를 쓰면 되나요?
검색에서 완전히 제외하려는 페이지에는 쓸 수 있습니다. 그러나 같은 사이트의 중복 URL을 대표 URL로 통합하는 목적이라면 Google은 noindex보다 canonical을 권장합니다. 검색 제외와 대표 주소 선택은 서로 다른 작업입니다.
함께 알아두면 좋은 용어
- 캐노니컬 태그: 중복 URL 중 대표 URL 선호를 전달하는 태그
- 리디렉션: 기존 URL 요청을 다른 URL로 보내는 처리
- URL 파라미터: 주소에 요청 조건이나 추적값을 전달하는 부분
- canonicalization: 여러 URL 중 대표 URL을 선택하고 신호를 통합하는 과정