중복 콘텐츠 (Duplicate Content)

중복 콘텐츠는 같거나 매우 비슷한 내용이 둘 이상의 URL에 존재하는 상태입니다. CMS와 URL 구조 때문에 생긴 사이트 내부 중복, 대표 URL 선택과 통합 방법을 중심으로 설명합니다. 다른 사이트에 같은 글을 배포한 경우도 같은 개념에 들어갑니다.

이 글은 Google 공식 문서를 기준으로 작성했습니다.

중복이 생기는 흔한 경로

대부분은 글을 고의로 복사해서가 아니라 CMS와 URL 구조 때문에 생깁니다.

• HTTP와 HTTPS, www와 non-www 주소가 함께 열리는 경우
• 정렬, 필터와 추적 파라미터마다 URL이 생성되는 경우
• 인쇄용과 모바일용 페이지가 별도 URL로 존재하는 경우
• 상품이 여러 카테고리 경로에서 같은 내용으로 열리는 경우
• 게시글을 다른 사이트에 그대로 배포하는 경우
• 개발과 미리보기 URL이 공개되는 경우

기술 중복과 페널티의 관계

기술적인 이유로 중복 URL이 생겼다는 사실만으로 사이트 전체가 자동 페널티를 받는다고 단정할 수는 없습니다. 검색엔진은 비슷한 페이지를 묶고 그중 대표 URL을 선택할 수 있습니다.

문제는 검색엔진이 운영자가 원하는 URL과 다른 주소를 대표로 고르거나, 여러 중복 URL을 반복 수집하는 경우입니다. 검색 실적과 링크 신호가 주소별로 나뉘어 관리도 어려워집니다.

사용자를 속이거나 검색결과를 조작하려고 대량 복제한 콘텐츠는 일반적인 기술 중복과 다른 스팸 문제입니다.

대표 URL로 신호를 모으는 방법

사용자와 검색엔진에 보여줄 하나의 URL을 정하고 여러 신호를 그 주소에 맞춥니다.

1. 더 이상 사용할 필요가 없는 주소는 관련 대표 URL로 영구 리디렉션합니다.
2. 여러 버전이 계속 필요하면 캐노니컬 태그를 사용합니다.
3. 내부 링크를 대표 URL로 통일합니다.
4. 사이트맵에는 대표 URL만 포함합니다.
5. hreflang과 구조화 데이터의 URL도 일치시킵니다.

Google은 리디렉션과 rel canonical을 강한 신호, 사이트맵 포함을 상대적으로 약한 신호로 안내합니다. 여러 신호가 서로 다른 URL을 가리키지 않게 정리하세요.

canonical 신호 충돌의 가능성

canonical은 대표 URL 선호를 전달하는 신호입니다. Google이 다른 URL을 더 적합하다고 판단할 수도 있습니다.

canonical 대상이 404이거나 noindex 상태이고 내부 링크는 다른 URL을 가리키는 등 신호가 충돌하면 선택이 달라질 수 있습니다. URL 검사에서 사용자 선언 canonical과 Google 선택 canonical을 비교하세요.

비슷한 글을 나누는 기준

문장이 일부 겹친다고 무조건 같은 페이지는 아닙니다. 검색 의도와 주요 답, 대상 사용자가 다르면 독립 페이지로 운영할 수 있습니다.

Google 검색의 AI 기능에는 기존 중복 URL과 대표 URL 처리 원칙이 적용됩니다. ChatGPT와 Claude 같은 범용 챗봇이 어느 사본을 출처로 고를지는 각 서비스의 검색 경로에 따라 달라질 수 있습니다. canonical을 넣었다고 AI 인용 URL까지 고정되는 것은 아니므로, Google이 선택한 canonical과 실제 챗봇 출처를 따로 확인합니다.

반대로 제목만 바꾸고 같은 설명을 반복한 페이지라면 하나의 완성된 페이지로 통합하는 편이 나을 수 있습니다. URL 유사도가 아니라 실제 콘텐츠 역할을 기준으로 판단합니다.

함께 알아두면 좋은 용어

• 캐노니컬 태그: 중복 URL 중 대표 URL 선호를 전달하는 태그
• 리디렉션: 기존 URL 요청을 다른 URL로 보내는 처리
• URL 파라미터: 주소에 요청 조건이나 추적값을 전달하는 부분
• canonicalization: 여러 URL 중 대표 URL을 선택하고 신호를 통합하는 과정

참고 문서

• Google 검색 센터, canonical URL 지정 방법
• Google 검색 센터, canonicalization 문제 해결