패싯 내비게이션은 색상, 사이즈, 가격대 같은 필터와 정렬 조건을 URL 매개변수로 표시해 상품이나 콘텐츠 목록을 좁히는 탐색 방식입니다. 이커머스 사이트의 필터 사이드바를 클릭할 때마다 주소창의 URL이 바뀌는 구조가 대표적입니다.
패싯 내비게이션을 검색하면 도서관 목록(OPAC)에서 자료를 분류하는 문헌정보학 연구도 함께 나옵니다. 이 글은 웹사이트에서 필터 URL이 크롤링과 색인에 만드는 문제, 그리고 그 문제를 관리하는 방법만 다룹니다. Google 검색 센터의 한국어 문서는 같은 개념을 속성 탐색이라고 옮기지만, 국내 SEO 실무에서는 영문 표기를 그대로 쓴 패싯 내비게이션이 더 널리 통용됩니다.
이 글은 Google 검색 센터의 공식 문서를 기준으로 작성했습니다. Search Engine Land와 Ahrefs의 실무 자료도 참고했습니다.
필터와 정렬 조합이 만드는 URL
Google이 예시로 드는 패싯 URL의 모습은 다음과 같습니다.
https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny
사용자가 필터를 하나씩 켤 때마다 매개변수가 URL에 붙습니다. 필터 종류가 늘어나면 조합 가능한 URL 수는 더하기가 아니라 곱하기로 늘어납니다. 색상 10종, 사이즈 5종, 가격대 4단계인 필터만 있어도 그 조합만으로 최대 200개의 서로 다른 URL이 생길 수 있습니다. 여기에 정렬 옵션까지 더해지면 숫자는 더 커집니다.
과잉 크롤링과 새 콘텐츠 발견 지연
검색로봇은 이 조합형 URL이 실제로 새로운 내용인지 미리 알지 못합니다. 그래서 가치가 낮은 조합까지 방문한 뒤에야 판단합니다. Google은 이 현상을 과잉 크롤링이라고 부릅니다. 문제는 여기서 끝나지 않습니다. 이런 URL을 방문하는 데 자원을 쓰는 동안, 정작 새로 올라온 콘텐츠를 발견하는 속도는 늦어질 수 있습니다.
필터 조합끼리 상품 구성이 거의 같으면 검색결과와 링크 신호가 여러 URL로 나뉘는 문제로도 이어집니다. Search Engine Land는 이런 상태를 색인 비대화와 씬 콘텐츠로 설명하고, Ahrefs는 같은 문제를 키워드 카니벌라이제이션이라고 부릅니다. 표현은 다르지만 가리키는 상황은 비슷합니다. 비슷한 페이지 여러 개가 검색엔진의 판단을 나눠 갖는다는 것입니다.
색인이 필요 없는 필터를 막는 방법
검색결과에 노출할 필요가 없는 필터라면 Google은 두 가지 방법을 안내합니다.
첫째는 robots.txt로 차단하는 방법입니다. Google 공식 문서가 제시하는 예시는 다음과 같습니다.
user-agent: Googlebot
disallow: /*?*products=
disallow: /*?*color=
disallow: /*?*size=
allow: /*?products=all$
둘째는 URL 프래그먼트(#)를 쓰는 방법입니다. Google 검색은 크롤링과 색인에서 URL 프래그먼트를 일반적으로 지원하지 않습니다. 그래서 ?color=green 대신 #color=green처럼 필터를 프래그먼트로 표시하면 애초에 크롤링 대상에서 빠집니다.
다만 robots.txt로 막았다고 해당 URL이 검색결과에서 완전히 사라지는 것은 아닙니다. 다른 사이트가 그 URL을 링크하고 있으면 Google은 내용을 확인하지 않은 채로도 URL 자체는 색인할 수 있고, 이 경우 검색결과에는 설명 없는 링크로만 나타납니다. robots.txt는 크롤링을 막는 도구이지, 색인을 보장하는 도구는 아닙니다.
캐노니컬 태그와 nofollow의 효과 한계
모든 필터 링크를 robots.txt로 깔끔하게 나누기 어려운 사이트도 있습니다. Google은 이때 캐노니컬 태그와 nofollow를 보조 수단으로 제시하면서 한계도 함께 밝힙니다.
- 캐노니컬 태그: 필터 URL에 필터 없는 목록 URL을 대표로 지정하면 시간이 지나며 비대표 URL의 크롤링량이 줄어들 수 있습니다. 그런데 Google은 이 방법이 다른 방법보다 장기적으로 효과가 떨어진다고 설명합니다.
- nofollow: 특정 필터로 가는 링크마다 빠짐없이 nofollow를 붙여야 효과가 있습니다. 사이트 안 몇 곳에만 붙이면 나머지 링크로 크롤러가 그대로 들어갑니다.
캐노니컬 태그와 nofollow 모두 크롤링을 즉시 막는 도구가 아니라, 시간을 두고 신호를 줄이는 도구로 봐야 합니다.
색인이 필요한 필터 URL 최적화
반대로 특정 필터 조합에 검색 수요가 있어 색인이 필요하다면, Google은 URL을 막는 대신 아래 조건으로 정리하라고 안내합니다.
- 매개변수 구분자는
&로 통일합니다. 콤마나 세미콜론, 대괄호 같은 다른 구분자를 섞지 않습니다. - 필터 순서를 URL 경로 안에서 일관되게 유지합니다. 같은 필터 조합이 순서만 바뀐 여러 URL로 흩어지지 않게 합니다.
- 조합 결과가 없거나 존재하지 않는 조합은 일반 오류 페이지로 리디렉션하지 말고 HTTP 404를 반환합니다.
이 방식은 색인 대상 URL을 늘리는 대신 서버 자원을 더 쓴다는 점도 함께 고려해야 합니다.
크롤 버짓, 페이지네이션, 중복 콘텐츠와 다른 점
패싯 내비게이션은 다른 SEO 개념과 자주 겹쳐 보이지만 각각 답하는 질문이 다릅니다.
- 크롤 버짓은 검색로봇이 사이트 전체에서 쓰는 크롤링 자원의 총량입니다. Google의 크롤 버짓 관리 문서도 패싯 URL 관리를 별도 안내로 연결해 두 주제를 이어 놓았습니다. 패싯 URL은 그 자원을 낭비하는 대표적인 원인 중 하나일 뿐, 크롤 버짓 자체는 아닙니다.
- 페이지네이션은 긴 목록을 여러 페이지로 나누는 방식 자체를 가리킵니다. 필터 없이 번호만 있는 목록은 패싯 내비게이션에 해당하지 않습니다.
- 중복 콘텐츠는 패싯 조합이 만들 수 있는 결과 중 하나입니다. 정렬만 다르고 상품 구성이 같은 두 URL이 그 예입니다.
실무에서 확인하는 절차
- 실제 사이트에서 필터를 눌러 보고 주소창 URL이 어떻게 바뀌는지 기록합니다.
- robots.txt 파일을 열어 필터 매개변수가 차단 대상에 들어 있는지 확인합니다.
- Search Console의 URL 검사로 특정 필터 URL의 색인 상태를 확인합니다.
- Search Console 크롤링 통계나 서버 로그에서 필터 URL이 전체 요청의 얼마를 차지하는지 봅니다.
Search Console에는 한때 URL 매개변수 전용 도구가 있었지만 2022년에 종료됐습니다. 지금은 Google 크롤러가 매개변수를 자동으로 판단하므로, robots.txt와 URL 검사, 크롤링 통계로 직접 확인하는 절차가 필요합니다.
자주 묻는 질문
noindex를 붙이면 패싯 URL 문제가 해결되나요?
부분적으로만 그렇습니다. noindex는 검색결과 노출을 막지만, Google은 noindex 태그를 확인하기 위해 먼저 그 페이지를 요청한 뒤에야 검색결과에서 뺍니다. 크롤 버짓만 아끼려고 noindex를 쓰지 말라고 Google도 안내합니다. 크롤링 자체를 줄이려는 목적이라면 noindex보다 robots.txt 차단이나 URL 프래그먼트가 더 맞습니다.
패싯 필터가 몇 개부터 문제가 되나요?
공식 문서는 정확한 개수 기준을 제시하지 않습니다. 필터 수와 값의 개수가 늘어날수록 조합형 URL도 곱셈으로 늘어나므로, URL 수 자체보다 그 조합이 실제로 검색 수요나 콘텐츠 차이를 만드는지를 먼저 봅니다.
자바스크립트로 필터를 처리하면 이 문제가 없어지나요?
필터를 눌렀을 때 URL이 바뀌지 않고 화면만 갱신되면 그 조합은 별도로 크롤링되거나 색인되지 않습니다. 다만 실제로 검색 수요가 있는 조합이라면 노출될 기회 자체를 놓치는 결과가 될 수 있습니다.
함께 알아두면 좋은 용어
- 크롤링: 검색로봇이 링크를 따라 URL을 발견하고 내용을 가져오는 과정
- 색인: 가져온 내용을 검색결과에 쓸 수 있게 저장하고 처리하는 과정
- 크롤 버짓: 검색로봇이 사이트에서 쓰는 크롤링 자원의 총량
- 페이지네이션: 긴 목록을 여러 페이지로 나누는 방식
- 중복 콘텐츠: 같거나 비슷한 내용이 둘 이상의 URL에 있는 상태