TF-IDF는 단어 빈도(TF)와 역문서빈도(IDF)를 곱해 문서별 단어의 중요도를 계산한 가중치입니다. 특정 문서에는 자주 나오면서 다른 문서에는 드문 단어에 높은 값을 줍니다. 기준 문서 모음이 바뀌면 같은 단어의 점수도 달라집니다.
TF-IDF는 문서 안의 단어를 수치로 표현할 때 쓰는 기본 기법입니다. 데이터 분석과 정보 검색에서는 문서를 비교하거나 특징적인 단어를 찾는 데 활용하고, SEO 도구에서는 경쟁 문서와 용어 사용을 비교하는 데 응용합니다.
TF와 IDF는 각각 무엇을 계산하나
TF(단어 빈도)는 한 문서에서 특정 단어가 등장하는 횟수를 바탕으로 계산합니다. 등장 횟수를 그대로 쓰거나 전체 단어 수로 나누는 등 여러 계산 방식이 있습니다. 문서가 길어 단순 등장 횟수가 늘어나는 효과를 줄이려면 정규화를 적용할 수 있습니다.
IDF(역문서빈도)는 비교하는 문서 모음에서 특정 단어가 얼마나 드물게 등장하는지 나타냅니다. 한 문서에서 몇 번 나왔는지가 아니라 그 단어를 포함한 문서가 몇 개인지를 셉니다. 대부분의 문서에 나오는 단어는 값이 낮고, 소수 문서에만 나오는 단어는 값이 높습니다.
TF-IDF는 두 값을 곱합니다. 가령 자동차 부품 설명서를 모았을 때 “자동차”가 거의 모든 문서에 등장하면 IDF가 낮습니다. “점화 플러그”가 일부 설명서에만 나오고 그 안에서 자주 쓰인다면, 이 표현은 해당 설명서에서 상대적으로 높은 가중치를 받을 수 있습니다. 계산할 때는 먼저 단어와 구문을 어떤 단위로 나눌지 정해야 합니다.
스탠퍼드 정보검색 교과서는 한 문서에 자주 나오면서 소수의 문서에만 등장하는 단어에 높은 가중치를 준다고 설명합니다. 이는 문서를 구별하는 단서이지, 문서의 사실성이나 글의 품질을 평가한 점수가 아닙니다.
검색엔진 랭킹에서 TF-IDF의 위치
SEO 도구가 선택한 경쟁 페이지와 Google이 검색에 활용하는 문서 전체는 범위가 다릅니다. 기준 문서가 다르면 IDF도 달라지므로, 외부 도구의 점수를 Google의 순위 계산으로 볼 수는 없습니다.
Search Engine Journal의 2019년 4월 보도에 따르면 존 뮬러도 외부에서는 전체 웹 색인을 바탕으로 한 지표를 그대로 재현하기 어렵다고 설명했습니다. TF-IDF는 오래된 지표이고 정보 검색에는 다른 기법도 많으므로, 이론적 점수 하나에 맞추려고 단어를 억지로 넣는 접근을 경계했다는 내용입니다. 이 과거 발언이 현재 Google의 계산식이나 TF-IDF 사용 여부를 공개한 것은 아닙니다.
도구 업체의 해설도 표현이 다릅니다. Ahrefs는 TF-IDF를 Google의 직접적인 순위 요소로 보기 어렵다고 설명하고, Semrush는 TF-IDF의 변형이 검색엔진의 관련성 판단에 쓰인다고 설명합니다. 두 자료는 각 업체의 해설이며 Google이 현재의 순위 계산 방식을 확인한 문서가 아닙니다.
TF-IDF 최적화 도구가 실제로 하는 일
TF-IDF 분석 기능이 있는 SEO 도구는 내 페이지와 비교 대상 페이지의 단어 가중치를 계산합니다. 경쟁 문서에는 자주 나오지만 내 글에는 없는 표현을 찾는 데 활용할 수 있습니다. Semrush는 On Page SEO Checker의 상세 분석에 있는 “Keyword Usage” 탭에서 TF-IDF를 비교하는 기능을 안내합니다.
제안 목록에서는 단어 자체보다 그 단어가 쓰인 문맥을 읽어야 합니다. 경쟁 글의 공통 메뉴에 반복된 표현인지, 우리 글에서 빠진 핵심 개념인지에 따라 반영 여부가 달라집니다. 독자의 질문에 답하려면 필요한 개념만 설명에 추가합니다. 점수를 높이려고 용어를 부자연스럽게 반복하면 키워드 스터핑에 해당할 수 있습니다.
TF-IDF와 BM25의 관계
BM25도 단어 빈도와 문서 희소성을 활용하는 어휘 검색 방식입니다. 한 단어를 계속 반복해도 점수가 같은 폭으로 늘어나지 않도록 빈도 포화를 적용하고, 문서 길이도 보정합니다. Elasticsearch는 BM25를 기본 유사도 계산 방식으로 안내하며 빈도 포화와 길이 보정의 강도를 설정할 수 있게 합니다.
하이브리드 검색에서는 BM25 같은 어휘 검색을 의미 검색과 결합할 수 있습니다. 어휘 검색이 검색어와 일치하는 표현을 찾고, 의미 검색이 단어가 달라도 뜻이 가까운 문서를 찾도록 구성하는 방식입니다.
자주 묻는 질문
TF-IDF 점수가 높으면 검색 순위가 오르나요?
TF-IDF가 높다는 것은 선택한 문서 모음 안에서 해당 단어의 가중치가 높다는 뜻입니다. Google 검색 순위가 높아진다는 뜻은 아닙니다. 비교 문서가 달라져도 점수가 바뀌므로 도구의 목표 점수를 맞추는 것만으로 콘텐츠 개선 여부를 판단할 수 없습니다.
TF-IDF 점수를 높이려고 단어를 반복해도 되나요?
점수만 높이려고 반복해서는 안 됩니다. 독자가 이해하는 데 필요한 용어라면 문맥에 맞게 쓰되, 순위를 조작할 목적으로 부자연스럽게 반복하면 키워드 스터핑에 해당할 수 있습니다.
TF-IDF와 BM25는 같은 개념인가요?
다른 계산 방식입니다. TF-IDF는 TF와 IDF를 곱한 가중치이고, BM25는 빈도 포화와 문서 길이를 반영한 점수식을 씁니다. TF-IDF도 구현에 따라 빈도나 길이를 정규화할 수 있으므로, 길이 보정의 유무만으로 두 방식을 구별하는 것은 정확하지 않습니다.
TF-IDF는 SEO가 아닌 곳에서도 쓰이나요?
텍스트 마이닝과 자연어 처리에서도 문서 분류, 핵심어 추출, 추천 시스템 등에 활용하는 기본 기법입니다.
함께 알아두면 좋은 용어
- 키워드 스터핑: 검색 순위를 조작하려고 키워드를 부자연스럽게 반복하는 행위
- 임베딩: 텍스트 등 데이터의 특징과 관계를 벡터로 표현하는 기법
- 하이브리드 검색: BM25 등 어휘 검색과 의미 검색을 함께 활용하는 방식
- 시맨틱 검색: 검색어의 의미와 문맥을 해석해 관련 정보를 찾는 방식
- BERT: 앞뒤 문맥을 함께 학습하는 Transformer 기반 언어 모델로, Google 검색에도 적용된 기술
- 키워드 검색량: 검색어가 얼마나 자주 검색되는지 재는 수요 지표