리랭커 (Reranker)

리랭커는 1차 검색이 가져온 후보에 새 점수를 매겨 순서를 다시 정하는 구성 요소입니다. 크로스 인코더는 대표적인 신경망 리랭커 구현이지만 유일한 방식은 아닙니다. 1차 검색과 재정렬을 나누는 이유와 한계를 함께 봐야 합니다.

이 글은 Cohere, Pinecone, Weaviate, SBERT의 공식 기술 문서를 기준으로 작성했습니다.

넓게 건지고 정밀하게 고르는 2단계

신경망 검색에서 자주 비교하는 두 방식은 바이 인코더와 크로스 인코더입니다.

• 바이 인코더: 질문과 문서를 각각 따로 벡터로 만들어 거리를 비교합니다. 문서 벡터를 미리 계산할 수 있어 대규모 후보 검색에 효율적입니다. 임베딩 기반 검색에 자주 쓰입니다
• 크로스 인코더: 질문과 문서를 한 쌍으로 함께 모델에 넣어 관련도 점수를 냅니다. 계산량을 더 쓰는 대신 질문과 문서의 상호작용을 더 세밀하게 평가할 수 있습니다

실제 정확도와 속도는 모델과 데이터에 따라 확인해야 합니다.

크로스 인코더는 문서 쌍마다 계산해야 하므로 전체 문서를 직접 비교하기 어렵습니다. 그래서 빠른 검색으로 후보를 줄인 뒤 리랭커가 그 후보만 정밀하게 채점하는 2단계 구성이 자주 쓰입니다. 실제 속도와 후보 수는 모델과 하드웨어, 문서 규모에 따라 달라집니다.

RAG 파이프라인 안의 자리

RAG 구조에서 리랭커의 자리는 검색 다음, 생성 전입니다. 검색 단계는 놓침을 줄이려 넉넉히 가져오고, 리랭커가 그중 실제로 답변 생성에 넣을 소수를 골라냅니다. 후보를 넓게 확보하면서도 모델에 들어가는 문서 수를 줄여 답변 품질을 지키는 균형 장치입니다. 다만 필수 부품은 아닙니다. RAG 글에서 정리한 대로 재정렬은 품질을 높이려 덧붙이는 선택 구현이고, 시스템에 따라 없이도 돌아갑니다.

검색 실무자에게 갖는 의미

이 용어의 실무 가치는 AI 답변의 출처 선정이 단판 승부가 아니라는 구조 이해입니다. 실제 상용 검색 제품에도 이 설계가 공식 문서로 남아 있습니다. Google Cloud의 기업용 검색 제품은 검색으로 수천 건을 가져온 뒤 랭킹 모델이 상위 수백 건으로 재정렬한다고, 전체에 랭킹을 적용하면 비용이 커서 두 단계가 순차로 작동한다고 명시합니다.

경계선도 분명합니다. 이것은 기업용 제품의 문서이지 공개 구글 검색이나 AI Overviews의 내부 구조 설명이 아니고, 특정 AI 검색 서비스가 리랭커를 쓴다고 공식 확인된 바도 없습니다. 가져갈 것은 원리입니다. 1차 검색에 걸리는 것과 최종 인용으로 선택되는 것 사이에 별도의 정밀 판정이 있을 수 있다는 것. 노출 후보에 들었는데 인용이 안 되는 상황을 해석할 때, 검색 단계와 선별 단계를 나눠 보는 눈이 이 개념에서 나옵니다.

재정렬 전후의 실제 예시

질문이 무료 반품이 가능한 기간이고 1차 검색 결과가 다음 순서라고 해보겠습니다.

1. 반품 신청 방법
2. 무료 배송 안내
3. 구매 후 14일 이내 무료 반품 정책

리랭커가 질문과 각 문장을 함께 읽으면 세 번째 문서를 1위로 올릴 수 있습니다. 확인할 때는 정답 문서가 있는 질문 세트를 만들고 1차 검색과 재정렬 결과의 상위 순위를 비교합니다. 관련 문서가 처음 후보에 아예 없었다면 리랭커가 새 문서를 찾아낼 수 없다는 점도 함께 봅니다.

함께 알아두면 좋은 용어

• 임베딩: 1단계 검색이 쓰는 표현
• 벡터 데이터베이스: 1단계 검색의 인프라
• RAG: 리랭커가 선택적으로 들어가는 구조
• 하이브리드 검색: 리랭킹과 자주 결합되는 1단계 구성

참고 문서

• Cohere, Rerank 공식 문서
• Pinecone, Rerankers (RAG 시리즈)
• Weaviate, Cross-Encoders as reranker
• SBERT, Cross-Encoder 공식 문서
• Google Cloud, About retrieval and ranking