BERT는 단어의 앞뒤 문맥을 함께 살펴 문장의 의미를 파악하는 자연어 처리 모델입니다. 이름은 Bidirectional Encoder Representations from Transformers의 약자입니다. Google 검색에서는 검색어를 구성하는 단어들이 어떤 의미와 의도를 나타내는지 이해하는 데 활용합니다.
단어의 앞뒤 문맥을 함께 해석하는 원리
Google의 공식 발표에 따르면 BERT는 단어의 앞뒤 문맥을 함께 참고해, 그 단어가 문장 안에서 어떤 의미로 쓰였는지 파악합니다.
BERT는 Transformer의 인코더 구조를 사용합니다. 사전학습에서는 일부 단어를 가린 뒤 주변 문맥으로 원래 단어를 예측하는 마스크 언어 모델링 과제 등을 수행합니다. 이 과정에서 단어 앞과 뒤의 정보를 함께 반영한 표현을 학습합니다.
Google이 공개한 2019 brazil traveler to usa need a visa 사례에서 이 차이를 볼 수 있습니다. 이전 검색결과는 to가 나타내는 이동 방향을 제대로 반영하지 못해 미국인의 브라질 입국 비자 정보를 보여 줬습니다. BERT 적용 뒤에는 브라질 국민이 미국에 갈 때 필요한 비자 정보로 결과가 바뀌었습니다.
parking on a hill with no curb에서도 짧은 단어 no가 핵심입니다. 이를 놓치면 연석이 없는 상황을 물었는데 연석이 있는 상황의 결과가 나올 수 있습니다. BERT는 이런 단어도 주변 문맥과 함께 처리해 문장의 뜻을 구분합니다.
Google 검색에 적용된 BERT
Google은 2019년 10월 25일 검색에 BERT를 도입한다고 발표했습니다. 당시 미국 영어 검색의 약 10분의 1에 영향을 줬으며, 다른 언어와 국가로 확대할 계획도 밝혔습니다. 이 비율은 도입 당시 미국 영어 검색에 관한 수치입니다.
Google 검색 랭킹 시스템 가이드는 현재도 BERT를 단어 조합의 의미와 의도를 이해하는 데 사용하는 시스템으로 소개합니다.
같은 가이드에는 2015년에 도입한 RankBrain도 별도로 나옵니다. RankBrain은 단어와 개념의 관계를 이해하고, BERT는 양방향 문맥에서 단어 조합이 나타내는 의미와 의도를 파악합니다. 둘 다 언어 이해에 관여하지만 Google은 서로 다른 시스템으로 설명합니다.
BERT와 생성형 언어 모델의 차이
BERT는 구체적인 모델 이름이고, LLM은 대규모 언어 모델을 통칭합니다. 두 용어를 서로 배타적인 분류로 볼 수는 없습니다. BERT를 ChatGPT나 Gemini의 생성형 모델과 비교할 때는 입력을 해석하는 방식과 출력을 만드는 방식을 살펴봐야 합니다.
- BERT: 입력된 단어들의 앞뒤 문맥을 함께 반영합니다. 문장 분류나 질의응답 같은 언어 이해 과제에 맞춰 파인튜닝할 수 있습니다.
- 생성형 언어 모델: 앞서 주어진 입력과 생성한 내용에 이어 다음 토큰을 예측하면서 답변을 작성할 수 있습니다. ChatGPT와 Gemini 같은 서비스가 이런 모델을 활용합니다.
BERT 원 논문은 언어 이해(Language Understanding)를 위한 사전학습과 파인튜닝 방법을 다룹니다. BERT가 검색에 적용됐다는 사실만으로 생성형 답변 기능까지 설명할 수는 없습니다.
BERT 전용 최적화가 필요한가
Search Engine Journal이 전한 발언에 따르면 당시 Google 검색 담당자 대니 설리번은 2019년 10월 28일 X(당시 트위터)에서 BERT를 위한 별도 최적화는 필요 없다는 입장을 밝혔습니다.
콘텐츠에서는 검색어의 단어를 반복하는 것보다 검색 의도에 담긴 조건을 정확히 읽어야 합니다. 앞선 비자 예시라면 출발국과 도착국을 바꿔 쓴 글은 관련 키워드가 들어 있어도 질문에 답하지 못합니다. BERT를 위한 별도 문장 규칙을 만드는 대신, 질문의 대상과 조건에 맞는 정보를 제공하는 편이 타당합니다.
자주 묻는 질문
BERT와 LLM은 같은 건가요?
LLM은 대규모 언어 모델을 통칭하고, BERT는 특정 모델을 가리키므로 같은 뜻은 아닙니다. 다만 BERT도 사전학습 언어 모델이며, 생성형 모델과 대비할 때는 모델 크기보다 구조와 수행 과제를 기준으로 설명하는 것이 정확합니다.
BERT에 맞춰 콘텐츠를 최적화하는 방법이 따로 있나요?
별도 태그나 키워드 배치법을 추가할 필요는 없습니다. 검색어에 포함된 대상과 조건을 정확히 파악하고, 그 질문에 맞는 내용을 자연스러운 문장으로 설명합니다.
RankBrain과 BERT는 뭐가 다른가요?
2015년 도입한 RankBrain은 단어와 개념의 관계를 이해하는 시스템입니다. 2019년 도입한 BERT는 단어의 앞뒤 문맥을 함께 살펴 조합이 나타내는 의미와 의도를 파악합니다. Google은 랭킹 시스템 가이드에서 둘을 별도로 설명합니다.
구글은 지금도 BERT를 쓰나요?
네. Google은 검색 랭킹 시스템 가이드에서 BERT를 단어 조합의 의미와 의도를 이해하는 데 사용하는 시스템으로 설명합니다.
함께 알아두면 좋은 용어
- LLM: 텍스트 등의 대규모 자료로 학습해 언어를 처리하는 모델
- 임베딩: 텍스트와 데이터의 특징을 숫자 벡터로 표현하는 방식
- 시맨틱 검색: 검색어의 문맥과 의미를 바탕으로 결과를 찾는 검색 방식
- RankBrain: 단어와 개념의 관계를 이해하는 Google의 AI 랭킹 시스템
- 검색 의도: 검색자가 검색으로 해결하려는 문제나 목적