BERT는 문장 속 단어를 앞뒤 양방향 문맥으로 함께 읽어, 단어 조합이 만드는 의미와 의도를 이해하는 구글의 자연어 처리 시스템입니다. Bidirectional Encoder Representations from Transformers의 약자입니다.
BERT를 검색하면 논문과 오픈소스 구현, 파인튜닝 튜토리얼처럼 개발자를 위한 자료가 훨씬 많이 나옵니다. 이 글은 그 자료들과 별개로, 검색과 콘텐츠 제작 관점에서 BERT가 무엇을 하고 무엇을 하지 않는지만 정리합니다.
이 글은 Google 검색 센터의 랭킹 시스템 가이드와 2019년 공식 발표 블로그를 기준으로 작성했습니다. Search Engine Journal의 실무 보도도 참고했습니다.
검색어를 앞뒤로 함께 읽는 방식
BERT 이전의 언어 처리 방식은 문장을 앞에서 뒤로 순서대로 하나씩 읽는 쪽에 가까웠습니다. BERT는 반대로 한 단어의 앞과 뒤를 동시에 봅니다. 구글이 공식 발표에서 밝힌 대로 "단어 앞뒤에 오는 말을 함께 봐서 그 단어의 전체 맥락을 고려할 수 있는" 방식입니다.
이 차이가 실제로 검색 결과를 바꾼 예시를 구글이 발표에서 직접 들었습니다. 2019 brazil traveler to usa need a visa라는 검색어에서, 예전 방식은 to라는 짧은 전치사의 무게를 놓쳐 미국인이 브라질에 갈 때 필요한 비자 정보를 보여줬습니다. BERT를 적용한 뒤에는 to가 방향을 가리킨다는 것을 이해해서, 브라질 국민이 미국에 갈 때 필요한 비자 정보로 결과가 바뀌었습니다.
부정어도 비슷합니다. parking on a hill with no curb라는 검색어에서 no를 제대로 읽지 못하면 반대로 연석이 있는 상황의 결과를 보여줄 수 있습니다. 짧고 흔한 단어일수록 그 단어가 문장 전체의 뜻을 뒤집을 수 있는데, BERT는 그런 단어를 놓치지 않고 문맥 속에서 읽어냅니다.
2019년 구글 검색 도입과 지금의 자리
구글은 2019년 10월 25일 BERT를 검색에 도입한다고 발표했습니다. 처음 적용됐을 때는 미국 영어 검색의 약 10분의 1에 영향을 줬고, 이후 다른 언어와 국가로 순차 확대한다고 밝혔습니다. 확대된 정확한 언어와 국가별 비중까지 공식 문서로 확인되지는 않습니다.
발표로부터 시간이 꽤 지났지만, BERT는 지금도 구글 검색 랭킹 시스템 가이드에 별도 항목으로 남아 있습니다. 폐기되거나 다른 시스템에 흡수됐다는 공지는 확인되지 않습니다. 가이드는 BERT를 "단어 조합이 서로 다른 의미와 의도를 표현하는 방식을 이해하는 데 쓰는 AI 시스템"이라고 설명합니다.
같은 가이드는 2015년에 먼저 도입된 RankBrain도 별도 항목으로 설명합니다. RankBrain은 단어와 개념의 관계를 이해하는 데 초점이 있고, BERT는 그보다 나중에 나와 문장 속 단어 조합이 만드는 의도를 양방향 문맥으로 더 정교하게 읽습니다. 구글은 두 시스템을 하나로 뭉뚱그리지 않고 따로 설명합니다.
BERT와 LLM의 다른 자리
BERT와 LLM을 같은 것으로 부르는 경우가 많은데, 둘은 만들어진 목적과 하는 일이 다릅니다.
- BERT: 문장을 읽고 그 의미를 이해하는 데 특화된 모델입니다. 입력된 검색어나 문장의 뜻을 파악할 뿐, 새로운 문장을 만들어내지 않습니다.
- LLM: ChatGPT나 Gemini처럼 다음에 올 말을 예측해 새로운 글을 만들어내는 생성형 모델을 포함하는 더 넓은 개념입니다.
BERT를 제안한 원 논문도 제목에서부터 "언어 이해(Language Understanding)"를 목적으로 내세웁니다. 문장을 생성하는 모델과 이해하는 모델은 학습 방식과 구조가 다르며, 이 글에서는 그 안쪽 구조까지는 다루지 않습니다. 콘텐츠 제작자가 알아야 할 것은 하나입니다. BERT는 검색어를 정확히 읽어내는 데 쓰이는 이해 모델이지, 답을 새로 지어내는 생성 모델이 아닙니다.
구글이 부정한 BERT 최적화 통설
BERT 도입 발표 직후, "BERT에 최적화하는 법"을 알려준다는 콘텐츠가 여럿 나왔습니다. 구글의 검색 담당자(Search Liaison) 대니 설리번은 2019년 10월 28일 X(당시 트위터)에서 이런 시도에 선을 그었습니다. "BERT를 위해 최적화할 것은 없고, 누구도 방식을 다시 생각할 필요는 없다. 좋은 콘텐츠에 보상한다는 원칙은 그대로다"라는 취지였습니다.
이 발언은 공식 블로그 글이 아니라 소셜미디어 발언입니다. 다만 구글 검색 담당자가 자신의 채널에서 공개적으로 밝힌 입장이라, 근거 없는 최적화 기법을 걸러내는 기준으로 삼을 만합니다.
BERT가 검색어의 문맥을 더 정확히 읽는다는 것은, 콘텐츠를 쓰는 쪽에서 문맥을 흉내 내는 요령을 추가해야 한다는 뜻이 아닙니다. 검색 의도에 맞게 질문에 정확히 답하는 콘텐츠를 쓰는 기존 원칙이 그대로 유효하다는 뜻에 가깝습니다. BERT 전용 태그나 문장 구조, 키워드 배치 요령 같은 것은 구글이 공식적으로 인정한 적이 없습니다.
자주 묻는 질문
BERT와 LLM은 같은 건가요?
아닙니다. BERT는 문장을 이해하는 데 특화된 모델이고, LLM은 ChatGPT처럼 새로운 글을 만들어내는 생성형 모델을 포함하는 더 넓은 개념입니다. BERT는 답을 새로 짓지 않고, 입력된 문장의 뜻을 정확히 읽는 역할만 합니다.
BERT에 맞춰 콘텐츠를 최적화하는 방법이 따로 있나요?
구글 검색 담당자가 공개적으로 없다고 밝혔습니다. BERT는 검색어의 문맥을 더 정확히 읽는 시스템일 뿐, 특정 문장 구조나 키워드 배치로 유리해지는 기법을 인정한 적이 없습니다. 질문에 정확히 답하는 콘텐츠를 쓰는 기존 원칙을 지키면 됩니다.
RankBrain과 BERT는 뭐가 다른가요?
RankBrain은 2015년에 먼저 도입돼 단어와 개념의 관계를 이해하는 데 초점이 있습니다. BERT는 2019년에 도입돼 문장 속 단어 조합이 만드는 의도를 양방향 문맥으로 읽습니다. 구글은 두 시스템을 랭킹 시스템 가이드에서 각각 따로 설명합니다.
구글은 지금도 BERT를 쓰나요?
구글 검색 랭킹 시스템 가이드에 BERT가 현재도 별도 항목으로 남아 있습니다. 폐기되거나 다른 시스템에 흡수됐다는 공지는 확인되지 않습니다.
함께 알아두면 좋은 용어
- LLM: 텍스트를 새로 만들어내는 생성형 모델을 포함하는 더 넓은 개념
- 임베딩: 텍스트와 데이터의 특징을 숫자 벡터로 표현하는 방식
- 시맨틱 검색: 검색어의 문맥과 의미를 바탕으로 결과를 찾는 검색 방식
- RankBrain: BERT보다 먼저 도입된, 단어와 개념의 관계를 이해하는 시스템
- 검색 의도: BERT가 더 정확히 읽어내려는 검색어 뒤의 목적