검색엔진 알고리즘의 변천 ①

검색엔진은 그 기원을 인터넷의 출현보다도 훨씬 이전인 1세대 컴퓨터가 등장했던 1940년대 정보 추출(Information Retrieval)의 개념에서 찾아볼 수 있다. 꽤 오래전부터 우리들 곁에 있었다는 이야기인데 사실 거기까지 거슬러 올라가지 않더라도 1980년 이전에 이미 프리텍스트 인덱싱 기법, 정보의 관련성에 기반한 대용량 정보 검색 시스템, 다국어 검색 기법, 비정형 데이터에 대한 검색 기법 등 지금도 활용되는 다양한 검색 기법들이 이미 이 당시에 개발되어 있었다.

인터넷 혁명이 시작한 이후로 수많은 검색엔진의 출몰을 우리들은 지켜봐왔고 이제 해외는 구글, 그리고 국내는 네이버로 검색 시장이 정리되면서 우리들은 검색엔진 분야가 더 이상 역동적인 발전을 멈춘 것처럼 느끼는 것도 사실이다. 하지만 전문가들은 검색엔진 기술이 아직도 초기 단계에 있을 뿐이라고 말한다.

과연 검색엔진이 어디까지 발전할까? 그 미래의 모습에 대해 우리의 상상력을 자극해줄 좋은 영화가 하나있다. 2015년 초 개봉된 엑스마키나라는 영화다. 전 세계 검색엔진의 95%를 점유한 블루북사의 회장이자 천재 개발자인 네이든이 블루북의 유능한 개발자 갈렙(Caleb)을 개인연구소로 초대해서 개발을 마친 인공지능 로봇, 에바(Ava)의 심화튜링테스트에 참여시킨다. 이 영화는 이 과정에서 벌어지는 갈렙과 에바의 에피소드와 관계를 소재로 삼아 궁극적으로 인간을 인공지능에서 구분할 수 있게 하는 본질이 무엇인지를 우리들에게 묻고 있다. 2016년 2월에 열린 제88회 아카데미 시상식에서 시각효과 부분의 수상했을 정도로 아름다운 화면을 보여주는 매력적인 영화다(IMDB에서의 평가 7.7/10).

이 영화 속에서 하루는 네이든 회장이 갈렙에게 흥미로운 것을 보여준다며, 에바를 개발한 장소로 그를 안내한다. 거기서 에바의 두뇌(영화 속에서는 마인드라고 불리는)에 적용된 젤리형태의 하드웨어를 보여주며 이것이 어떤 운영시스템으로 돌아가는지 맞춰보라며 갈렙에게 질문한다. 답을 못하자 네이든 회장은 에바의 운영시스템이 블루북(검색엔진)이라고 말해주며 네이든 회장은 이런 이야기를 들려준다.

“바로 여기에 검색엔진의 특이한 점이 있는데, 검색엔진의 출현은 아직 내연기관이 발명도 되지 않은 세상에서 원유를 찾은 것과 같아. 가공이 전혀 되지 않은 상태라서, 그것으로 무엇을 할 수 있을지를 아무도 몰랐던 거야. 검색엔진에서 나의 경쟁자들은 검색엔진을 쇼핑이나 소셜미디어와 연계해서 돈을 버는 데에만 매달렸어. 그들은 검색엔진이 사람들이 무엇을 생각하고 있는 지를 보여주는 지도라고 생각했던거지. 하지만 사실 검색엔진은 사람들이 어떻게 생각하는지를 보여주는 지도였다구.”

이 영화는 검색엔진의 발전이 어떤 질의에 대한 최적의 답을 찾기 위해 활용되는 수준에서 멈추지 않을 것을 암시해준다. 검색엔진은 AI와 결합하여 전 세계의 모든 컴퓨터와 그 안의 콘텐츠를 연계하여 인간이 입력한 요구에 대한 반응이 아니라 어쩌면 자발적으로 생각하고 판단하여 우리가 원할 것을 요구하기도 전에 미리 제공해주거나 관련된 정보가 아니라 요구받은 그 서비스 자체를 제공하는 어떤 것이 될 것이라는 예언을 하고 있는 것일지도 모른다. 한발 더 나아간다면 검색엔진이 AI와 결합하여 스스로 자의식을 가지게 될지도 모른다.

물론 현재의 검색엔진은 아직 엑스마키나 속의 에바의 모습이나 레벨은 아니다. 하지만 구글이 2015년에 실행한 검색엔진 알고리즘 업데이트를 보면 그런 날이 멀지 않을 것 같다는 예감을 갖게한다. 자신들의 검색 알고리즘에 본격적인 기계학습 인공지능이라 할 수 있는 “랭크브레인(Rankbrain)”업데이트를 추가했기 때문이다.

검색엔진은 구글의 놀라운 투자와 노력을 통해 미래의 검색엔진을 향한 새로운 챕터에 들어서고 있는 것이다. 그리고 앞으로도 검색 알고리즘 업데이트란 방식으로 지속적으로 발전해 걸 것이다. 그래서 검색의 발전의 역사는 검색 알고리즘 변천의 역사라고 할 수 있다. 알고리즘이란 문제를 해결하기 위한 절차나 방법을 의미하는데, 크롤링, 인덱싱, 그리고 랭킹이라는 검색의 기본 기능 요소를 통해 정보를 찾는 이에게 그가 원하는 정보를 정확하고 빠르게 매칭해주기 위해 각 기능 요소별로 다양한 알고리즘을 채용해왔고 또한 이를 업데이트하면서 발전시켜왔다.

여기서 주목해야하는 것은 바로 알고리즘이란 것이 어떤 특정한 문제를 해결하려는 대응적 행위로 만들어지는 것이라는 점이다. 인터넷이 출현한 이후로 검색엔진이 보편화되고 검색결과 페이지가 가지는 상업적 가치에 사람들이 눈을 뜨게 되면서 자연스럽게 증가하고 고도화되는 스패밍 행위¹가 검색엔진 알고리즘 발전의 원동력이 되어온 것이다.

검색엔진의 발전의 역사는 스패밍 행위를 막아내기 위한 검색엔진 알고리즘 업데이트의 역사라고 할 수 있다. 스패밍 행위와 싸움의 최전선에 서있는 검색엔진의 대표가 바로 구글이다. 이 싸움이 얼마나 치열한지는 구글의 알고리즘 업데이트의 기록을 보면 바로 알 수가 있다.

현재까지의 검색엔진 알고리즘의 발전을 필자는 크게 6단계로 구분하는데, 각 시기의 특징을 간략하게는 아래와 같이 정리할 수 있다.

웹콘텐츠를 생산하는 쪽에서 바라본다면 2011년 이후 모바일 검색의 성장기에 있었던 검색 알고리즘의 업데이트, 특히 스패밍 행위에 대한 제제를 담은 업데이트인 판다와 펭귄 업데이트와 모바일 검색과 연관이 깊은 피존과 허밍버드 업데이트가 중요하다. 그리고 2015년에 있었던 랭크브레인 업데이트는 그 전에 있었던 허밍버드 업데이트에 부속된 업데이트나 인공지능을 가미한 첫 번째 업데이트라는 점에서 앞으로 다가올 검색엔진 알고리즘의 변화에서 가장 중요한 의미를 갖는 업데이트라고 할 수 있다.

위에서 언급한 것처럼 검색엔진은 인공지능과 만나면서 빠른 속도로 발전해가고 있다. 이런 검색알고리즘의 발전이 비단 구글만이 아니라, 마이크로소프트의 빙(Bing), 그리고 중국의 바이두(Baidu)와 360, 러시아의 얀덱스(Yandex) 등에서 빠르게 일어나고 있다. 하지만 한편으로 국내의 상황을 바라보면, 한때 많은 국민들이 좋아했던 네이버의 통합검색이 시대의 발전에 발맞춰 성장하지 못해 고객의 신뢰와 시장을 잃어가고 있는 모습에 답답함을 느끼게 된다. 아래에 정리한 표를 보면 누구나 느낄 수 있겠지만 검색알고리즘의 발전은 결코 단시간에 이룰 수 있는 일이 아니다. 해당 검색엔진의 환경적인 요소와 같이 변해가며 발전해야하기 때문이다. 그러나 검색알고리즘의 전체 발전 단계에서 현재 우리가 성취한 레벨은 아직 초기 단계이다. 따라서 늦었다고 생각하지 말고 이제부터라도 국내 검색엔진 기술을 가진 업체들이 이 분야에서 꾸준하게 노력을 기울여야한다는 주장을 하며 더욱 자세한 검색엔진 알고리즘의 변천의 역사에 대해서는 아래의 표로 갈음하고자 한다.

■ 정보검색의 시대(1945년에서 인터넷 등장 이전까지)

■ 웹검색의 탄생기(1989년에서 1996년까지, 구글 등장 이전까지)

■ 웹검색의 성장기(1997년부터 2001년까지, 구글 등장 이후)

■ 웹검색의 성숙기(2002년부터 2010년까지, 검색 알고리즘의 발전과 스팸전쟁의 시작)

■ 모바일 검색의 성장기 – 상시화된 스패밍 대응 업데이트와 모바일에 대한 대응의 시기

■ 인공지능 도입기 – 검색알고리즘과 기계학습 인공지능의 만남

———————————————————————————————-

1. 의도된 메시지의 노출을 강화하고자 검색 결과의 순위에 영향을 미치기 위해 검색엔진의 가이드라인을 위반하는 행위를 말함. 검색엔진의 가이드라인을 준수하는 범위에서 검색결과에 긍정적인 영향을 미치려는 노력을 검색엔진최적화(Search Engine Optimization, SEO)함. 스패밍 행위를 그래서 블랙햇SEO라고도 부름 [본문으로]