📗 | AI지식_ 검색엔진

비전공자도 이해할 수 있는 AI지식 - 4. 검색엔진-구글이 세상을 검색하는 법

 

 

 

검색엔진의 등장

• 검색 서비스는 국가를 가리지 않고 가장 인기있는 1등 인터넷 서비스

초기

• 디렉토리 형식 : 사람이 직접 키워드 주제별 정리
• 장점 : 정확함
• 단점 : 인터넷의 성장속도가 지나치게 빠르기 때문에 수동으로 정리하는 데는 한계가 생김

→ 편집된 디렉토리 형식 보다는 검색엔진이 더욱 주류가 됨

 

 

 

 

 

엄청난 돈을 벌어들이다

초기 인터넷 광고

• 신문 광고와 유사
  • 사이트에 배너를 노출하고 노출 횟수에 따라 가격 책정

검색엔진 시장이 흐름을 주도하며 검색광고 도입

• 항상 동일한 광고가 노출되지 않고 쿼리에 적합한 광고를 매번 다르게 보여주는 타깃 마케팅 진행
• 사용자 피드백을 기반으로 광고료를 산정하는 CPC(Cost Per Click)방식 도입
• 경매 방식으로 진행
  • ex. A광고주가 '셔츠'라는 쿼리에 대해 클릭당 ~~원 제시 → 유저들은 '셔츠'를 검색했을 때 단가가 더 높은 A광고를 먼저 접함

 

 

 

 

 

엄청난 문서를 수집하다

색인(INDEX)

• 검색엔진이 인터넷에 있는 문서를 수집하여 검색에 적합하도록 보관하고 있는 것
• 구글이 엄청난 문서를 색인하는 것으로 유명(2020년 기준으로 300조 개가 훨씬 넘는 문서를 색인)

구글 파일 시스템(GFS, Google File System)

• 엄청난 양의 문서를 저렴한 컴퓨터 수천대에 나눠 저장하기 위한 효율적인 분산 파일 시스템
• 초기 빅데이터 플랫폼의 원형

검색엔진이 일하는 방식

• 1. 문서 수집 : 방대한 문서를 담는 플랫폼 필요(like GFS)
• 2. 크롤러(Crawler) :
  • 웹 페이지를 갈고리 처럼 긁어 정보 수집하며 특수한 데이터베이스인 '색인'에 정보 추가.
  • 문서를 검색에 적합하도록 보관하여 나중에 검색을 빠르게 수행하는 역할
  • URL을 방문하면 사이트 내 웹페이지의 모든 링크를 식별하고 방문할 URL을 큐라는 목록에 계속해서 추가
  • 필요한 내용을 추출하여 저장하는 작업 병행
  • 한번 방문한 사이트는 일정 시간 재방문 하지 않을 수 있도록 스케줄러 사용
  • 선택정책(Selection Policy) : 어떤 페이지를 먼저 방문할 것인가
  • but 스케줄러와 선택정책은 매우 민감 : 무분별하게 웹상 데이터를 끌어모으면 과도한 트래픽이 생겨 서비스에 피해줄 수 있음
• 크롤러 활용 예시
  • 가격비교 사이트에서 여러 제품에 대한 가격정보를 제공

 

 

 

 

랭킹, 수십 조 가치의 줄 세우기 기술

• 어떻게 해야 스팸을 줄일 수 있을까?
• 정보를 어떤 순서로 나열해야 할까?

돈

• 다양한 특징을 모두 점수로 치환하고 점수의 총점으로 순서를 정하는 방식
• 수학자 윌리엄 톰슨(William Thomson) "자신이 말하는 내용을 측정할 수 있고 또한 그것을 숫자로 표현할 수 있어야 비로소 그것을 안다고 말할 수 있다" → 얼마나 숫자로 잘 표현하느냐가 알고리즘의 핵심
• 한 두가지 조건이 아닌 종합적인 면을 모두 고려하여 점수를 합해 종합점수가 가장 높은 문서를 1등으로 노출
  • 구글의 경우 약 200여가지의 랭킹 조건을 이용

 

 

 

품질 좋은 문서를 찾아서

품질 좋은 문서

• 검색 쿼리에 관계없이 항상 좋은 문서
  • 길이가 긴 문서
  • 권위 있는 사이트에 실린 문서
• 에르되시 수(Erdös Number) : 에르되시와 몇 단계에 걸쳐 네트워크로 연결되어 있는지를 나타내는 수
  • 숫자가 낮을 수록 영예가 높아짐
• 인용 횟수
  • 많이 인용될 수록 영예가 높아짐

 

 

 

페이지 랭크, 구글의 시대를 열다

페이지 랭크(Page Rank)

• 유명한 사이트가 많이 가리킬수록 문서의 점수가 올라가는 알고리즘
• 권위 있는 사이트에 가중치 높임
• 몇 개의 링크가 문서를 인용하고 있는지(횟수) + 현재 웹 문서의 점수(권위) 함께 살펴야 함
• 내 웹 문서의 점수를 링크한 다른 웹 문서에 나눠주는 방식
  • ex. 점수가 2%인 문서는 다른 문서에게 최대 2%만 줄 수 있음

댐핑 팩터(Damping Factor)

• 사용자들이 싫증을 낼 확률을 반영한 값
• 링크를 따라가 웹 문서를 읽다가 해당 문서에서 벗어날 확률이 15% : 댐핑 팩터는 이 값을 반영하여 0.85가 됨

 

 

 

쿼리에 딱 맞는 문서 찾는 법

유사도 점수

• 쿼리에 따라 실시간으로 점수를 계산해야함
• how?
  • 1. 사용자가 입력한 쿼리가 문서 어디쯤 위치하는지가 중요 (제목에 위치 : 더 높은 점수)
  • 2. 근접도(Proximity)순서대로 매칭되었는지 파악.

TF-IDF점수(Term Frequency Inverse Document Frequency)

• Term Frequency : 단어 출현 빈도
• Inverse Document Frequency : 문서 출현 빈도의 역수(다른 문서에 많이 출현할수록 작은 값이 됨)

TF-IDF점수 = TF점수*IDF점수=단어출현빈도*1/문서출현빈도

BM25(Best Matching 25)

• 다른 문서에 등장하지 않는 단어가 해당 문서에 많이 포함되어 있을수록 높은 점수 획득
• BM25에서는 TF점수가 무한대로 증가하지 않도록 특정 점수 이상을 넘지 않도록 장치를 둠

BM25점수=IDF점수*[TF점수*(K1+1)/TF점수+K1*<1-b+b*(문서길이/평균길이)>]

 

 

 

 

 

검색엔진 최적화와의 싸움

검색엔진 최적화(SEO, Search Engine Optimization)

• 유저들은 상위 랭킹을 높이기 위해 끊임없이 도전
• 검색엔진 업체들은 쉽게 랭킹을 올릴 수 없도록 알고리즘을 개선하고 진화시킴

 

 

 

 

점점 더 똑똑하게, 구글 MUM

검색엔진의 역할

• AS-IS : 쿼리에 정확하게 매칭하는 문서를 찾아주는 것
• TO-BE : 쿼리의 맥락을 파악하여 적절한 문서를 제시해주는 것

딥러닝

• 검색엔진이 단순히 문서가 해당 단어를 포함하는지 여부만 판단하지 않고 단어간의 관계를 파악하여 문장의 의미를 정확하게 이해(딥러닝을 통해)
• 비슷한 의미를 지닌 단어를 비슷한 숫자로 표현 → 유사한 의미를 지닌 단어로 판별해냄
• 대표적 : 오타교정
  • 맞춤법이 틀리면 정상적인 검색결과 얻기 힘듬
  • 딥러닝이 오타 교정할 수 있도록 교정

MUM(Multitask Unified Model)

• 복잡한 질문에 답하기 위해 딥러닝을 결합한 구글의 새로운 기술
• 개인비서 처럼 "~로 여행하려고 하는데 무슨 준비가 필요할까?"와 같은 복잡한 쿼리에 대한 답변 가능
• 언어의 장벽을 제거하려는 시도도 ing
  • 최근 75개 언어를 모두 통합하여 학습하는 모델 구축

 

 

 

 

 

 

---

💡INSIGHT

검색 기술이 빠르고 정교하게 발전하는 것은 매우 긍정적인 일이다. 요즘 챗GPT를 자주 사용하면서 질문을 하거나 반복적인 작업을 수행하는 데 큰 효율을 얻고 있다. 검색 엔진의 발전으로 절약되는 시간을 환산해보면 하루에 몇 시간은 되는 것 같다. 앞으로도 검색 엔진이 더욱 발전하길 진심으로 기대한다.