📗 | AI지식_ 스마트 스피커

비전공자도 이해할 수 있는 AI 지식 - 5. 스마트 스피커-시리는 쓸모 있는 비서가 될 수 있을까

 

 

 

 

애플 시리, 음성인식 비서의 시대를 열다

• 스탠퍼드대학교에서 시작된 민간연구소 SRI인터네셔널의 연구프로젝트
  • 일부 연구원이 독립해 스타트업 SIRI 창업
• 초반 : 음성인식 기능이 없는 챗봇 형식
• 음성인식 기능을 도입하고 2011년 아이폰4s에 정식 탑재
• 잡스의 사망으로 SIRI팀 대부분은 애플을 떠나 비브랩스를 설립해 빅스비 제작

 

 

 

 

 

 

 

 

아마존 알렉사, 스마트 스피커의 시대를 열다

• 스마트 스피커라는 카테고릴르 처음 만든 회사 : 아마존

알렉사(Alexa)

• 2014년, 최초의 스마트 스피커 Echo출시
• 에코의 호출어를 알렉사Alexa로 결정

 

 

 

 

 

 

 

음성인식, 목소리를 알아듣다

웨이크업(Wake-up)

• 음성을 서버로 전송하기 위해 사용자가 부르면 깨어나며 반응하는 것
• 웨이크업 단어를 알아듣기 위한 음성인식 엔진 필요
• 웨이크업 이후에는 본격적으로 음성 파일을 서버로 전송하여 분석을 진행

서버로 전송된 음성 파일이 분석되는 과정

• 이해 영역 : 음성인식, 자연어 이해
• 실행 영역 : 다이얼로그 매니저, 스킬
• 생성 : 자연어 생성, 음성 합성

음성인식

• 시간의 흐름에 따라 역동적으로 변동하는 음성의 파형을 다루는 일
• 과거 음성인식
  • 최소 단위인 음소가 결합하여 단어와 구문을 만드는 규칙을 언어학자들이 분석해 if-then 규칙으로 프로그래밍
  • 음성의 파형에서 음소를 인식 → 음소의 고유한 배열을 기반으로 단어를 인식
  • 한계 : 음소의 패턴은 가까이 있는 음소에 영향을 받으며, 생략되는 음소도 많음

은닉 마르코프 모델(Hidden Markov Model)

• 1970년대 중반부터 규칙기반보다 통계 기반으로 은닉 마르코프 모델을 응용하여 음성인식 기술에 도입
• 은닉된 상태와 관찰 가능한 결과로 구성된 통계적 모델

순환 신경망RNN(Recurrent Neural Network)

• 시간의 흐름에 따라 순서대로 구성되는 시계열 형식도 학습할 수 있는 인공지능 신경망

음향 모델(Acoustic Model)

• 음성의 파형으로 단어를 인식하는 것
• 딥러닝과 빅데이터를 이용해 성능이 뛰어난 음성인식 모델
• 정보의 일부분만 인지하더라도 패턴의 변하지 않는 특징을 정확하게 감지

언어 모델(Language Model)

• 음성을 잘못 인식하더라도 그동안의 학습 결과를 토대로 사용할 확률이 높은 단어로 보정해주는 것
• 대화를 할 때 사전 지식의 역할을 함
• 해당 단어가 동음이의어일 때는 언어모델이 더욱더 위력을 발휘
• 우리가 일상에서 자주 쓰는 문장에서 출현하는 단어의 확률을 학습
• 책이나 뉴스의 문장으로 학습하기 때문에 책, 뉴스에 나오는 단어일 수록 더 높은 점수 부여

 

 

 

 

 

자연어 이해, 의도를 이해하다

자연어NLU(Natural Language Understanding)

• 사람이 비논리적이고 문법에 맞지 않는 말을 할 때 기계가 문장의 의미를 파악하는 것
• 말이나 글의 의미가 무엇인지 알 수 있도록 언어를 구조화

1. 도메인 분류

• 스마트 스피커가 텍스트 문장을 감지하면 먼저 도메인을 구분
• 문장이 어떤 카테고리에 해당하는지 판별하는 과정
• ex. 오늘 날씨 어때? →날씨

2. 인텐트 분류

• 사용자의 의도를 파악하는 것
• ex. 오늘 날씨 어때? →조회

3. 슬롯 필링(Slot Filling)

• 누락된 정보를 채우는 것
• ex. 오늘 날씨 어때? →지역 정보 누락되어 있음 →현위치의 정보를 채워줌

4. 멀티 턴(Multi-Turn)

• 사람과 대화하듯 슬롯을 채우기 위해 추가 질문을 하는 것
• 필요한 정보를 위해 여러번 묻고, 응답에서 필요한 정보를 추출하여 빈 슬롯 채워나가는 것

 

 

 

 

 

 

다이얼로그 매니저, 명령을 실행하다

다이얼로그 매니저(Dialog Manager)

• 슬롯 필링을 채우려면 이전 대화를 기억해야기 때문에 필요한 과정
• 자연어 이해에서 처리한 내용을 받아 실행 명령을 내리는 역할도 겸함

스킬(Skill)

• 멜론 같은 여러 서비스를 이용하는 기능
• 스마트 스피커에서 서비스 스킬은 스스로 작동하지 않음
  • 반드시 다이얼로그 매니저가 개입하고, 판단하여 스킬에 명령을 내림
  • 다이얼로그 매니저가 '음악 재생'이나 '날씨 조회'같은 명령을 스킬에 내리면 스킬에 등록된 서비스가 실행되어 결과를 받아오는 구조

문제해결용 대화시스템(Task-Oriented Dialogue System)

• 스마트 스피커는 문제해결용 대화시스템임
  • 목적이 분명한 대화만 함
  • 대화보다는 목적에 맞는 대화에 방점을 맞춤
  • 자유로운 대화보다는 정해진 템플릿에 정보를 채워서 문자를 생성하는 방법을 주로 사용

대화 디자인

• 풍부한 대화를 위해 템플릿을 다양하게 구성하는 것

연결 합성, 음편 선택 합성(USS, Unit Selection Synthesis)

• 미리 녹음된 음성을 기준에 따라 잘게 쪼개어 음편(Unit)을 만들고 가장 적합한 음편을 선택(Selection)하여 음성을 합성(Synthesis)하는 방식

 

 

 

딥러닝, 인간보다 더 자연스러운

타코트론2(Tacotron2)

• 구글이 제안하고 엔비디아에서 구현한 음성합성 모델
• 사람과 거의 구분할 수 없을 정도로 자연스러운 음성 합성
• 복잡한 과정을 생략하고 입력과 출력을 한번에 진행하는 엔드투엔드(End-To-End)방식을 채택하여 자연스러운 음성 제작
• 음성 학습 과정
  • 1. 텍스트 → 멜스펙트로그램
  • 2. 멜스펙트로그램 → 텍스트

멜 스펙트로그램(Mel Spectrogram)

• 소리나 파동을 시각화하여 파악할 수 있도록 표현한 것
• 음파와 비슷하게 생겼지만 색상의 차이, 농도를 포함해 보다 풍부한 정보를 표현할 수 있음
• 인간이 인지할 수 있는 주파수 대역으로 변환해 낮은 해상도로 압축한 것

보코더(Vocoder)

• 멜 스펙트로그램을 실제 음성으로 바꾸는 작업
• 노이즈 없이 깨끗하고 선명한 음질을 생성할 수 있는지가 보코더의 핵심