📗 | AI지식_ 알파고

비전공자도 이해할 수 있는 AI 지식 - 2. 알파고-인간을 능가하는 기계의 등장

 

딥 블루, 알파고는 어떻게 세계 챔피언이 되었을까?

딥 블루(Deep Blue)

• IBM의 슈퍼컴퓨터
• 1984년 최연소 체스 세계챔피언으로 등극한 가리 카스파로프(Garry Kasparov)를 꺾고 세계 챔피언 등극
• 컴퓨터의 강력한 계산 능력에 의존해 모든 가능성을 탐색
• 게임 초반 : 초반의 수를 공식화한 오프닝 활용 / 게임 종반 : 엔드게임 테이블베이스 활용하여 불필요한 계산 줄임
• 심리 전략 : 어떤 때는 즉각 반응, 어떤 때는 느리게 반응하도록 속도를 조절해 반응을 예측하기 어렵게 만듬

알파고

• 2016년 구글 딥마인드가 개발
• 바둑 세계 챔피언 이세돌 9단을 꺾고 세계 챔피언 등극

게임트리(Game Tree)

• 현재 수는 이전 수에 영향을 받고, 또 다음 수에 영향을 주는 전개형 보드게임 구조
• 체스의 게임트리 : 10의 120승 
  • 480개의 체스 전용 칩이 내장된 딥 블루는 초당 2억 번의 이동을 계산
  • 추려진 후보에 점수를 매겨 가능성이 높은 순서대로 정렬(검색엔진이 랜킹을 정하는 방식과 동일)
• 바둑의 게임트리 : 10의 360승
• 경로를 효율적으로 탐색하는 방법, 가지치기
  • 완전 탐색(Exhaustive Search) : 모든 경로를 탐색하는 것
  • 가지치기(Pruning) : 한번 탐색해보고 성과가 없다면 그쪽은 더이상 탐색하지 않도록 표시해두는 것

 

 

 

 

도박의 확률을 이용하는 몬테카를로 방법

몬테카를로 방법(Monte Carlo Method)

• 몬테카를로 : 모나코 동북부에 있는 휴양 도시이자 카지노와 도박으로 유명한 곳
• 스타니스와프 울람(Stanislaw Ulam)박사가 '중성자 확산 같은 복잡한 계산 문제는 차라리 여러 번의 무작위 컴퓨터 실험으로 결과를 관찰하는 편이 훨씬 더 실용적일 것으로 판단하여 고안해낸 방법
  • 도박처럼 확률적인 방법으로 결과를 유추해 내는 방식
  • ex. 선거 결과를 예측했을 때 5,000만 국민의 의사를 모두 묻는 대신 5만 명을 무작위로 추출하여 조사해도 비슷한 결과를 낼 수 있는 것

몬테카를로 트리 탐색(Monte Carlo Tree Search)

• 프랑스의 컴퓨터 과학자 레미 쿨롱(Remi Coulom)이 몬테카를로 트리 탐색 알고리즘을 처음 고안하여 바둑에 적용 → 바둑 인공지능의 실력 급상승
• 몬테카를로 트리 탐색 도입 이후 6단의 수준까지 도달
  • and, 딥러닝을 적용해 실력을 획기적으로 향상
    • 정책망(Policy Network)과 가치망(Value Network) 두 종류의 인공 신경망 제작

 

 

정책망, 어디에 돌을 내려놓을까?

기보 학습 정책망

• 사람의 기보를 이용해 학습한 정책망
• 정확도 57%, 5단 수준

롤아웃 정책망

• 훨씬 작고 가벼운 망으로 기보 학습 보다 1,500배 빨리 탐색 가능
• 정확도 24% 

강화학습 정책망(Reinforcement Learning)

• 알파고 끼리 대국을 치르며 스스로 실력을 향상하는 망
• 경기에서 이기면 승리한 측의 모든 수의 점수가 더욱 강화되는 형태
• 오로지 승리를 쟁취하는 목적으로, 큰 점수로 이기는 목적은 없음
• 승률 80%

 

 

가치망, 형세를 판단하다

가치망

• 정책망보다 훨씬 더 단순히 승리할 가능성이 높은지, 패배할 가능성이 높은지만 확률로 표현
  • 50%가 넘는다면 승리할 가능성이 높은 국면 / 50%가 넘지 않는다면 패배할 가능성이 높은 국면

확률 예측을 할 수 있도록 한 방법

• 강화학습 정책망끼리의 대국 활용
  • 서로 3,000만 번의 대국을 두게 함
  • 각 경기에서 한 장면씩 3,000만 장면을 추출해 해당 국면 이후에 누가 이겼는지를 학습
  • 만약 74%라는 확률이 나왔다면 현재 국면에서 강화학습 정책망끼리 대국을 벌이면 승리할 확률이 74%라는 결론 도출

 

 

 

알파고가 수를 두는 방법

몬테카를로 방법의 한계

• 알파고의 실력 급상승. but, 무작위 탐색이다 보니 '묘수'간과
• 99%의 승률이 예상되더라도 단 1%의 허점 때문에 패배로 연결될 수 있음

묘수를 놓치지 않도록 몬테카를로 트리탐색 사용 과정

• 1. 먼저 어떤 수에서 시작할지 선택
  • 아무 수나 선택하는게 아니라 어떤 수가 유망한 수가 될지 가치를 잘 따져보고 승리할 가능성이 높아 보이는 수부터 '선택'
• 2. 첫 번째 정책망, 기보학습 정책망으로 다음 수를 어디에 둘지 '확장'
  • 엄밀하게 검증하는 작업 필요
• 3. (검증1) 기보학습 정책망이 선택한 수를 이용해 게임이 끝날 때까지 '시뮬레이션'
  • but, 남아있는 모든 경우의 수를 시뮬레이션 할 수 없음
• 4. (검증2)몬테카를로 방법을 적용
  • 완전 무작위 보다는 실제로 바둑 학습을 진행한 망을 사용했을 때 성능이 좋아짐
• 5. 제한시간을 대비해 빠르게, 롤아웃 정책망
  • 첫번째 정책망인 기보학습 정책망이 이 한 수를 계산하는 동안 게임을 7번 마칠 정도로 빠른 속도로 시뮬레이션
  • 중요하다고 판단 내려진 수는 더 많이 탐색
• 6. (악수 보완책1)마지막에 만든 가치망의 점수를 승리 여부에 함께 반영
  • 가치망 : 현재 국면에서 강화학습한 정책망끼리 겨뤘을 때 승리 여부를 확률로 표현한 망
• 7. (악수 보완책2)최종 결과를 '업데이트'
  • 승리했다면 승리 여부와 게임 진행 여부, 패했다면 게임 진행 여부만 업데이트
  • 승리했다면 승리한 상태부터 거슬러 올라가며 지금까지 둔 모든 수에 승리 점수 1점, 게임 진행 점수 1점 부여
  • 패했다면 게임 진행 점수만 1점
• 8.모든 수에 점수를 업데이트한 다음 마지막으로 가장 많이 진행한 수를 다음 수로 선택
  • 신뢰도 때문
  • 가장 높은 점수가 아니라 가장 많이 진행한 수를 더 신뢰하고, 이를 다음 수로 선택

신의 한 수

• 알파고가 막지 못한 이세돌이 둔 '신의 한 수'인 78수
• 해당 수에 착수할 확율을 알파고는 1만 분의 1로 매우 낮게 예측
  • 따라서 충분한 탐색 X
• 이세돌이 78수를 착수하는 순간, 충분히 탐색하지 않았던 알파고 당황
  • 어디에 두나 승리할 확률이 낮아져 엉뚱한 수 남발하며 패배

 

 

 

인간은 필요 없다

알파고 제로(AlphaGo Zero)

• 기존 알파고 : 인간 바둑기사의 기보로 학습 / 알파고 제로 : 처음부터 자신과의 대국을 통해 실력을 쌓음
• 스스로 대국을 둔 지 단 3일 만에 이세돌을 꺾고 기존의 알파고를 100대 0으로 꺾는 실력 갖춤

알파제로(Alpha Zero)

• 바둑뿐만 아니라 체스, 일본 장기 등 게임 영역 넓힌 버전
• 강력한 가지치기 알고리즘으로 트리를 확장하는 경우를 최소화해 효율성을 높인 스톡피쉬(Stockfish)를 능가

인간과 인공지능

• 이미 컴퓨터와 기술은 인간을 능가한다.
  • 인간보다 오차 없이 계산하는 계산기
  • 인간보다 빠른 자동차
• 네이트 실버(Nate Silver) : 기술을 그대로 바라보며 지나치게 기술에 의존하지도 말고, 기술에 공포를 느끼면 안된다.
• 컴퓨터에는 인간의 지혜와 능력이 담겨있으며 인간의 그림자는 언제나 함께할 것