👩🏻‍🏫 AI 서비스기획 - AI의 이해

Part1. AI 서비스기획 기초_CH02. AI의 이해

 

 

01. 인공지능이란 무엇인가

AI란?

사람과 함께 협업하여 귀찮은 일을 대신 해주는 것

AI는 완전 무결하다.(?)

- but, 학습 데이터가 모자라서 AI가 다른 데이터를 끌어와 거짓말을 하는 경우가 있음

- 무결해질 때까지 학습을 시키는 것

실제 AI모델을 구축할 때는 어린아이에게 알려주듯 하나씩 알려줘야 한다.

데이터 분류기, 패턴 예측기

- 원인 결과를 따지는 것 보다는, 패턴을 학습하여 새로운 데이터를 패턴으로 판단함

수학적 분석에 기반한 결과도출

판단 기준이 되는 데이터가 매우 중요하다

- 데이터의 질과 양이 확보되어야 함

- 좋지 않은 데이터로 학습하면, 절대 좋은 결과를 얻을 수 없음

 

 

인공지능의 역사

1세대 인공지능

짧은 시간내 암호해독, 정보탕색, 추론

- 계산기 처럼 사용

- ex. 튜링머신

2세대 인공지능

인간의 뇌구조 모방, 자주 사용되는 정보 연결 강화

- 시냅스와 시냅스 사이의 연결하는 것 처럼, 퍼셉트론이라는 로드를 연결

- 자주 사용하지 않는 것은 예외처리

- ex. 머신러닝

3세대 인공지능

데이터를 통해서 기계 스스로 정보연결 구조 개선, 특징 도출 및 판단

-  스스로 학습하기 때문에 사람이 관여하는 비중이 많이 줄어듦

- but, 비용이 기하급수적으로 증가(데이터를 많이 넣어야 함)

- ex. 딥러닝

 

 

 

통일화

모든 언어와 정보를 숫자로 변환(백터화/Vertorization)

 

 

 

 

인공지능 = 데이터 = 숫자정보(벡터화) 분류

출처 : 패스트캠퍼스

- 패턴 학습할 때에는 특장 차이가 클 때 효과적이다.

 

 

 

 

 

 

---

 

 

 

 

 

 

02. AI 기초 개념 및 용어

 

 

출처 : 패스트캠퍼스

학습 순서 : 문자 데이터 → 사진 데이터 → 영상 데이터

 

문자 : 백터화(숫자화) 정보를 처리

- 문자는 데이터 처리 효율이 가장 높음. 비용도 저렴하고, 시간도 덜 걸리는 편

 

사진 : 데이터를 활용하여 문자에 대응하는 사진의 시각적 특징 추출

- 학습 비용이 문자보다는 상대적으로 높음

 

영상 : 프레임 단위로 구분

- 1초 단위로 구분하여 영상을 사진으로 변환

- 영상을 활용하는 것은 매우 어려운 과제이고, 비용도 가장 높음(따라서, CCTV와 같은 특수한 경우에만 사용)

 

백터화를 통해 영어로 학습된 AI 모델을 다른언어 모델에서도 활용할 수 있음

한국어 질문 →[백터 처리→백터 결과 추론]→질문 언어로 결과 출력

공학적 난제

- AI 정보는 모두 데이터 센터에 저장됨

- 데이터 센터에 근무하는 클라우드와 커뮤니케이션이 되어야 함

방대한 AI처리를 위해 4개의 파트가 유기적으로 연결되어 있는 하드웨어 구조

 

 

 

 

AI 서비스 데이터 처리과정

CPU(Central Processing Unit 중앙 처리 장치)

- 데이터베이스 처리의 강점 때문에 AI센터에서 서용

GPU(Graphic Processing Unit 그래픽처리장치)

- 많은 데이터 계산을 동시에 처리할 수 있기에 AI센터의 핵심

FPGA(Field Programmable Gate Away 네트워크 반도체)

- 회로 변경이 가능한 반도체

- AI센터의 네트워크 상황에 따라서 특화하여 사용

- 네트워크 변동과 병목현상을 컨트롤

Network

- 외부 네트워크 : 고객으로 부터 온 질문 답변 출력

- 내부 네트워크 : 내부에서 찾아야 하는 방대한 저장 데이터, 추가 필요한 정보

 

 

 

 

AI 학습 범위에 따른 분류

ANI (Artificial Narrow Intelligence)

- 전세계의 언어와 데이터를 처리하면 비용이 올라기 때문에 사용

- 특정 하나의 분야에서 사용되는 AI

- 학습 데이터의 범위가 줄어듦으로, 학습 시간과 비용이 줄어듬

- ex. 챗봇 고객센터

AGI (Artificial General Intelligence)

- 다양한 분야에서 제한없이 사용할 수 있는 AI

- 학습 데이터의 범위가 넓으므로, 학습 시간과 비용이 높아짐

- 윤리적인 문제도 고려해야함(윤리적으로 어긋난 답변을 하지 않도록)

- ex. Chat GPT

ASI (Artificail Super Intelligence)

- 모든 분야에서 사람의 지적능력을 초월하는 AI

 

 

 

 

 

 

---

 

 

 

 

 

 

03. 머신러닝과 딥러닝

 

1세대 인공지능(조건문)

- 데이터를 하나의 선으로 구분

- 분류 기준을 사람이 계속 "예외 처리"해야한다는 한계 존재

 

2세대 인공지능(머신러닝)

- 주어진 데이터에서 구분 기준을 자동 추가

- 다층 퍼셉트론(인간의 뇌구조-시냅스와 비슷한 패턴)

- 학습 데이터를 보고 출력값이 올바르게 나올 때까지 학습데이터 수정과 인공신경망 학습

- 문제와 정답을 명확히 지정할 수 있는 경우에 사용해야함

- 학습데이터는 80%, 검증데이터는20%의 비율

머신러닝 순서

- 1. 전체 데이터 중 가장 목적에 부합하는 데이터 20% 선별 후 검증 데이터로 할당

- 2. 전체 데이터에서 검증 데이터를 제외한 나머지 데이터 80%를 학습 데이터로 할당

*데이터를 균일하게 정리하여 학습-검증 데이터의 숫자를 균일하게 배정해야함(많은 데이터가 있는 곳으로 평준됨)

 

3세대 인공지능(딥러닝)

- 사람의 개입없이 컴퓨터가 자동으로 데이터 특징을 찾고, 구분 기준을 자동 추가

딥러닝 순서

- 1. 데이터를 넣어주면 데이터 특징을 추출하여 분류 군집화

- 2. 자동으로 무작위 학습/검증 데이터를 지정하여 AI모델 평가

- *정답이 복잡하고 모호한 비정형 문제에 많이 사용됨

- but, 시간과 비용이 많이 든다.

파라미터

- 데이터를 판단하는 특징값의 숫자

- 숫자가 많은 것도 중요하지만 유기적으로 연결되어 골고루 사용되는 것이 중요

 

 

 

 

 

---

 

 

 

 

 

04. AI모델의 종류

언어모델(Language Model)

- 앞 뒤 단어의 확률값을 계산해서 추정

- 모든 언어를 벡터화(숫자화)하여서 언어의 의미를 파악하고 출력

확률 추정값

- P(사건)의 형태로 나타내며, 사건의 P(provability)로 해석

- ex. 기계번역 : P80%(나는 버스를 탔다) > P10%(나는 버스를 태운다)

- ex. 오타교정 : P90%(사무실로 달려갔다) > P2%(사무실로 잘려갔다)

- ex. 음성인식 : P1%(나는 메롱을 먹는다 < P98%(나는 멜론을 먹는다)

 

NLP(Natural Language Processing)

- 자연어를 처리하는 전체 과정 및 기술

NLU(Natural Language Understanding)

- 자연어를 이해하고 판단하는 과정 및 기술

NLG(Natural Language Generation)

- 적절한 자연어 답변을 생성하는 과정 및 기술

- 생성하는 답변이 윤리적 문제가 없는지, 편향된 답변은 없는지 검수하는 것

 

 

 

 

지식 그래프 모델(Knowledge Graph)

- 개별 객체 간의 연관성 관계를 통해서 추론과 유추

- 관련된 정보를 모두 연관 그래프화

- 어떤 질문이 와도 자연스럽게 답변하기 위해 연관관계를 찾아 답변함

 

 

의사결정 트리와 랜덤 포레스트

응용분야

- 금융(A라는 상품이 어떻게 추천되었는지), 의료(어떤 CT를 썼는지), 마케팅 등

- 결과의 해석이 중요한 경우에 특히 유용함

 

의사결정 트리 모델

- 트리 구조로 이루어진 단순 분류 모델

- 토너먼트 형식으로 데이터가 비교되는 방식

- 한계 : 데이터 특성에 따라 과적합 문제가 발생할 수 있어 주의 필요

 

랜덤 포레스트 모델

- 앙상블(무작위 섞음)하여 과적합 문제 성능을 향상시킨 모델

-  복잡한 데이터셋에서 강력한 성능 발휘 가능

 

 

 

SVM(서포트 벡터 머신) 모델

응용분야

- 이미지 인식, 패턴 인식, 이상 탐지 문제(데이터가 갑자기 팍 튈 때) 등

원리

- 데이터 간의 최대 마진을 찾아 선형 분류(데이터를 선하나로 구분)

- 고차원 특징 공간에서 선형 분류기 학습을 통해 복잡한 문제도 해결 가능

특징

- 소량의 데이터에서도 효과적으로 작동

- 고차원 데이터에 강점

 

 

 

 

KNN(K-최근접 이웃)알고리즘 모델

원리

- 입력 데이터와 가장 유사한 K개의 이웃을 찾아 분류

- ex.) K값이 3일 때, 근처에 있는 데이터 3개를 묶어 군집을 잡아 같은 데이터로 판단함

특징

- 구현이 간단함

- 새로운 데이터에 대해 빠르게 예측 가능

- 데이터 분포와 특성에 따라 성능이 크게 영향 받음

 

 

 

 

AI신경망 기술

DNN(심층 신경망) 모델

구조

- 여러개의 은닉층을 가지는 인공 신경망 모델

- 입력층, 여러 은닉층, 출력층으로 구성되며 각 층은 다수의 뉴런으로 이루어짐

- 판단할 데이터가 많아질 수록 은닉층이 많아짐

학습과정

- 먼저 정방향대로 진행, 데이터 출력값 오답일 경우엔 역전파 하여 다시 학습

- 입력 데이터가 네트워크를 통과하면서 가중치가 조정되어 목표 출력과의 오차를 최소화

특징

- 복잡한 비선형 문제 해경 가능

- 단점 : 많은 데이터와 계산 자원 필요

 

CNN(합성곱 신경망) 모델

구조

- 이미지 처리에 특화된 DNN모델

- 주요 구성 요소로 합성곱 층, 풀링 층, 완정 연결 층이 존재

풀링층

- 데이터의 특징값을 미리 뽑아내는 곳

- 많은 데이터에서 공통적인 특징이 있다면 풀링층에서 다른층으로 보내고, 아니라면 특징값만 가지고 있으며 데이터의 크기를 줄임

- 모델의 계산 효율성과 일반화 성능 향상

 

RNN(순환 신경망) 모델

- 시퀀스 데이터 처리에 특화된 DNN모델

- 이전 출력이 현재 입력에 영향을 미치는 순환 구조

- 때문에, 말이 길어질 수록 뒤에 나오는 단어를 추측하는 정확도가 낮아진다.

 

LSTM(장단기 메모리) 모델

- 장기 의존성 문제를 해결하기 위해 순환 처리하는 정보의 양 조절

- 전체를 추정하지 않고, 몇개의 단어로 문맥을 추정하여 답변(자연스러움)

 

GAN(적대적 생성 신경망) 모델

구조

- 생성자와 판별자 두개의 신경망으로 구성됨

- 생성자 : 가짜 데이터 생성

- 판별자 : 가짜와 진짜 데이터를 구분하며 학습

- 서로 경쟁하며 학습

- 생성자는 점점 더 실제와 유사한 데이터를 생성

- 판별자는 더 정확한 구분을 위해 분류 특징 세분화

특징

- GAN은 실제 데이터와 구분하기 어려운 고품질의 생성 결과물

- AI가 두개다 보니깐 학습비용이 두배로 든다는 단점..💸

 

Transformer 모델

- Self-Attention 기술과 Attention 기술 두가지에 기반하고 있음

과정

- 입력 시퀀스 : 텍스트가 들어오면 토큰화(쪼개기)하여 임베딩된 데이터를 모델에 입력

- 어텐션 계산 : 각 토큰간의 연관성 계산하여 스코어 생성

- 컨텍스트 벡터 생성 : 스코어를 바탕으로 컨텍스트 벡터 생성

- 출력 생성 

인코더-디코더 구조

- 인코더 : 인코더는 입력 시퀀스를 백터화하여 의미와 컨텍스트 중 중요한 것 파악

- 디코더 : 인커더의 출력을 바탕으로 본래의 의미를 추측(자기회귀적 생성)

 

RAG(검색 증강 생성) 모델

- 응답을 생성하기 전 신뢰할 수 있는 지식을 먼저 검색하여 답변 결과를 개선하는 기술

- 대화 맥락을 이해하고 관련 정보를 검색하여 적절한 응답 생성

지식 베이스 검색 기능

- 대화 내용에 맞는 관련 정보를 지식 베이스에서 검색하고 활용

- 대화 내용의 정확성과 정보성을 확보할 수 있음

인코더-디코더 구조

- 인코더 : 대화 내용 이해

- 디코더 : 지식베이스 정보를 활용하여 답변 생성

지식베이스 통합

- 위키피디아 등 대규모 지식베이스와 통합

- 다양한 주제에 대한 정보를 활용할 수 있도록 사내 정보시스템과 연계

 

RLHF(인간 피드백 강화학습) 모델

- AI가 조금 더 자연스럽게 만드는 모델

- 챗GPT의 답변에 좋아요/싫어요 버튼(싫어요 누르면 해당 답변과 비슷한 방식의 답변 피함)

- 인간 피드백 값도 벡터화 되어 결과에 추가되어 더 현실적인 답변을 생성