Retrieval Augement Generation(RAG)란?

강의 출처 : Inflearn-RAG를 활용한 LLM Application개발 (feat. LangChain)

---

Retrieval Augement Generation(RAG)

LLM어플리케이션 개발에서 중요한 개념

• LLM(Large Language Model)등장 전 NLP에서부터 사용됨
• Retrieval : 검색
• Augument : 증강
• Generation : 생성

 

Retrieval

• 데이터를 가져오는 것
• 구체적으로는 "컴퓨터 시스템에 저장된 자료를 취득하는 것"
• 백터스토어에서 필요로 하는 데이터를 잘 가져오는 것
• 언어모델이 가지고 있지 않은 정보를 가져오는 것
  • why? : 언어모델이 아웃픗을 만드는데 필요한 정보를 제공하기 위해
  • 언어모델이 답변 생성을 위한 모든 정보를 가지고 있지 않음
    • 예를들어, 보안이 걸려있는 사내 자료는 오픈되어 있지 않으니 정보를 제공해주는 것

Augemented

• AR/VR에 사용되는 것과 같은 단어
• 마치 사실인 것 처럼 보이게 함
• Retrieval된 데이터를 LLM에게 주며, '마치 이 정보를 아는 것 처럼'

Generation

- RAG는 이미 알고 있는 것 처럼 '답변을 생성해줌'

 

 

RAG

• 답변 생성 : LLM의 역할
• 개발자 : 데이터를 잘 가져와야함
  • 잘 가져오는 법 : 잘 저장하하기
  • 프롬프트 잘 활용해야함
    • 데이터를 잘 가져오더라도 
    • 문맥을 어떻게 제공할 것인지가 중요
    • 방대한 양을 어디에 넣을 것인지 중요 → 잘 가져오더라도 제대로 전달하지 못하면 LLM이 올바른 답변을 줒 못함
      • 랭체인이 이런 것을 잘 해결해주어 훨씬 효율적으로 개발 가능👇🏻
     

랭체인이 rag할 땐 이 프롬포트가 제일 괜찮다는 제안을 해줌

 

 

 

 

---

 

 

 

Vector Database와 Embedding Model 성능 비교

Vector Database

• 사용자가 원하는 정보를 토대로 답변을 생성해야함
  • 사용자의 질문과 관련있는 데이터 필요(챗봇 case)
    • 연관성을 판단하는 기준 : vector를 활용
      • 단어 또는 문장의 유사도를 파악해서 관련성 측정
• Vector생성 방법
  • Open AI의 Embedding모델을 활용하여 생성
  • HOW to make Embedding model? → 문장에서 비슷한 단어가 자주 붙어있는 것을 학습

Embedding Projector 임베딩 모델을 활용해 단어들이 Vecor화된 모습

• Embedding모델을 활용해 생성된 Vecor를 저장
  • 단순히 Vector만 저장하면 안되고 metadata도 같이 저장
  • 문서의 이름, 페이지 번호 등등을 같이 저장하여 할루씨네이션(환각)을 대비하여 출처를 같이 답변해줌으로 솔루션 답변의 퀄리티를 상승시킴
• Vector를 대상으로 유사도 검색 실시
  • 사용자의 질문과 가장 비슷한 문서를 가져오는 것 : Retrieval
    
    • 이번 수업에선 소득세법 RAG의 knowledge base로 활용 예정
    • 문서 전체를 활용하면 속도 저하 및 토큰 수 추과로 답변 생성 안될 수 있음 → 청킹이 중요!
      • 공식 문서에선 42k 토큰에서 Split해서 저장(청킹)
  • 가져온 문서를 prompt를 통해 LLM제공 : Augumented
  • LLM은 prompt를 활용해서 답변 생성 : Generation
  • upstage ai : 무료로 30불 크래딧 줘서 임베딩 테스트해보기 좋음

1.API키를 복사

 

2. 코드에 api key api 삽입

 

3. 임베딩 탭 → 파이썬 코드 그대로 복사

 

 

4. 붙여넣기

 

5. API키를 넣고, 밑에 부분 삭제

6. 확인하고 싶은 단어를 input에 입력하고 유사도 비교해보면 됨