초거대(생성형)AI 이해 및 활용과정(2/4)

👩🏻‍🏫강의&워크샵

초거대(생성형)AI 이해 및 활용과정(2/4)

happi sini 2025. 7. 2. 18:00

활용툴 : Anaconda / Colab(런타임 유형 T4 GPU) / Github / Jupiter / Open AI-API(15$결제)

자료 github : Generative_AI_4Days

필요 선수지식 : 머신러닝/딥러닝 소개 및 학습을 위한 파이썬 속성 과정

GPT 탐색

- 일반 유저들이 커스텀한 GPT

- 현재는 무료지만 추후 유료화 하여 앱스토어와 같이 발전될 가능성이 있음(지금 많이 만들어보며 연구하는 것이 좋음)

- Sora : 동영상 만들어줌

프로그램 내부에서 API Key 환경 설정 방법

- pip install --upgrade openai

- API key설정(Mac OS)

-- 터미널 열기

-- Bash 프로필 편집

--- nano ~/.bash_profile 또는(최신 MacOS 버전의 경우) nano ~/.zshrc

-- 환경 변수 추가 : 편집기에서 이 텍스트 추가(export OPENAI_API)_KEY='your-api-here')

OpenAI API 주요 컴포넌트

OpenAI Models

- 추론 모델 (o3, o4-mini)

-- 입력 프롬프트를 분석하기 위해 내부적인 사고의 사슬을 생성하며, 복잡한 작업과 다단계 계획을 이해하는 데 탁월

-- 일반적으로 GPT 모델보다 속도가 느리고 사용 비용이 더 많이 발생

- GPT 모델

-- 빠르고 비용 효율적이며 지능적이지만, 작업 수행 방법에 대한 보다 명확한 지침을 제공하는 것이 유리함

--큰 모델은 프롬프트를 이해하고 여러 도메인에서 문제를 해결하는 데 더 효과적인 반면, 작은 모델(mini, nano)은 일반적으로 더 빠르고 사용하기 저렴

실습 Text Generation and Prompts

- Responses / Chat Comloetions API사용

구조화된 출력(Structured Outputs)

- JSON스키마를 준수하는 응답을 보장

- 구조화된 출력의 주요 이점

-- 잘못된 형식의 응답을 수동으로 검증하거나 재시도할 필요 없음.

-- 모델의 거부 응답을 프로그래밍 방식으로 감지 가능

-- 응답 형식을 일관되게 유지하기 위해 강한 문장을 사용할 필요 없음

- 구조화된 출력은 두가지 방식으로 사용할 수 있음

-- 응답형식(Response Format)

-- 함수 호출(Function Calling)

→ how to 구조화되게 출력할까?

- 파이썬의 Pydantic활용

Pydantic활용

- 파이썬에서 정확한 데이터 구조를 정의하고, 잘못된 데이터를 자동으로 잡아주는 라이브러리 도구

- JSON데이터를 Python객체로 변환하는 데 유용

- Pydantiic.BaseModel의 역할

-- 데이터 유효성 검사: 입력 값이 올바른 형식인지 확인

실습_구조화된 출력(Structured Outputs)

체인 오브 소트(Chain of Thought, COT) 기반 수학 문제 풀이

- 지식 전달 직업(교사)는 점점 AI에게 일자리를 뺏길 수 있다. AI가 못하는 인성 교육이 동반되어야 한다.

PDF텍스트 추출&논문 데이터 구조화 하기전 ! PyMuPDF를 설치해준다.

PDF텍스트 추출&논문 데이터 구조화 완료. 맨 밑에 json. 을 추가하여 json형식으로 변형함

실습-함수호출 Function Call

- 함수 호출 단계

-- 1. 함수 정보와 함께 LLM모델 호출

-- 2. 모델이 함수 호출을 결정-함수명과 argument 반환

-- 3. 함수 호출-모델이 만들어준 argument이용

-- 4. 함수 호출 결과를 모델에 제공

-- 5. 모델이 최종 응답 생성

- 꿀팁) Gmail-설정-전달 및 POP/IMAP → 다른 사람에게 이메일을 파이썬 프로그램으로 보낼 수 있음. 이 실습은 이메일을 연결했다고 가정만 하고 진행됨(개인정보 우려)

실습-Conversation State관리

(대화 상태 수동 관리 - chat.completions API)하하 진짜 웃기다..~