챗GPT 기술을 밑바닥부터 고급까지 이해해보자, 책 "쉽고 빠르게 익히는 실전 LLM"

2000년~2010년 "라떼"만 하더라도 인공지능이 조금씩 HOT해지고 있었는데 그렇게까지 대중들의 관심을 끌지는 못했습니다. 생활에 직접 쓰이거나 체감되는 것이 없었기 때문이죠. 그런데 분위기가 슬슬 바뀌기 시작한 것은 "알파고"의 등장 시점부터였던 것 같습니다. 이세돌과 인공지능 "알파고"의 세기의 바둑대결은 인간만이 할 수 있는 복잡한 게임이라고 생각했던 바둑을 일개 컴퓨터가 인공의 지능을 가지고 인간에 대적해서 인간을 이길 수 있다는 놀라운 결과를 보여주었습니다.(4:1로 알파고의 최종 승리). 그이후 인공지능 분야가 떡상을 하면서 단순 자연어처리 모델, 이미지 및 영상처리 모델을 넘어서서 동물의 학습 능력을 모방하여 시행착오로부터 점점 자가학습으로 지식을 더 습득하는 "강화학습"이 인기를 끌었습니다. 

 

그리고 이후 2022년 11월 홀연히 등장한 "chatGPT"는 가히 센세이션이었습니다. 아니, 그보다 더한 충격이었습니다.

대학생 시절에나 초기 인공지능 기술을 조금 공부하다가 손을 놓고 보안 분야 업무를 하고 있던 저는 chatGPT 서비스 소식을 듣고 사용을 해보았는데, 어떤 질문을 던져도 그럴싸한 답변을 사람의 언어로 제공하는 것이 신기했습니다. 

얼마나 많은 양의 데이터를 어떤 원리로 학습했길래 질문에 대해 답변을 자연스러운 대화처럼 생성하는 것일까요?  

 

 

한빛미디어에서 "나는 리뷰어다"를 통해 신청하여 제공받은 "쉽고 빠르게 익히는 실전 LLM" 이라는 책을 통해 저는 chatGPT를 구성하는 기술들에 대한 지식을 쉽게 이해할 수 있었습니다.

 

OpenAI 사에서 발표한 생성형 AI 서비스 "chatGPT"는 이 책의 제목인 LLM(Large Language Model), 즉 대규모 언어 모델로 분류됩니다. 

 

이 책의 1장에서는 LLM을 소개하면서 LLM이 무엇이고, 동작원리와 중요성을 설명해줍니다. 그 다음 2장부터는 실습을 진행하는데 LLM을 Semantic Search(의미 기반 검색)에 사용하는 검색 시스템을 제작합니다. 특히 OpenAI의 LLM모델인 GPT3.5, GPT4 등을 사용해볼 수 있는 웹 기반 인터페이스인 "Playground"와 OpenAI의 API 등을 통해 예제 코드들을 실습해볼 수 있었습니다. 이 책에서는 GPT-3 기반의 실습이 실려있습니다.

 

3장에서는 Q/A 챗봇을 간단하게 만들면서 chatGPT를 구성하는 "프롬프트 엔지니어링"에 대해 설명합니다.

 

4장에서는 데이터셋을 사용해서 LLM에 대하여 맞춤형 파인튜닝을 통해 최적화 하는 방법을 다룹니다. 

 

이 장에서 좋았던 점은 어려운 파인튜닝 과정을 그림을 통해 도식화하여 설명을 친절하게 해주고 Amazon 제품 리뷰 모음(amazon_reviews_multi 데이터셋)을 학습하고 리뷰들에 감정 분류를 수행할 수 있도록 OpenAI의 사전 훈련된 모델을 파인튜닝을 하여 리뷰에서 주어진 별점 예측이 가능하도록 차근차근 따라갈 수 있도록 한다는 것입니다.

 

5장에서는 프롬프트 인젝션 공격, 프롬프트 스터핑을 막는 기술(입출력 유효성 검사, 프롬프트 체이닝 등)들을 소개하고 퓨샷 학습(Few-shot Learning)으로 LLM 성능을 높이는 실습 등 고급 프롬프트 기술을 다루고 있습니다.

 

6장에서는 Kaggle에 있는 "MyAnimeList 2020" 데이터셋을 활용한 추천 시스템 제작 실습을 통해 임베딩과 모델 아키텍처를 맞춤화하는 방법을 설명합니다. 그이후 장에서는 고급 기술들과 함께 프로덕션 환경에 배포하는 내용에 대해서도 다루고 있습니다.

 

또한 책의 뒤 부록에서는 LLM 과 관련한 용어 해설과 LLM 애플리케이션 개발 고려사항, 자주 묻는 질문(FAQ) 도 담고 있어 이해를 돕고 있습니다.

 

이 책 제목 일부인 "쉽고 빠르게 익히는" 이라기에는 LLM 자체의 용어 원리 등이 난이도가 좀 있는 기술들이라 마냥 이해하기 쉬운 책은 아니었습니다. 그런데 이 책의 제목인 "실전" LLM에서 "실전"에 맞게 실제 데이터를 통한 다양한 실습 예제들을 독자들이 직접 해볼 수 있어 진득하게 시간을 들여 따라가면 LLM을 깊이 이해하는 데 제격인 책이지 않을까 싶습니다. (저도 다 읽어보고 실습을 다시 하나하나 따라가고 있는 중입니다 :-))

 

책이 얇지만 챕터별 내용과 실습이 알차게 들어가 있어 독학으로도 괜찮고, 강의나 그룹 스터디 용도로도 괜찮다는 생각도 들었습니다. 

 

자연어처리의 혁신이 된 LLM 모델을 깊이 이해할 수 있는 고마운 책이었습니다.

 

* 이 책은 한빛미디어 "나는 리뷰어다"를 통해 제공받았으며, 솔직하게 작성한 후기입니다.