[서평] 밑바닥부터 만들면서 배우는 LLM

특별히 인공지능 관련 부분을 개발하고 있지는 않지만 시대의 트렌드로 언제가는 관련된 부분을 개발할 거 같아 AI 관련 내용을 트렌드를 따라가는 수준에서 공부하고 있다. 그런 의미에서 LLM 관련해서 찾아보게된 서적이다. 이 서적은 코드가 요즘 AI 연구의 대세 라이브러리인 pytouch로 이루어져 있다. 딥러닝 생초보라면 바로 보기는 힘들겠지만 RNN 정도의 기본적인 이해가 이해가 있다면 pytouch 정도만 이해하면 크게 보기에 어렵지 않다.

AI 번역기의 성능이 좋아지는 현재의 흐름에 영향을 받았는지는 모르겠지만 번역 수준이 꽤 좋은 책이었다. 내용은 LLM의 기초부분 부터 미세튜닝까지 자세히 나와 있었다. 다른 부분보다 멀티 어텐션 관련 부분이 논문소개나 유튜브 강의로 이해가 잘 가지 않았는데 코드 레벨에서 이해할 수 있어서 좋았다. 뒤의 미세 튜닝 부분도 내가 특정 조직의 전용 LLM을 만든다면 도움이 될만한 내용이라 좋았다 하지만 RAG이상으로 튜닝해서 사용할지는 모르겠다.

이론과 코드를 모두 볼 수 있어서 일단은 국내 LLM 관련 기술서 중에는 가장 깊이가 있는 책인 듯 싶었다. 이 책의 진가는 책 이상으로 소스 레파지토리에 원저자가 추가해 놓은 다양한 LLM의 소스나 최신 기법을 볼 수 있다는데 있는거 같다. 소스 레포지토리의 추가된 내용 속에서 GPT외의 Llama, QWEN, GEMMA, OLMO 등의 다른 LLM의 구조나 Direct Preference Optimization 등의 책에 없는 최신 기술들을 코드 레벨에서 이해할 수 있어서 좋았다. 물론 부족한 부분도 있었지만 요즘은 책의 부족한 부분은 AI의 도움을 받거나 YOUTUBE 강의, 그것도 이해가 가지 않으면 웹검색으로 찾아서 깊게 이해하는 것이 어렵지 않다.

인공지능 더 정확히 딥러닝은 공부하다보면 이 코드에서 어떻게 저런 결과가 나올까 라는 의문점이 들때가 많다. 그래도 머신러닝은 알고리즘을 이해하면 왜 이런 결과가 나오는지 이해할 수 있었다. 딥러닝은 RNN 이전 부분은 흐릿하기는 해도 대충 이렇게 신경망이 구축되어서 이런 결과가 나오는 구나 라는 이해가 갔다. 하지만 LMM은 솔직히 여기에 나오는 기술이 무엇을 말하는지 이해하는 것은 그리 어렵지 않지만 그 코드들이 GPT나 제미나이 같은 결과를 만든다는 것이 완벽히 이해가 가지는 않았다. 그리고 상위 수준의 코드들은 그런 결과물을 만들기에는 너무 짧게 느껴졌다. 

딥러닝을 이해하는 것은 단순히 코드나 이론을 이해하는 것을 떠나서 학습을 시켜보고 결과물을 보는 과정이 필요한거 같다. 나중에 시간적 여유가 있으면 이런 부분도 좀 더 자세히 해봐야 겠다.