[독서광] 스케일링 시대

오늘은 인사이트 출판사에서 보내주신 스케일링 시대 - 스케일링 법칙이 AGI의 탄생으로 이어질 것인가를 읽고 정리한 독후감을 올려드린다. 이 책의 제목이 스케일링 시대(Scaling Era)라는 사실을 눈여겨볼 필요가 있다. 더 크고 더 많은 자원을 때려부으면 이해하기 어렵지만 뭔가 신비한 일이 일어날 것 같은 느낌이 들지 않는가? 이 책은 LLM의 현재 상황과 향후 발전 방향을 놓고 현업의 최정상에 서 있는 사람들이 어떤 전망을 하고 있으며 또한 어떤 우려를 하고 있는지 다양한 각도에서 조망한다.

언론을 통해 제한된 정보만 얻는 일반 사람들과는 달리 이 책에서 인터뷰에 응한 다리오 아모데이, 일리야 수츠케버, 데미스 하사비스, 마크 저커버그 등 유명한 사람들은 정보에 대한 접근 권한과 범위의 수준이 확실히 다르지만, 기존 주류 언론과 인터뷰를 하거나 세미나에서 발표할 때는 아무래도 자기가 하고 싶은 이야기보다 회사의 이익을 극대화하는 방향을 이야기할 수 밖에 없다(즉, 립서비스를 하지 않을 수 없다는 말이다). 하지만, 이 책의 저자인 드와르케시 파텔은 때로는 반대 의견을 강하게 제시하고 때로는 독자(청자)를 대신해서 궁금한 사안을 정확하게 찔러보면서 사람들의 속내를 드러내도록 유도하고 있다. 이 책의 가장 흥미로운 지점이 아닐까 싶다.

이 책이 LLM과 빅테크의 장미빛 청사진만 강조했거나 아니면 AI가 모든 사람을 실업자로 만들고 전쟁을 지휘한다는 암울한 지구 멸망 시나리오만 읋었다면 바로 덮었을 것이다. 하지만, 이 책은 피상적이고 자가 발전적인 담론으로 그치는 대신에 상당히 전문적인 관점에서 접근한다. 스케일링, 이벨, 내부, 안전, 투입, 영향, 폭발, 타임라인이라는 큰 주제를 놓고 각각 클수록 좋은 이유(스케일링), LLM으로 무엇을 할 수 있고 이를 어떻게 알 수 있는지(이벨), 모델 내부에서 어떤 일이 일어나고 있는지(내부), 사람보다 똑똑한 무언가를 어떻게 통제할 수 있는지(안전), AGI에 들어가는 비용은 얼마이고 누가 그 돈을 대는지(투입), 현재 일어나는 일과 앞으로 발생할 일은 무엇인지(영향), 만일 지능이 재귀적으로 더 나은 지능을 만들면 어떻게 될지(폭발), 언제 일반 인공 지능(AGI)에 도달하는지(타임라인)을 해당 분야의 전문가들과 인터뷰 식으로 풀어내고 있기에 LLM을 중심으로 인공 지능의 명과 암을 제대로 파악하게 만들어준다. 또한 뒤에 부록으로 실린 에세이(쓰디쓴 교훈, 스케일링 가설, 스케일링은 작동할 것인가, 트랜스포머의 폭넓은 성공에 대하여)도 좋았다.

이 책의 컷오프 시점은 2024년 11월이라고 서문에서 밝히고 있다. 이 책을 읽는 도중에 오픈AI는 자사 에이전트의 공격과 연관된 허깅페이스 침해 사고에 대한 보고서를 올렸고, 젠슨 황은 자신의 트위터에서 "AGI has arrived. Congratulations @OpenAI team."이라는 트윗을 올려서 GPT-6 아스트라의 발표를 축하했고, 엔비디아는 허깅페이스를 인수한다고 공식 발표했다. 이 글을 작성하는 동안에도 시계 추는 멈추지 않았기에 오픈AI는 나비에-스토크스 방정식에서 물리적으로 실현될 수 없는 결과가 나오는 사례를 찾았다며 난제 해결을 발표했고 과학계에 논란을 촉발했다. 그 만큼 AI 기술 분야에서는 어제와 오늘과 내일이 다르기 때문에 이 책의 시의성에 대해 물음표가 뜰 수도 있겠지만 오히려 2024년 말에 예측한 내용과 2026년 3분기에 일어난 일을 맞춰보는 재미가 쏠쏠했다. 이 책 2판이 나온다면 인터뷰한 사람들을 다시 불러 모아서 어떤 예측이 맞았고 어떤 예측이 틀렸는지를 정리해보면 어떨까하고 상상의 나래를 잠깐 펼쳐봤다. 책을 읽으면서 계속 현재 상황에 대입해보고 있었는데, 기술 분야의 발전 속도가 걷잡을 수 없을 정도로 변화무쌍한 상황에서 초점을 어디에 맞춰야할지 알려주는 길라잡이로서 이 책은 나름 충실하다는 생각이 든다.

한 줄 요약: AI 기술이 흘러가는 방향성과 놓치면 안 되는 핵심 포인트를 어떻게 잡아야할지 궁금하신 분들께 강력하게 추천한다. 현란하고 빠른 편집 덕분에(응?) 보고 나서도 뭘 봤는지 기억도 잘 나지 않는 유튜브나 묻는 질문에만 확증편항적(?)으로 답하는 챗GPT에서 얻기 어려운 통찰을 얻을 수 있을 것이다.

EOB