【ITニュース解説】A step by step guide on how to build a LLM from scratch

大規模言語モデル（LLM）の構築は、近年最も注目される技術の一つだ。私たちが普段目にするChatGPTのようなAIも、このLLMをベースにしている。しかし、その裏側でLLMがどのように動いているのか、あるいはどうやって作られているのか、詳細を知る機会は少ないかもしれない。今回紹介するニュースは、LLMを「ゼロから」作り上げるという、非常に挑戦的で教育的な取り組みについて解説している。

多くのLLMに関するガイドや開発プロジェクトでは、すでに存在する大規模なLLMを基にして、特定の目的に合わせて微調整（ファインチューニング）する方法が主流だ。これは、すでに完成している製品をカスタマイズするようなものだ。しかし、今回のプロジェクトは、部品の選定から組み立てまで、すべてを自分たちで手掛ける「スクラッチ開発」に相当する。なぜこのようなゼロからの構築が重要なのか。それは、既存のモデルが持つ「現代のバイアス」を排除し、特定の時代や文化、言語のニュアンスを真に理解するモデルを作り上げるためだ。例えば、現代のインターネットで学習したモデルは、現代の言葉遣いや知識に偏ってしまう。歴史的なテキストを理解させようとしても、現代的な解釈が混じってしまう可能性があるのだ。

このプロジェクトでは、1500年から1850年までの歴史的なロンドンのテキストを学習データとして使用した。これは、当時の人々の言葉遣いや文化的背景、時代特有の知識をLLMに直接学習させることを目的としている。具体的には、218以上の異なる歴史的な資料から、総計5億文字以上もの膨大なテキストデータを集め、処理した。これだけの量の歴史的資料を一から収集・整理するだけでも、並々ならぬ努力が必要だったことが伺える。

そして、LLMを構築する上で欠かせないのが「トークナイザー」という部分だ。トークナイザーは、人間が使う自然言語を、コンピューターが理解できる数値の列に変換する役割を担う。例えば、「こんにちは」という単語を「1001」という数値に変換するようなイメージだ。一般的なLLMでは、現代英語に対応したトークナイザーが使われるが、このプロジェクトでは1500年〜1850年の「古風な英語」に対応できるよう、完全にカスタムメイドのトークナイザーを開発した。このトークナイザーは、3万語もの独自の語彙に加え、古文に特有の表現に対応するための150以上の特殊トークンを含んでいる。これにより、当時の複雑な言い回しやスペル、文法構造を正確に解析し、モデルがより深く理解できるようになる。

このプロジェクトで構築されたLLMは、117M（1億1700万）と354M（3億5400万）という二つの異なるパラメータ数を持つモデルだ。パラメータ数とは、簡単に言えばモデルが持つ「知識の量」や「表現の複雑さ」を示す指標であり、一般的に数が多いほど高性能になる傾向がある。これら二つのモデルは、完全にゼロから訓練された。

モデルのトレーニングには、単に大量のデータを読み込ませるだけでなく、効率的かつ安定して学習を進めるための技術が必要だ。このプロジェクトでは、複数のGPU（Graphics Processing Unit）を使った並列処理に対応し、大規模な計算を高速で行えるように設計されている。GPUは、特にAIの学習において計算能力を飛躍的に向上させるための重要なハードウェアだ。また、「WandB（Weights & Biases）」というツールを統合し、学習の進捗状況を詳細に記録・可視化できるようにしている。これにより、モデルの性能向上や問題点の特定が容易になる。さらに、「チェックポイント保存」という機能も実装されており、長期間にわたる学習の途中でシステムが停止しても、その時点の状態から学習を再開できるため、無駄なく開発を進められる。これらはすべて、実際に製品レベルのLLMを開発する際に不可欠な要素だ。

最終的に、このプロジェクトで開発されたモデルは、大手AIモデル共有プラットフォームであるHugging Faceで公開されている。これは、他の開発者がこの歴史的なLLMをすぐにダウンロードして利用できることを意味し、研究や新たなアプリケーション開発に貢献するだろう。実際に、このモデルは18世紀のロンドンのテキストを非常にリアルに生成できることが確認されている。当時の日記や手紙、文学作品に出てくるような、本物らしい言葉遣いや雰囲気を持った文章を生み出すことが可能だ。

この一連の取り組みは、システムエンジニアを目指す初心者にとって、LLMの全体的な開発パイプラインを理解するための貴重な教材となる。データの前処理、カスタムトークナイザーの設計、モデルのアーキテクチャ選択、そして学習環境の構築から運用、そして公開に至るまで、LLM開発のあらゆる段階を体験し、学ぶことができる。単に既存のツールを使うだけでなく、その基盤となる技術がどのように構成されているのかを深く知ることで、より高度な問題解決能力や応用力を身につけるきっかけになるだろう。このガイドは、LLMの奥深さと可能性を示してくれるだけでなく、AI開発における真の「ものづくり」の喜びを教えてくれるに違いない。