【ITニュース解説】(2/4) LLM: Data, Transformers, and Relentless Compute

大規模言語モデル（LLM）とは、通常の言語モデルが持つ機能を大幅にスケールアップさせたものである。このLLMの実現には、膨大な訓練データ、効率的なアルゴリズム、そして圧倒的な計算能力という三つの要素が不可欠だった。これらの要素は、機械学習がディープラーニングへと進化する過程でも重要な役割を果たしており、今日のLLMの発展も同じ基盤の上に成り立っている。

機械学習モデルの性能を高めるには大量のデータが必須であり、その収集と正確なラベル付けは常に大きな課題だった。しかし、言語モデルの訓練においては、「自己教師あり学習」という革新的な手法がこの問題を解決した。これは、人間が手作業でラベル付けを行う代わりに、与えられた生テキストデータ自体から自動的に訓練例を生成する仕組みである。例えば、「私は昨日学校へ行った」という文があれば、「私」から「は」を予測する、あるいは「私は昨日学校へ」から「行った」を予測するといった訓練データを、テキストから自動で生成できる。このアプローチにより、手作業によるラベル付けに伴う時間的・金銭的コストが排除され、データ収集のスケーラビリティが飛躍的に向上した。

データ量においても、インターネットの普及が状況を一変させた。かつては数MBから数GB程度の小規模なテキストデータセットしか利用できなかったが、ウェブは本質的にテキストが中心であり、その規模は計り知れないほど大きい。Common Crawlのようなプロジェクトは、インターネット上の膨大なテキストデータを収集し、テラバイト級の規模で無料で公開している。これらのウェブスケールデータは、自己教師あり学習と組み合わされることで、LLMの訓練に必要な膨大な燃料を供給することを可能にした。手作業によるラベル付けが不要な自己教師あり学習と、インターネットが提供する巨大なデータ源が融合したことで、MB単位だったデータセットがTB単位へと膨れ上がり、今日のGPTやLLaMAといった大規模言語モデルの基盤が築かれたのである。

しかし、膨大なデータがあっても、それを効率的に学習するための優れたアルゴリズムがなければ意味がない。そこで登場したのが、現代AIの主役ともいえるTransformerである。2017年にGoogleが発表したこのTransformerは、現在稼働しているほぼ全てのLLMの根幹をなすアーキテクチャである。その強力さを理解するには、まずSequence-to-Sequence（seq2seq）モデルという基本的な概念を把握する必要がある。

シーケンスとは、順序を持った要素の並びのことであり、自然言語処理の分野では単語の並び、すなわち文が主な対象となる。seq2seqモデルは、あるシーケンス（入力文）を別のシーケンス（出力文）に変換することを指す。最も分かりやすい例は翻訳で、「日本語の文」を「英語の文」に変換する。翻訳の他にも、長いテキストを短くする要約、テキストの感情を「肯定的」や「否定的」として出力する感情分析など、多くの自然言語処理タスクがseq2seqとして捉えることができる。この考え方により、seq2seqは自然言語処理の汎用的な手法として確立された。

seq2seqモデルは、入力シーケンスを一旦、抽象的な中間表現に変換し、その中間表現から出力シーケンスを生成するという二段階のプロセスで動作する。この変換プロセスは、エンコードとデコードと呼ばれる。エンコードは、入力テキストの情報を抽出し、機械が理解できる「隠れた表現」（latent vector）と呼ばれる数値の集合に変換する。これは、情報を異なる形式に圧縮するようなものだ。次にデコードは、その隠れた表現を受け取り、目標とする言語や形式で新しいテキストを生成する。この隠れた表現は人間が理解できる言語ではないが、入力テキストの「意味」を抽象的に捉えたものだと考えることができる。機械学習モデルは、多数の入力と出力のペアを学習することで、このエンコードとデコードの変換規則を自律的に習得するのである。Transformerは、このエンコード・デコード構造を非常に巧妙に実装したモデルであり、これまでのseq2seqモデルの中で最も優れた性能を発揮することが示されている。

Transformerは、入力された文を処理するエンコーダスタックと、その情報を元に出力文を生成するデコーダスタックという二つの主要な部分から構成されている。まず、入力文は左側のエンコーダスタックへと渡され、いくつかのエンコーダブロックを通過する過程で、その文脈に応じた「コンテキスト表現」へと徐々に変換されていく。このコンテキスト表現は、入力文の抽象化された意味を表す情報である。次に、このコンテキスト表現は右側のデコーダスタックに送られ、出力文の生成を導く。デコーダは、次にくる可能性のある単語それぞれについて確率を出力し、最も確率の高い単語を選択して文を構築していく。例えば、1万語の語彙の中から次にくる単語を予測する場合、デコーダは各単語に0から1の間の確率値を割り当て、「went」のような特定の単語に非常に高い確率を与えることで、その単語が次の単語として適切であると示す。

エンコーダとデコーダの内部は、それぞれ複数のブロックが積み重ねられた構造になっている。一つのエンコーダブロックの出力が次のエンコーダブロックの入力となり、最終的なブロックの出力がエンコーダ全体のコンテキスト表現となる。デコーダも同様に複数のデコーダブロックが積み重ねられている。このような「深い」層構造は、ニューラルネットワークの表現能力を高め、より複雑なパターンや関係性を学習することを可能にするため、性能向上の鍵となる。しかし、モデルの規模を大きくし層を深くすることは、それに比例して訓練や推論に必要な計算資源（GPU/TPUの性能やメモリ量）を大幅に増加させるという代償も伴う。十分なデータがなければ、モデルが大きくなっても性能が低下する可能性もある。

TransformerがLLMを可能にした理由の中心には、言語モデル（LM）の基本的なタスク、すなわち「これまでのテキストに基づいて次の単語を予測する」という仕事との完全な合致がある。Transformerのデコーダは、まさにこのタスクを実行するために設計されている。例えば、「私は昨日学校へ行った」という韓国語の文を英語に翻訳する場合、エンコーダはこの韓国語の文を隠れたコンテキスト表現に変換する。デコーダは、このコンテキスト表現と、これまでに自身が生成した単語（最初は文の開始を示す特殊なトークン）を組み合わせながら、一単語ずつ次の単語を予測し、出力していく。

このプロセスは自己回帰的と呼ばれ、デコーダが一度「I」を予測したら、次は「Context + I」から「went」を予測し、その次に「Context + I went」から「to」を予測するといった形で、自身の過去の出力を次の入力として利用しながら、順次単語を生成していく。この「単語を一つずつ生成する」「過去の予測を次の予測の入力とする」という二つの特徴は、言語モデルが次の単語を予測するという本質的な機能と完全に一致する。そのため、Transformerのデコーダ部分は、そのメカニズム自体が言語モデルの核となる動作と同期しており、これがTransformerが今日のLLMの驚異的な能力を支える主要な理由なのである。