【ITニュース解説】(3/4) LLM: Inside the Transformer

大規模言語モデル（LLM）の基盤技術であるTransformerは、自然言語処理の分野に革命をもたらした。このTransformerは、その全体構造が常に必要とされるわけではなく、用途に応じてエンコーダー部分とデコーダー部分を使い分けることで、様々なモデルが生み出されてきた。

まず、Transformerのエンコーダーのみを使用するモデルがある。最も有名なのがBERTだ。BERTのようなエンコーダーのみのモデルは、テキストを深く理解し、その意味を数値のベクトル（埋め込み）として表現するのに優れている。これは、テキストの内容を分類するタスク、例えばレビューが肯定的か否定的かを判断したり、文中に人名が含まれるかを検出したりするのに適している。エンコーダーは文章全体を双方向に分析し、豊かな文脈情報を反映した表現を作り出すため、これを分類器と組み合わせることで高い精度を発揮する。しかし、BERTは次の単語を予測して文章を生成する能力は持たない。訓練は、マスクされた単語を予測する「マスク言語モデル」として行われる。

次に、デコーダーのみを使用するモデルがある。GPTシリーズ（GPT-2, GPT-3, ChatGPT, GPT-4など）やLaMDA、PaLM、LLaMA、Claudeといった今日の主要なLLMがこれに該当する。これらのモデルは、与えられたテキストの続きを生成すること、すなわち「次の単語を予測する」という純粋な言語モデルのタスクに特化している。入力されたテキストをデコーダーに与え、デコーダーはそれに基づいて次の単語を予測し、その予測された単語が再び入力として戻されることで、文章が次々と自動的に生成されていく。これが、デコーダーのみのモデルが大規模なテキスト生成エンジンとしてスケールする最も直接的でシンプルな方法である。

エンコーダーとデコーダーの両方を使用する完全なTransformer構造を持つモデルも存在する。T5やBARTなどがその例である。これらのモデルは、翻訳や要約のように、特定の入力から特定の出力を生成する変換タスクにおいて強力な性能を発揮する。

歴史的に見ると、初期の自然言語処理タスクは分類が中心だったため、エンコーダーのみのBERTが先に大きな注目を集めた。デコーダーのみのモデルは当初、「意味不明なテキストを生成する」ものと見なされることもあった。しかし、モデルの規模が拡大するにつれて、デコーダーのみのモデルは驚異的なテキスト生成能力を発揮し始めた。分類タスクでさえ、「このレビューは…[肯定的/否定的]です」のように生成タスクとして再定義できることが分かり、結果としてデコーダーのみのLLMが現在の主流となった。

Transformerの成功の鍵は、「Self-Attention（自己注意）」というメカニズムにある。TransformerがRNNsなどの旧来のモデルを置き換えた最大の理由もここにある。Attentionという概念は、元々はRNNベースのモデルで導入されたもので、デコーダーが単語を生成する際に、入力文のどの部分に注目すべきかを動的に調整する仕組みだった。「私は昨日学校へ行きました」という日本語を英語に翻訳する際、「行きました」を訳すときには日本語の「行きました」という単語に強く注目するといった具合である。

Self-Attentionは、さらに進化した概念だ。これは、一つの文の中で、各単語がその文中の他のどの単語に注目すべきかをモデル自身が判断する仕組みである。「動物は疲れすぎていたので、通りを渡らなかった」という文では、「それ(it)」が「動物(animal)」に強く関連しつつ、「疲れていた(tired)」にも関連するとモデルが理解できるようになる。この能力が、言語モデルにとって非常に強力である。例えば、「道の脇に咲く花が…」という文で「咲いた」を予測する際には「花」に最も高い重みを置き、時制を判断する際には「昨日」のような単語に強く注目する、といったことがモデルによって自動的に学習される。

さらに、Transformerは「Multi-Head Self-Attention（マルチヘッド自己注意）」を採用している。言語には、主語と動詞の関係のような文法的な関係、単語の意味的な関係、修飾語と被修飾語の関係など、複数の種類の関係性がある。一つのAttentionの仕組みだけでは、これらの多様な関係性を一度に捉えるのは難しい。そこで、Multi-Head Self-Attentionでは、複数の異なる「視点」を持つAttentionの仕組みを並行して実行する。これにより、モデルは文中の単語間の様々な種類の関係性（文法、意味、スタイルなど）を同時に、より詳細に捉えることができるようになる。これは、Transformerが従来のモデルを凌駕した主要な理由の一つである。

LLMの性能を語る際、「1750億パラメータ」や「5400億パラメータ」といった数字がよく聞かれる。これはモデル内の重みの数、つまりパラメータの数を指す。パラメータ数が多いほど、モデルの学習容量が大きいとされるため、「モデルが大きいほど性能が良い」という単純化された見方がされることもある。しかし、モデルの実際の性能は、訓練に使用されたデータの量と質、ハイパーパラメータの調整、訓練期間と深度など、多くの要因によって決まる。パラメータ数は分かりやすい指標ではあるが、それだけでモデルの品質を判断するのは注意が必要である。

大規模言語モデルが今日の形になったのは、以下の3つの要素が同時に飛躍的な進化を遂げたからである。

第一に、データだ。ウェブ上から収集された膨大な量のテキストデータと、それに加えて人間によるラベル付けなしでモデルが自律的に学習できる「自己教師あり学習」の技術が組み合わさることで、モデルを訓練するための莫大な量の高品質な素材が手に入った。

第二に、アルゴリズムだ。Transformerアーキテクチャ、特にその核となるSelf-Attentionメカニズムが、過去のRNNsなどのモデルが抱えていた長文処理の限界を克服し、大規模なモデルでも効率的に学習できる道を開いた。

第三に、計算能力だ。GPUやTPUといった並列計算に特化したハードウェアの劇的な進化、これらを数百・数千台と連携させて一つのモデルを訓練する並列学習技術、そしてAWSやAzure、GCPといったクラウドインフラストラクチャが、これらの巨大なモデルを実際に訓練するための莫大な計算リソースを現実的なコストで利用可能にした。

これらデータ、アルゴリズム、計算能力という三つの要素が、それぞれ単独で進歩しただけでなく、同時に発展し、ある瞬間に「クリック」することで、LLMはかつて想像もできなかったような能力を持つモデルとして、突如として登場したかのように感じられるようになった。実際には、何年にもわたる研究と開発の積み重ねが、この時代の変化を可能にしたのである。