【ITニュース解説】富士通、「生成AI再構成技術」で同社LLM「Takane」を強化

近年、ChatGPTをはじめとする生成AI、特に大規模言語モデル（LLM）が社会に大きな影響を与えている。これらのAIは、人間のように自然な文章を生成したり、複雑な質問に答えたりする能力を持つが、その背後では膨大な計算処理が行われている。LLMは、その性能を高めるために巨大なモデルサイズと多数のパラメータを持つことが一般的であり、これが高い計算コスト、つまり多大な電力消費と高性能なハードウェアを要求する原因となっている。このコストは、多くの企業が生成AIを自社のサービスに導入する際の大きな障壁となっていた。富士通が発表した「生成AI再構成技術」は、この根本的な課題を解決し、高性能なLLMをより効率的に利用可能にするための新しいアプローチである。

LLMの計算コストを削減する手法の一つに「量子化」という技術がある。これは、モデル内部で計算に使われる数値の精度を意図的に下げることで、処理を高速化し、メモリ使用量を削減する技術だ。コンピュータ内部では、数値は「ビット」という単位で表現される。例えば、32ビット浮動小数点数で表現されているモデルのパラメータを、より情報量の少ない8ビット整数などに変換するのが量子化である。これにより、モデル全体のデータサイズが小さくなり、計算に必要なハードウェアの負荷が軽減され、結果として推論速度が向上する。しかし、この量子化には大きなデメリットが存在する。それは、数値の精度を落とすことで、元々のモデルが持っていた性能、つまり回答の正確さや文章の自然さが損なわれてしまう「精度劣化」という問題である。高速化と引き換えにAIの賢さが失われてしまうため、両立は非常に難しい課題とされてきた。

富士通が開発した「生成AI再構成技術」は、この「量子化による精度劣化」を最小限に抑えながら、高速化を実現する画期的な手法である。この技術は、大きく分けて三つのステップで構成されている。第一のステップは「知識の蒸留（ナレッジ・ディスティレーション）」だ。これは、非常に高性能で巨大な「教師モデル」の振る舞いを、より小規模で軽量な「生徒モデル」に学習させる技術である。教師モデルが特定の入力に対してどのような出力をするかを生徒モデルに真似させることで、生徒モデルは教師モデルが持つ高度な知識や応答パターンを効率的に受け継ぐことができる。これにより、モデルの規模を縮小しつつも、元の性能を可能な限り維持することが可能になる。第二のステップは、この生徒モデルのアーキテクチャを「混合エキスパート（Mixture of Experts, MoE）」モデルへと再構成することだ。MoEモデルとは、モデル内部に特定の分野やタスクに特化した複数の専門家（エキスパート）ネットワークを持つ構造である。入力されたデータの内容に応じて、最も適したエキスパートだけが選択的に動作するため、モデル全体のパラメータを一度に動かす必要がない。これにより、計算リソースを非常に効率的に利用でき、さらなる高速化が期待できる。富士通は、知識を蒸留した生徒モデルを、この効率的なMoE構造に作り変えることで、性能と効率の両立を図った。最後の第三ステップとして、この再構成されたモデルに対して量子化を適用する。知識の蒸留とMoE化によって、モデルの構造が量子化による精度劣化の影響を受けにくい形に最適化されているため、従来のモデルに直接量子化を適用した場合と比較して、性能の低下を大幅に抑制することに成功した。

この技術を富士通独自のLLM「Takane」に適用した結果、量子化前のモデルと比較して精度維持率は89%を達成しつつ、推論速度は3倍に向上した。これは、AIの賢さをほとんど損なうことなく、応答速度を劇的に改善できたことを意味する。この成果は、企業が生成AIを導入・運用する上で非常に大きな意味を持つ。例えば、企業が自社固有のデータや業務マニュアルをAIに学習させる「ファインチューニング」を行う際、従来は多大な時間と計算コストがかかっていた。しかし、この技術を用いれば、より軽量で高速なモデルを基盤にできるため、ファインチューニングのプロセス全体を効率化し、コストを大幅に削減できる。また、クラウド上の高性能なサーバーだけでなく、企業内のサーバー（オンプレミス環境）や、将来的にはより身近なデバイス上でも高性能なLLMを動作させられる可能性が広がる。これは、セキュリティの観点からデータを外部に出したくない企業や、リアルタイム性が求められるアプリケーションにとって大きなメリットとなる。富士通のこの技術は、生成AIの社会実装を加速させ、より多くの人々や企業がその恩恵を受けられるようにするための重要な一歩と言えるだろう。システムエンジニアを目指す者にとっても、AIモデルの理論的な性能だけでなく、それをいかに現実世界の制約の中で効率的に動作させるかという実装面の技術が、今後ますます重要になることを示唆している。