【ITニュース解説】AI - Weights

AIモデルは、現代のITシステムにおいて重要な役割を果たす技術だが、その実体は多くの初心者にとって漠然としたものかもしれない。まず、モデルとは何かという点から解説する。モデルは、通常、ファイルやフォルダとしてコンピュータ上に存在するが、単独で存在するだけでは何もしない。それはアプリケーションとは異なり、特定のタスクを実行するために、他の要素と組み合わされて初めて機能する。

このモデルが「学習済みモデル」と呼ばれるとき、それは主に三つの重要な構成要素から成り立っている。一つ目は「Weights（重み）」、二つ目は「Config（設定）」、そして三つ目は「Tokenizer（トークナイザー）」である。

Weightsとは、モデルが膨大なデータを学習する過程で獲得した「知識」を数値化したものである。これは文字通り数十億もの数値の集まりであり、モデルが特定の入力を受け取った際に、どのような出力を行うべきかを決定する根幹をなす。しかし、これらの数値にはそれ自体に命令は含まれておらず、ただの巨大な数値グリッドとして安全なコンテナに格納されている。

Configは、モデルの「設計図」や「取扱説明書」にあたる部分だ。これは小さなファイルで、モデルの内部アーキテクチャ、つまりWeightsの数値がどのように配置され、情報がどの層から次の層へと流れるか、その計算の仕方や構造を記述している。Configがあることで、Weightsという数値の羅列が意味のある情報処理のネットワークとして機能する。

Tokenizerは、人間が理解できるテキストと、モデルが内部で処理する数値的な表現の間を翻訳する役割を担う。具体的には、与えられた文章を意味のある小さな塊、つまり「トークン」に分割する。これらのトークンは、それぞれ固有のID番号に変換され、さらに「ベクトル」と呼ばれる数値の配列に変換される。モデルはこのベクトル化された数値を基に数学的な計算を行い、次の予測されるベクトルの値を算出する。その結果のベクトルは再びID番号、トークンへと変換され、最終的に人間が読めるテキストとして出力される。このTokenizerの変換ルールは、Weightsが学習された方法と密接に一致している必要がある。モデルは、入力された情報に基づいて、一度に一つのトークンを予測しながら、最終的な文章を生成していく。

つまり、AIモデルの本当の姿は、Weights、Config、そしてTokenizerが一体となったものであり、これらが揃って初めて「モデル」として成立する。しかし、これだけではまだ動かない。実際にモデルを動かすためには、「ランタイム」と呼ばれる実行環境（例えば、transformers、vLLM Engine、llama.cpp、Ollamaなどのライブラリやエンジン）と、計算処理を行うための「ハードウェア」（特にGPU）が必要となる。これらが組み合わさることで、モデルは実用的なシステムとして機能を開始する。

実際のオフィス環境などでは、NVIDIA GPU Cloud（NGC Catalog）のようなプラットフォームから、GPUに最適化されたソフトウェアや学習済みモデルが提供される。モデルはダウンロードされ、システムのストレージに配置される。モデル自体は、当初は数十億もの空白の数学的方程式からなるネットワークであり、それだけでは思考も読み書きもできない「空の数学的機械」だ。ここに、モデルWeightsという10ギガバイトを超えることもある事前計算された精密な小数点以下の数値が挿入される。ユーザーがプロンプトを入力すると、システムはその入力された言葉をこれらのWeightの数値と数学的に掛け合わせる。これにより、データはモデルのネットワーク内を数学的に経路をたどり、計算結果として正確な単語が生成され、回答としてユーザーに提示される。

大規模言語モデル（LLM）には、ChatGPTやClaudeのような企業が開発し提供する「プライベートモデル」と、Llama、Mistral、Deepseek、Qwenのようなコミュニティによって開発され、公開されている「オープンソースモデル」の二種類がある。オープンソースモデルの場合、その中核である「Model Weights」がバイナリファイルやpickleファイルといった形式で公開されることが一般的だ。これらの公開されたWeightsは「Open Weights」と呼ばれる。モデルが公開される際には、そのモデルがどのような種類のデータで学習されたかを示す「Data Card」や、学習・推論のためのコードベース、そして利用規約を示す「License」も一緒に提供される。

Hugging Faceは、このようなオープンソースモデルを集約し、開発者や研究者が共有・利用できる一般的なリポジトリとして広く活用されている。もし特定の目的に合わせてモデルの性能をさらに向上させたい場合、「ファインチューニング」という手法を用いることができる。これにはUnslothやTransformerといったツールが利用される。ここで出てくるpickleファイルは、Pythonの組み込みモジュールによって生成されるバイナリファイル形式で、複雑なPythonオブジェクトやデータ構造を保存したり転送したりするために使用される。モデルのWeightsも、しばしばこのpickleファイル形式で提供されることがある。