【ITニュース解説】How to Fine-Tune an LLM with Unsloth Studio

大規模言語モデル（LLM）は、インターネット上の膨大なテキストデータから学習した、非常に高性能なAIだ。しかし、これらは学習時点までの情報しか持たないため、最新の出来事や特定の専門分野の知識、あるいは特定の話し方を学習させるためには追加の工夫が必要となる。そのための主要な二つの方法が「RAG（Retrieval-Augmented Generation）」と「ファインチューニング」である。

RAGは、質問が来たときに、外部のデータベースやドキュメントから関連情報を探し出し、その情報をLLMへの入力に含めて回答を生成させる手法だ。これは、LLMに直接新しい知識を「教え込む」のではなく、質問のたびに「参照資料を渡す」イメージに近い。例えば、「2026年FIFAワールドカップの優勝国は？」という質問に対し、RAGはワールドカップの最新情報をまとめた資料から答えを探し、それをLLMに提供して回答させる。モデルの内部は変化しないため、常に最新の情報を提供できる利点があるが、参照資料がないと答えられないという制約もある。

一方、ファインチューニングは、LLM自体を特定の新しいデータで再学習させるプロセスを指す。これにより、モデルの内部構造（「重み」と呼ばれる、モデルが学習したパターンや知識を数値化したもの）が更新され、新しい情報、振る舞い、または特定のスタイルがモデルの一部となる。つまり、質問のたびに情報を与えるのではなく、モデル自身がその知識を持つようになるということだ。今回の記事では、このファインチューニングを「Unsloth Studio」というツールを使って行う方法を解説する。

ファインチューニングを始めるには、まず「データセット」と呼ばれる学習データを用意する必要がある。このデータは、モデルに新しく学ばせたい情報や対話の形式を反映させたものでなければならない。記事の例では、2026年FIFAワールドカップに関する事実をまとめたPDFを作成し、それを利用している。重要なのは、データソースから得た情報に「ノイズ」（学習の邪魔になる不要な情報や誤った情報）が含まれていないかを確認し、必要に応じて手作業でクリーンアップすることだ。ノイズが多いデータをそのまま学習させると、モデルもノイズを学習してしまい、正確な回答ができなくなる可能性がある。

データが準備できたら、次にそのデータをLLMが学習しやすい「ChatMLフォーマット」という会話形式のデータに変換する。これは、一連の会話のやり取りをJSON形式で記述したものだ。具体的には、まず「system」という役割でAIの振る舞いや前提条件を設定し、次に「user」という役割でユーザーの質問や指示、そして「assistant」という役割でAIの応答を記述する。これらが複数セット連なることで、一連の会話履歴を表現する。

記事では、このChatML形式のデータセットを作成するために、ClaudeやChatGPTのような別のLLMを利用する方法と、Unsloth Studioが提供する「Data Recipes」という機能を利用する方法を紹介している。Unsloth StudioのData Recipesを使う場合、特定の「プロンプト」と「レスポンススキーマ」を定義する。プロンプトは、AIに対してどのような会話を生成してほしいかを指示する文章であり、例えば「2026年FIFAワールドカップに詳しいアシスタントとして、与えられた情報からユーザーの質問に正確に二往復の会話で答えてください」といった内容になる。レスポンススキーマは、AIが生成するJSONデータの構造を具体的に定義するもので、{"role": "system", "content": "..."}といった形で、どのようなキーと値を持つべきかを指定する。

このデータ生成のステップでは、利用するLLMの選択も重要となる。記事では、JSON配列を正確に生成できる「unsloth/Qwen2.5-Coder-3B-Instruct-GGUF」モデルが推奨されている。これは、特定の形式での出力を得意とするモデルが存在することを示唆している。別のモデル「unsloth/gemma-4-E2B-it-GGUF」ではJSON配列の出力がうまくできなかったとあり、モデルによって得意不得意があることがわかる。

データセットの準備が完了したら、次にファインチューニングの土台となる「ベースモデル」を選ぶ。ベースモデルとは、すでに広範なデータで訓練されているが、まだ特定のタスクや話し方に特化していないLLMのことだ。記事では、「unsloth/Llama-3.1-8B-Instruct」というモデルが選ばれている。このモデルを選んだ理由は二つある。一つは、8.6GBというGPUメモリ使用量が筆者のPC（Apple Siliconの32GBユニファイドメモリ）で十分に動作すること。もう一つは、このモデルが最初から会話形式のやり取りに適した「チャットテンプレート」を内蔵している「Instructモデル」であることだ。

「ベースモデル」と「Instructモデル」の違いは、ファインチューニングにおいて非常に重要だ。ベースモデルは、テキストを次の単語を予測するような、より汎用的な目的で訓練されているため、そのままでは人間との自然な会話には向いていない。会話形式のファインチューニングを行う場合は、別途チャットテンプレート（会話の開始、ユーザーの発言、AIの発言などを区別するための形式）を自分で作成する必要がある。一方、Instructモデルは、最初からユーザーの指示（Instruction）に従って応答するように訓練されており、チャットテンプレートも組み込まれているため、会話形式のファインチューニングを簡単に行える。Unsloth Studioでは、現状、ベースモデル用のチャットテンプレートの手動作成はサポートされていないため、Instructモデルの選択がスムーズなファインチューニングの鍵となる。

最後に、ファインチューニングの学習プロセスを制御する「ハイパーパラメータ」を設定する。ハイパーパラメータとは、モデルの学習速度や学習の深さなどを調整するための設定値であり、これらの値を適切に設定することで、より良い学習結果が得られる。特に重要な設定の一つが「eval_steps」だ。これを設定しないと、モデルが学習データにどれだけフィットしているか（「訓練損失」）はわかるが、新しい未見のデータに対してどれだけ汎用的な性能を発揮するか（「評価損失」）がわからない。記事ではeval_stepsを0.1に設定しており、これは訓練プロセスの10%ごとに評価が実行されることを意味する。

この評価損失のグラフを観察することで、モデルが適切に学習しているかを判断できる。 もし評価損失のグラフが平坦で一向に下がらない場合、それは「アンダーフィッティング」の状態にあることを示す。モデルがデータセットのパターンを十分に学習できていない、つまり「理解不足」の状態だ。 逆に、評価損失のグラフが一度下がった後に再び上昇し始める場合、それは「オーバーフィッティング」の状態にあることを示す。モデルが訓練データを「暗記」してしまい、新しいデータに対する汎用的な対応能力を失っている状態だ。 理想的な状態は、訓練損失と評価損失のグラフがともにスムーズに下降していくことである。これは、モデルが訓練データから効率的にパターンを学習し、かつ新しいデータに対してもその知識を応用できる、つまり汎用的な学習が進んでいることを意味する。

これらのステップを経て、LLMは特定の新しい情報や会話スタイルを習得し、より専門的で用途に特化したAIへと進化する。これはシステムエンジニアが特定の要件に合わせてソフトウェアをカスタマイズするのと同様に、LLMを特定の目的に合わせて最適化する重要なプロセスである。