【ITニュース解説】LLM Fine-tuning with LoRA: A Practical Guide for Developers

大規模言語モデル（LLM）は、ChatGPTのような高度なAIサービスを実現する核となる技術であり、膨大な情報を学習して人間のような自然な文章を生成する能力を持つ。しかし、このような巨大なモデルを特定のタスクや専門分野に合わせて調整する「ファインチューニング」は、これまで非常に高いハードルがあった。高性能なGPUを大量に用意し、それらを運用するためのインフラ構築にも多大な時間とコストが必要だったため、限られた組織でしか実現できなかったのが実情だ。

この状況を一変させたのが、LoRA（Low-Rank Adaptation）という画期的な技術だ。LoRAの登場により、もともと数十億もの学習パラメータを持つ大規模なLLMでも、一台の一般的なGPUとわずか数時間の作業で、特定の目的に特化させることが可能になった。この技術の最大の強みは、モデルの「ほとんどの部分」を触ることなく、ごく一部の小さな変更を加えるだけで、その振る舞いを大きく変えられる点にある。

LoRAの内部動作は、大規模言語モデルを構成する「重み行列」という多数の数値の集まりに着目している。これらの重み行列は、モデルが情報を処理し、学習した知識やルールを適用する際の基盤となる。従来のファインチューニングでは、これらの重み行列の全てを更新しようとするため、膨大な計算資源が必要となり、また、モデルがそれまでに学習した重要な情報を忘れてしまう「破滅的忘却」という問題が起こる可能性もあった。

LoRAは、このアプローチとは全く異なる。元の重み行列Wを直接変更するのではなく、Wと同じ大きさを持つ「差分」を学習する。この差分は、二つの小さな行列AとBを掛け合わせることで作り出される。つまり、LoRAが実際に学習するのは、このAとBというごく少数の行列だけであり、元の重み行列Wは固定されたまま変更されない。モデルが情報を処理する際には、この学習された差分（AとBの積）が元の重みWに一時的に加算される形で計算が行われるため、モデル全体の振る舞いが変化する。

この「差分」を構成する行列AとBのサイズは、「ランクr」と呼ばれる値によって制御される。例えば、ランクrを小さい値（記事では8が推奨されている）に設定すると、学習されるパラメータの数は劇的に減少する。元の重み行列が数百万ものパラメータを持つ場合でも、LoRAで学習するパラメータは数万程度にまで圧縮され、これは元のパラメータ数の250分の1に相当するような大幅な削減だ。ごく一部のパラメータだけを学習すればよいため、訓練にかかる時間、必要なメモリ量（VRAM）、そして最終的に保存されるアダプターファイルのサイズも大幅に削減されるという利点がある。具体的には、訓練時間はフルファインチューニングに比べて3～5倍速くなり、70億パラメータを持つモデルで80GB必要だったVRAMが、LoRAと4ビット量子化を組み合わせることで約12GBで済むようになる。また、学習後に生成されるアダプターファイルのサイズも、数十MBから数百MB程度と非常に小さく抑えられる。

LoRAには得意なことと苦手なことがある。LoRAは、モデルが「どのように」応答するか、すなわち、文章のトーン、出力の形式、特定の分野で使われる専門用語、あるいは指示に対する応答のスタイルといった「振る舞い」を変えることに非常に優れている。例えば、企業内の特定の書式に合わせた文書を作成させたり、特定のプログラミング言語でのコード生成をより自然にしたりするのに適している。一方で、LoRAはモデルに「新しい事実」を覚えさせることには向いていない。例えば、最新の出来事や、特定の企業が開発した新製品に関する詳細情報など、モデルがこれまでに学習していない根本的な新しい知識を注入するようなタスクでは、期待するような効果は得にくい。そのような場合は、「検索拡張生成（RAG）」と呼ばれる、外部の知識源から情報を取得して応答を生成する別の技術の方が高い性能を発揮する。

LoRAを使ったファインチューニングは、peftというライブラリを利用することで比較的簡単に行える。まず、ベースとなる大規模言語モデルと、文章をコンピュータが処理できる形式に変換する「トークナイザー」を読み込む。次に、LoRAの設定を行うためのLoraConfigという設定オブジェクトを作成し、先ほど説明した「ランクr」の値や、どの部分の重み行列にLoRAの調整を適用するか（target_modules）などを指定する。load_in_4bit=Trueという設定を使うと、「QLoRA」という技術が有効になり、ベースモデル自体を4ビットという少ない情報量で表現することで、さらにVRAMの使用量を削減できる。設定が終わったら、訓練データを準備し、モデルが学習しやすいように、指示と応答のペアの形でトークン化する。そして、訓練の進め方を指定するTrainingArgumentsを設定し、最後にTrainerというツールを使って訓練を開始する。

ファインチューニングを成功させる上で、訓練データの品質は極めて重要だ。LoRAは、驚くほど少ないデータ量で効果を発揮するが、そのデータは「クリーンで、モデルに学習させたい振る舞いを正確に表している」必要がある。例えば、500～2000程度の高品質な指示と応答のペアは、10,000ものノイズが多く不正確なデータよりも、はるかに良い結果をもたらすことがある。訓練データは、JSONL形式で、「instruction」（指示）と「output」（応答）というフィールドを持つように整形することが推奨される。

訓練データに関するよくある失敗例もいくつかある。例えば、データの中に品質の悪い例が混在している場合、モデルは誤った出力をしてしまうようになる。また、出力の長さが極端に短いものと長いものが混在していると、モデルは出力の長さをランダムに調整しようとしてしまうことがある。Webからデータを収集する際に、HTMLタグやマークダウンの記号、システムのプロンプトなどが残ってしまうと、モデルがそれらを不必要な情報として学習してしまう可能性もある。トークン化の際の設定ミスも重要で、例えば、特定のモデルでパディングトークンが正しく設定されていないと、エラーが出ずに訓練が進んでも、実は重要な情報が切り捨てられているといった問題が起こり得る。訓練を始める前には、必ずデータのトークン長がどのくらいになるかを事前に確認し、設定した最大長を超えていないか確認することが大切だ。

LoRAによる訓練が完了すると、「アダプター」と呼ばれる小さなファイルが生成される。このアダプターは、ベースモデルに対する変更点のみを記録したものだ。訓練後には、このアダプターを独立した状態で維持するか、ベースモデルに完全に「マージ」するかの二つの選択肢がある。アダプターを分離したままにしておくと、その後の修正やテストを素早く行え、ファイルサイズも小さいため管理しやすいという利点がある。また、一つのベースモデルに対して複数の異なるアダプターを用意し、用途に応じて切り替えることで、メモリの使用量を抑えながら多様な専門モデルを運用できる。一方、アダプターをベースモデルにマージすると、完全に一体化したモデルとなり、推論時のパフォーマンスが向上し、通常のHugging Faceモデルと同様に簡単にデプロイできるようになる。

しかし、LoRAが常に最適な選択肢とは限らない状況も存在する。モデルに「新しい事実」を覚えさせたい場合は、LoRAよりも「検索拡張生成（RAG）」の方がはるかに適している。LoRAはモデルの振る舞いを調整するものであり、知識そのものを追加することは得意ではないからだ。また、訓練データが100例未満のような非常に少ない場合も、LoRAはモデルを汎用的にするのではなく、単にデータを丸暗記させてしまう傾向があるため、より少ない労力でより良い結果を得られる「Few-shotプロンプティング」のような手法の方が効果的だ。さらに、まだ学習がほとんど進んでいない「生の」事前学習済みベースモデルを使う場合も、直接ファインチューニングするよりも、最初から指示に従うように調整されたベースモデル（例：Llama-3-Instruct）を使う方が効率的だ。

特に注意が必要なのは、安全性が非常に重視されるシステムにLoRAをデプロイする場合だ。LoRAファインチューニングによって、ベースモデルに組み込まれている安全対策やガードレールが意図せず損なわれる可能性がある。そのため、デプロイ前には、モデルの安全性を徹底的に評価するテスト、いわゆる「レッドチームプロンプト」を用いた攻撃的なテストを必ず実施し、問題がないことを確認する必要がある。

結論として、LoRAは大規模言語モデルのファインチューニングを実用的で手の届きやすいものにした画期的な技術だ。成功の鍵は、指示に従うように調整されたベースモデルを起点とし、500～1000程度の高品質な訓練データを準備することだ。訓練は、適切な「ランクr」や「lora_alpha」といったパラメータを設定して行う。そして最も重要なのは、訓練中に損失が減少するからといって、すぐにモデルが期待通りに動作すると決めつけないことだ。損失の減少は、モデルが訓練データを予測する能力が向上していることを示すだけで、実際のビジネス要件やユーザーのニーズを満たしているとは限らない。そのため、必ず実際の利用シナリオを想定したテストを行い、モデルの振る舞いが目標と一致しているかを慎重に検証することが、LoRAを成功させるための必須条件となる。