【ITニュース解説】Build, Run, Chat: Creating a Self-Hosted LLM Setup

自己ホスト型大規模言語モデル（LLM）の構築方法について解説する。近年、クラウドサービスに頼らず、自身のコンピューター上でLLMを動かす「自己ホスト型LLM」は、開発者や研究者、小規模チームにとって現実的な選択肢となった。これは、Llama 3、Mistral、Gemmaのようなモデルを自分のシステムで直接実行できることを意味する。この方法には主に三つの大きな利点がある。一つ目は、機密性の高いデータでも外部に漏れることなくプライバシーが保護されること。二つ目は、クラウドAPIの利用料によるコスト増大を避けられること。そして三つ目は、自分の好みに合わせて実行環境を自由にカスタマイズできる柔軟性である。

現代のツールは、この自己ホスト型LLMのセットアッププロセスを大幅に簡素化した。以前は専門的なDevOpsの知識が不可欠だったが、現在はDocker、Ollama、Open WebUIといったツールを使えば、初心者でも数ステップでChatGPTのようなローカルAI環境を構築できる。

まず、なぜ自己ホスト型LLMを選択するのか、その主な理由を挙げる。最も重要なのは「プライバシーと制御」だ。全ての処理が自身のマシンやサーバー内で完結するため、機密性の高いデータも安全に扱える。次に「コスト効率」。クラウドベースのAPIは一見安価に見えるが、利用量が増えるにつれて費用が予想以上に膨らむことがある。自己ホスト型であれば、初期のハードウェア投資後は、モデル推論にトークンあたりの追加費用が発生しないため、長期的に見ればコスト削減につながる可能性がある。そして「柔軟性」も特筆すべき点である。自己ホスト型環境では、様々なモデルを簡単に切り替えたり、複数のモデルを同時に実行したりできる。特定のタスクのためにモデルを微調整したり、既存のワークフローにLLMを直接組み込んだりすることも自由自在だ。

この自己ホスト型セットアップを始めるための前提条件はそれほど厳しくない。必要な「ハードウェア」として、比較的小規模なモデルであるLlama 3Bのようなものであれば、8GBのRAMを搭載したマシンでも動作する。しかし、より大きなモデルの場合は40GB以上のRAMが必要となる場合がある。GPU（グラフィックス処理ユニット）があると処理速度が大幅に向上するが、必須ではない。特に小さなモデルであればCPUだけでも動作させることが可能だ。次に「ソフトウェア」だが、必須となるのはDockerのみである。Dockerはアプリケーションとその実行に必要なものを全て一つにまとめた「コンテナ」として動作させるためのツールで、これを使うことで、様々な依存関係が自身のシステムに散らかることなく、クリーンな環境でアプリケーションを実行できる。

それでは、具体的なセットアップ手順を説明する。

最初のステップはDockerのインストールだ。docker.comにアクセスし、自身のオペレーティングシステムに合わせたDocker Desktopをダウンロードする。インストーラーを実行し、指示に従って進めれば簡単にインストールが完了する。インストールが完了したら、コマンドラインでdocker --versionと入力してDockerが正しく動作しているか確認できる。また、Dockerの設定で、スムーズな動作のために最低でも8GBのRAMと複数のCPUコアを割り当てておくことが推奨される。

二番目のステップは、Docker内でOllamaを実行することだ。OllamaはLLMの管理を非常に容易にするツールである。以下のコマンドを実行することで、Ollamaをコンテナとしてバックグラウンドで起動できる。 docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama このコマンドは、Ollamaがモデルデータを永続的に保存するためのボリュームを設定し、OllamaのAPIをポート11434で外部に公開し、ollamaという名前でコンテナをバックグラウンドで実行する。docker psコマンドを使って、Ollamaコンテナが実際に動作していることを確認できる。

三番目のステップは、モデルをダウンロードすることだ。Ollamaが稼働していれば、モデルのダウンロードは簡単である。例えば、Llama 3Bをダウンロードするには、以下のコマンドをOllamaコンテナ内で実行する。 docker exec -it ollama ollama pull llama3.2:3b このコマンドにより、約2GBのLlama 3Bモデルがダウンロードされる。慣れてきたら、約4.7GBのLlama 8Bや、約40GBのLlama 70Bといった、より大規模なモデルも試すことができる。

四番目のステップは、Open WebUIを使ってチャットインターフェースを追加することだ。コマンドラインだけでLLMと対話するのは便利ではないため、Open WebUIのようなブラウザベースのインターフェースを用意する。以下のコマンドでOpen WebUIを起動する。 docker run -d -p 3000:8080 \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui --restart always \ ghcr.io/open-webui/open-webui:main このコマンドはOpen WebUIをバックグラウンドで起動し、ポート3000でアクセス可能にする。--add-host=host.docker.internal:host-gatewayは、Open WebUIコンテナからOllamaコンテナにアクセスするための設定であり、-v open-webui:/app/backend/dataはOpen WebUIのデータを永続化するためのボリューム設定である。コンテナが起動したら、Webブラウザでhttp://localhost:3000にアクセスし、管理者アカウントを作成する。その後、チャット形式のインターフェースが表示され、ドロップダウンメニューからダウンロードしたLLMを選択して対話を始めることができる。

このセットアップは基本的にローカルマシン上での利用を想定しているが、チームメンバーや共同作業者がリモートからアクセスしたい場合もあるだろう。そのような時には、Pinggyのようなツールが役立つ。Pinggyを使えば、ルーターの設定を変更することなく、ローカルのインターフェースを安全に公開できる。以下のシンプルなコマンドを実行するだけで、一時的な公開HTTPSリンクが生成され、これを共有したり、不要になったらいつでも取り消したりできる。 ssh -p 443 -R0:localhost:3000 free.pinggy.io このコマンドを実行すると、https://abc123.pinggy.linkのような公開HTTPS URLが表示され、これを他の人と共有することで、自分のローカル環境で動作しているOpen WebUIにアクセスさせることが可能になる。

ここまでで、ローカルで完全に機能するLLMと、モダンなウェブインターフェースが構築できたことになる。ここからさらにできることはたくさんある。例えば、Mistralのような推論に優れたモデルや、CodeLlamaのようなプログラミング特化型モデルなど、さまざまなモデルを試すことができる。特定の業務に特化したタスクのためにモデルを微調整したり、OllamaのAPIを他のアプリケーションに接続して自動化を実現したりすることも可能だ。このアプローチの素晴らしい点はその柔軟性にある。最初は小規模なセットアップから始め、必要に応じてより大きなモデルに切り替えたり、複数のコンテナを実行したり、専用のハードウェアにデプロイしたりと、自由に規模を拡大していける。

かつてLLMの自己ホストは、AI研究機関のような専門家向けの複雑なプロジェクトであった。しかし、OllamaやOpen WebUIといったコンテナ化されたツールが登場したことで、今ではほとんど誰にでも手の届くものになった。少しの時間と探究心があれば、自分だけのプライベートなAI環境を構築できる。この環境は、利用者のニーズと共に成長し、大規模な利用ではコストを節約し、そして何よりも大切なデータを自身の管理下に置くことを可能にする。