【ITニュース解説】100% Local AI Meets Self-Hosting: From GitHub Repo to Production Container Stack Without Cloud APIs

自己ホスティングとは、自分自身のサーバーやコンピューターを使って、ウェブサイトやアプリケーション、データを管理・運用することである。これにより、自分のデータがどこに保存され、どのように扱われるかを完全に自分で制御できるため、プライバシー保護やデータ主権の確保という大きなメリットがある。しかし、この自己ホスティングには、新しいオープンソースのツールを導入する際に多くの手間がかかるという課題があった。例えば、GitHubで公開されている便利なツールを見つけても、それを自宅のサーバーや小型のコンピューター（エッジクラスター）に導入しようとすると、Dockerfileという設定ファイルを読み解いたり、複数のソフトウェアが同じポート番号を使おうとして衝突するのを解決したり、データの保存場所のアクセス権限（パーミッション）を調整したり、DockerとPodmanといった異なるコンテナ実行環境の微妙な違いに対応したりと、非常に多くの作業が必要となる場合が多かった。これは、システムエンジニアを目指す初心者にとって特にハードルが高い作業である。

近年、OpenAIやAnthropicなどの企業が提供するクラウドベースの大規模言語モデル（LLM）は、これらのDevOps（開発と運用の連携）作業を効率化するのに役立つと期待されている。DevOps作業とは、システムの構築、設定、デプロイ（展開）など、ITインフラストラクチャを管理する一連のプロセスを指す。しかし、これらのクラウドLLMを利用する際には、根本的な矛盾が生じる。それは、自分のサーバーの構成図、内部ネットワークのIPアドレス範囲、システム設定といった機密情報を、これらの商用クラウドのAPI（アプリケーション・プログラミング・インターフェース）を通じて外部に送信する必要がある点である。これは、自己ホスティングの最大の目的であるデータ主権、つまり自分のデータを自分で管理し制御するという原則を直接的に損なってしまう行為に他ならない。自分のプライベートな情報を外部のサービスに渡すことは、自己ホスティングの根本的な利点を打ち消してしまうため、この矛盾は深刻な問題であった。

この問題を解決するために、新しいアプローチが提案された。それは、ローカルで動作するオープンウェイトの大規模言語モデルを活用するというものである。オープンウェイトモデルとは、モデルの重み（学習によって得られた知識のパラメータ）が公開されており、自分でダウンロードして利用できるAIモデルを指す。これらのモデルを、一般的なコンピューターハードウェア上で「Ollama」というツールを使って実行し、それを「NjordDeploy」というオープンソースの自己ホスティングオーケストレーターに統合したのである。NjordDeployは、エージェント（サーバーに常駐するプログラム）なしで動作し、自己ホスティング環境を効率的に管理するためのツールである。これにより、機密情報を外部に送信することなく、ローカル環境でAIの力を借りてDevOps作業を進めることが可能になる。

この新しいアプローチの有効性を検証するために、具体的な実験が行われた。インフラストラクチャ・アズ・コード（IaC）においてLLMを利用する際の最大の課題の一つは、「確率的な幻覚（ハルシネーション）」である。これは、AIモデルが実際には存在しない環境変数を作成したり、誤ったポート番号を推測したりするなど、不正確な情報を生成してしまう現象を指す。このような不正確な情報に基づいてシステムを構築してしまうと、重大な問題を引き起こす可能性がある。この問題を解決するため、厳格な「エアトラフィックコントロール（ATC）検証ルール」と、厳密なJSONスキーマ（ai_generator_rules.jsonというファイルで定義された構造の契約）が設計された。これらのルールは、AIが生成する出力に対して数学的に厳密な制約を課し、不正確な情報が入り込む余地をなくすことを目的としている。

この検証システムは、GitHub上の任意のリポジトリから、完全にオフラインのローカルネットワーク内でローカルOllamaエンジンを介して情報を取り込み、その情報がATC検証ルールによって厳密なスキーマに適合するようにチェックされ、最終的に確定的な（常に同じ結果を出す）コンテナスタック構成が生成されるという流れで動作する。この一連のプロセスでは、一切のデータが外部ネットワークに送信されることはない。実験では、標準的なデスクトップPC（Intel Core i9プロセッサ搭載）上でOllamaを使って、Meta Llama 3、Mistral、Qwen 2.5という3種類の異なるオープンウェイトモデルをベンチマーク（性能比較）した。

その結果は非常に印象的だった。厳格なスキーマの境界と、OCIイメージタグの自動検証によって制約された環境下では、すべてのモデルが完全に確定的な出力を生成したのである。具体的には、生のソースコードやREADMEファイルから、ポートの割り当て、永続的なボリュームのマウント設定、そしてJinja2の条件式（テンプレートエンジンで条件分岐などを記述するための構文）に至るまで、3つのモデルすべてが全く同じ結果を導き出した。このプロセス全体は、プライベートなローカルネットワーク内で完全にオフラインで実行されたため、クラウドサービスへのデータ漏洩は一切なかった。さらに、このソリューションは既存のAPIサブスクリプション（サービス利用料）を必要としないため、運用コストはゼロであった。この結果は、ローカルAIが自己ホスティング環境において、データの主権を損なうことなく、信頼性の高いDevOps支援を提供できる可能性を明確に示している。

NjordDeployは、過去のPiSelfhostingプロジェクトの進化版であり、より多様なLinux環境をサポートするように拡張されている。その主な機能は以下の通りである。NjordDeployは、ターゲットとなるホスト（サーバー）上に常駐するバックグラウンドプログラムや、Pythonの実行環境の余計なファイルを一切必要としない「エージェントレスSSHアーキテクチャ」を採用している。これにより、ホストのシステムをシンプルに保ち、リソースの消費を抑えることができる。また、標準的なDockerエンジンと、よりセキュリティの高いRootless Podman（ルート権限なしでコンテナを実行する方式）の両方に対してネイティブなデプロイをサポートしている。Rootless Podmanでは、ユーザーIDとグループIDの自動的な処理や、特権のない低番号ポートの利用なども自動的に行われるため、安全かつ簡単に利用できる。さらに、NjordDeployはProxmoxという仮想化プラットフォーム上で、DockerとPodman、LXC（Linuxコンテナ）とVM（仮想マシン）という4つの組み合わせすべてに対して自動化されたハイパーバイザー（仮想化ソフトウェア）によるクロス検証を行っている。ここで発生した問題の根本原因の特定には、GeminiやローカルAIが利用されており、迅速なトラブルシューティングが可能となっている。

NjordDeployは、多様なニーズに応えるために、あらかじめ設定された46以上のサービスを「キュレートされたスタック」として提供している。これには、スマートホーム向けのHome AssistantやFrigate、プライバシー保護のためのAdGuard HomeやUnbound、生産性向上のためのNextcloudやVaultwarden、そしてローカルAI環境を構築するためのOpen-WebUIとOllamaなどが含まれる。これらのサービスは、ユーザーが自分で複雑な設定を行うことなく、簡単にデプロイできるようになっている。NjordDeployプロジェクトは完全に無料で、MITライセンスの下でオープンソースとして公開されており、誰でも自由に利用、改善できる。