【ITニュース解説】How I Built a Local AI Agent Stack for $0/month (Hermes + Windmill + NVIDIA + Groq)

ニュース記事は、AIエージェントシステムを月額費用ゼロで自分のパソコン上に構築した事例を紹介している。これは、クラウドベースのAIサービスが提供するAPIを利用すると、費用が高額になりがちで、いつ利用制限がかかるか分からなかったり、特定のサービスに縛られたりすることへの不満から始まった。筆者は、自身のWindowsマシン上に「Windmill」「NVIDIA NIM」「Groq」「Hermes Agent」といったツールやサービスを組み合わせ、コード実行、API呼び出し、ウェブ閲覧、ファイルの書き込みなどができるAIエージェントを、全てのコンポーネントをローカルで動かすか、無料のサービス枠内で運用している。

このAIエージェントシステムは、大きく分けて四つの役割を持つ層で構成されている。一つ目は、AIエージェントが行うタスク全体を管理する「オーケストレーション」層。二つ目は、AIの「知能」にあたる「モデル」層。三つ目は、AIエージェントとユーザーがやり取りするための「エージェントインターフェース」層。そして四つ目は、AIエージェントが具体的な行動を起こすための「ツールと自動化」層である。

オーケストレーション層では、「Windmill」というツールが使われている。Windmillは、自分のコンピューター上で動かすことができる（自己ホスト型）ため、クラウドサービスに頼らないという特徴がある。AIエージェントが行う様々な処理（スクリプト）を管理し、それらの実行状況をウェブ上の画面で確認したり、エラーが起きた場合に自動で再試行したり、APIキーのような秘密の情報を安全に管理したりする機能を持っている。このシステムでは、WindmillがAIエージェントの作業全体を調整し、「失敗したタスクを監視して再実行する」スクリプトや、「コードをレビューする」スクリプトなどを動かしている。

モデル層は、AIエージェントの「頭脳」となる部分であり、主にNVIDIAのAIモデルとGroqというサービスを利用している。NVIDIA NIM（NVIDIA Inference Microservices）の無料利用枠には「1分間に40回まで」というリクエスト数の制限があり、AIエージェントが頻繁にタスクを実行するとすぐにこの制限に達してしまう問題があった。この制限を乗り越えるために、筆者はいくつかの工夫をしている。まず「10キーローテーション」という仕組みだ。これは、複数のNVIDIA APIキー（サービス利用のための鍵）を準備し、一つのキーが制限に達したら自動的に別のキーに切り替えて利用する。これにより、サービスが途切れることなくAIモデルを使い続けられるようにした。次に「6モデルカスケード」という方法だ。これは、一つのAIモデルが応答しなかったり、うまく処理できなかったりした場合に、自動的に別のAIモデルに切り替えて試行する仕組みである。例えば、まずは応答が速いモデルを試し、それでうまくいかない場合は、より高性能だが処理に時間のかかるモデルに段階的に切り替えていくことで、システムの信頼性を高めている。さらに、「ローカルプロキシ」という独自のプログラムを構築した。これは、AIエージェントからのリクエストをNVIDIAやGroqのAIモデルに転送する際に、途中で様々な処理を行う中継サーバーのような役割を果たす。このプロキシは、AIエージェントがプログラムコードを実行したり、ウェブサイトを閲覧したりするために不可欠な「ツール呼び出し」機能や、AIからの応答をリアルタイムで少しずつ受け取る「SSEストリーミング」にも対応している点が重要だ。これらの機能がなければ、AIエージェントは高度なタスクを実行できない。また、NVIDIAのモデルが使えない場合の最終手段として、Hermes Agentが自動的にGroqのモデルに切り替えて処理を続ける「Groqフォールバック」も設定されている。

エージェントインターフェース層では、「Hermes Agent」というツールが使われている。これは、ユーザーがAIエージェントと会話したり、指示を与えたりするための窓口である。コマンドライン（文字で命令を入力する画面）やTelegramのようなメッセージアプリから操作できる。Hermes Agentは、前述のローカルプロキシを通してAIモデルと連携するように設定されており、もしプロキシ経由でAIモデルが利用できない場合は、Groqのモデルに自動的に切り替わるようになっている。また、複数の「ボット」（AIエージェントの分身のようなもの）を設定することも可能で、それぞれに異なる役割（例えば、戦略を考えるボット、市場を分析するボット、批判的にレビューするボットなど）を与え、グループチャットのように連携させて複雑なタスクに取り組ませることもできる。

ツールと自動化層は、AIエージェントが具体的な「手足」となって行動するための様々なプログラムやサービスである。「Webwright」は、ウェブブラウザを自動的に操作するためのツールで、AIエージェントがウェブサイトから情報を収集したり、特定の操作を行ったりする際に使われる。「NVIDIA Reviewer」は、NVIDIAの高性能なAIモデル（Ultra 550B）を利用して、AIが生成したプログラムコードに間違いがないか、リスクがないかを厳しくチェックする。これにより、AIが作ったコードの品質を向上させている。「Edge-TTS」はテキストを音声に変換するツール、「FFmpeg」は動画を組み立てるためのツールである。これらのツールを組み合わせることで、AIエージェントは単に会話するだけでなく、具体的な作業を実行する能力を持つようになる。

このような複雑なシステムを構築する過程では、多くの問題に直面し、それを解決するための試行錯誤があった。最も大きな課題は、無料ティアのサービスが持つ「レートリミット」と、AIが事実と異なる情報を生成してしまう「ハルシネーション」（幻覚）であった。レートリミットの問題は、キーローテーション、モデルカスケード、Groqフォールバックを組み合わせることで、99%以上の高い稼働率を実現した。ハルシネーションに対しては、AIとの対話を短く区切ることや、専用のレビューアAIモデルを導入して生成されたコードを厳しくチェックさせることで、問題の発生を抑えている。また、AIエージェントがツールを正しく使えるように、ローカルプロキシがAIモデルからの応答を適切に処理するよう、何日もかけて調整が行われた。通信が途切れる「ストリーミング」の問題も、プロキシがAIモデルからのデータを正しく解析し、AIエージェントに適切に転送するように修正することで解決した。さらに、AIモデルには寿命があり、古くなると利用できなくなるため、使えるモデルのリストを常に最新に保つ必要があった。Windmillの利用においても、直接データベースを操作するのではなく、公式のAPIを通じてスクリプトをデプロイすることが、システムの安定運用には重要であると経験から学んだ。

このシステム構築の経験は、無料のAIサービスを最大限に活用し、複数の技術を組み合わせることで、月額費用をかけずに強力で信頼性の高いAIエージェント環境を自分の手で作り上げられることを示している。ただし、そのためには、AIモデルの特性を深く理解し、その限界を回避するための多くの工夫や技術的な調整が必要となる。もし同様のシステムを構築するならば、AIモデルの出力は常に疑い、動作確認を怠らず、問題が発生した際には自動で別のモデルに切り替える仕組みを準備すること、そしてAIとの対話を簡潔に保つことが重要であると筆者は述べている。このプロジェクトは、Windows 11、Docker Desktop、WSL2を基盤としており、クラウドサービスへの依存も、月々のサブスクリプション費用も一切かかっていない。