【ITニュース解説】Setting Up Your First Multi-Agent Test with Maia

この記事では、マルチエージェントAIシステムをテストするためのオープンソースツールキットであるMAIAフレームワークを使って、初めてのテストを構築する方法を具体的に解説する。システムエンジニアを目指す皆さんにとって、AIシステムの品質を確保するためのテストは非常に重要なスキルとなるため、その第一歩としてMAIAの基本的な使い方を理解することは有益だ。

MAIAフレームワークは、複数のAIエージェントが連携して動作するシステム、例えばカスタマーサポートボットがユーザーの問い合わせに応じて社内エージェントと連携するといった複雑なシナリオをテストするために開発された。従来のソフトウェアテストとは異なり、AIの出力は予測が難しいため、特定の条件を満たすかを網羅的に検証する必要がある。MAIAは、このようなAI特有のテスト課題に対応できるよう設計されている。

まず、MAIAフレームワークを利用するための準備として、Pythonプロジェクトが既にセットアップされていることを前提に話を進める。MAIAのインストールは非常に簡単で、Pythonのパッケージ管理ツールであるpipを使って、「pip install maia-test-framework」というコマンドを実行するだけで完了する。これにより、MAIAが提供する各種機能が利用できるようになる。

次に、実際にテストコードを作成する。ここでは「TestContentAssertions」というクラスを定義し、PythonのテストフレームワークであるpytestとMAIAの機能を組み合わせて使用する。このクラスは「MaiaTest」を継承することで、MAIAが提供するテスト機能を利用できるようになる。

テストの第一歩は、テスト対象となるAIエージェントを定義することだ。これはsetup_agentsメソッド内で行う。self.create_agentメソッドを呼び出してエージェントを作成するが、ここで重要なのは3つのパラメータだ。一つ目のnameは、テスト内でエージェントを一意に識別するための名前であり、例えば「Alice」のように設定する。二つ目のproviderは、エージェントがどのようなAIモデルを使用するかを指定する部分だ。MAIAはLiteLLMやCrewAIなど多様なAIモデルプロバイダーとの連携機能を提供しており、必要に応じて独自のプロバイダーを定義することも可能だ。今回の例では、ローカル環境で動作する「ollama/mistral」モデルを使用するように設定されている。三つ目のsystem_messageは、エージェントにその役割や振る舞いを指示するシステムプロンプトであり、「あなたは親切なAIアシスタントです。ユーザーの指示に正確に従います。」のように、エージェントの基本的な人格やルールを定義する。

エージェントを定義したら、次にそのエージェントとの会話をシミュレーションするための「セッション」を作成する。テストメソッドであるtest_basicの中で、self.create_session(["Alice"])というコードでセッションを生成する。MAIAにおけるセッションは、エージェントたちがコミュニケーションを取るための仮想的なチャネルのようなもので、複数のエージェントが存在する場合でも、このセッションを通じて自由に会話できる。シンプルなAIシステムであれば、通常は一つのセッションで事足りるだろう。

セッションが準備できたら、いよいよAIエージェントとの会話をシミュレートする。まず、await session.user_says("Please describe the usual weather in London in July, including temperature and conditions.")という行で、ユーザーがエージェントに話しかけるシナリオを再現する。このメッセージは、ロンドンの7月の天気について尋ねる内容だ。その後、response = await session.agent_responds("Alice")によって、指定したエージェント（この場合は「Alice」）からの応答を受け取る。awaitキーワードが使われていることからわかるように、これらの操作は非同期的に実行され、AIの応答を待つ間もプログラムは他の処理を進められる。

エージェントからの応答が得られたら、その内容が期待通りであるかを検証する。初期の簡単な検証方法としては、Pythonの標準的なassert文を使うことができる。assert "sunny" in response.contentというコードは、エージェントの応答内容（response.content）の中に「sunny」という単語が含まれているかをチェックしている。もし「sunny」が含まれていなければ、テストは失敗と判断される。これは最も基本的な検証方法であり、特定のキーワードが存在するかどうかを確認するのに役立つ。

MAIAフレームワークは、このような基本的なassert文よりも強力で柔軟な検証機能を提供している。それが「アサーション」と「バリデーター」だ。

まず、MAIAアサーションについて説明する。アサーションは、セッションに紐付けられ、そこで交わされるメッセージ一つ一つを自動的にチェックする機能だ。例えば、エージェントの応答が不適切な言葉遣いをしていないかを検証したい場合があるだろう。MAIAに組み込まれているassert_professional_toneというアサーションを利用すると、応答内容に「lol」や「u r」のような非専門的な表現が含まれていないかを自動で確認してくれる。これをセッションに追加するには、session = self.create_session(["Alice"], assertions=[assert_professional_tone])のように、assertions引数に検証したいアサーションのリストを渡すだけでよい。このようにして、特定のメッセージに対する品質を継続的に監視できる。また、独自のカスタムアサーションを定義することも可能で、より複雑なビジネスロジックに基づいた検証も実現できるが、それはさらに高度な使い方となる。

次に、MAIAバリデーターについて説明する。バリデーターはアサーションとは異なり、個々のメッセージではなく、セッション全体の振る舞いや結果をチェックする機能だ。バリデーターはテストの最後に自動的に実行される。例えば、エージェントが特定の回数以上メッセージを送信していないかを確認したい場合がある。agent_message_count_validatorというバリデーターを使えば、max_messagesというパラメータを設定することで、エージェントが送信するメッセージの最大数を制限できる。これをセッションに追加する際は、session = self.create_session(["Alice"], validators=[agent_message_count_validator(agent_name="Alice", max_messages=1)])のように、validators引数に設定済みのバリデーターのリストを渡す。これにより、エージェントが想定外に多くの応答をしたり、会話の流れを乱したりしないかを検証できる。

MAIAフレームワークの大きな利点の一つは、これらのアサーションやバリデーターを使ったテスト結果を視覚的に分かりやすく表示する機能だ。テストが完了すると、MAIAは結果を整理し、ダッシュボードのような形式で表示してくれる。これにより、どのテストが成功し、どのテストが失敗したのか、そして失敗した場合はその原因が何だったのかを直感的に把握できるようになる。AIシステムのテストは複雑になりがちだが、このような可視化機能は問題の特定とデバッグの効率を大きく向上させる。

ここまでで、MAIAフレームワークをインストールし、AIエージェントを定義し、セッションを作成して会話をシミュレーションし、基本的な内容チェックから、MAIA独自のアサーションやバリデーターを使った高度な検証まで、一連のテスト構築プロセスを理解しただろう。これにより、初めてのMAIAを使ったテストが完成し、AIシステムの信頼性と品質を確保するための一歩を踏み出すことができた。システムエンジニアとして、AI技術がますます普及する中で、このようなテストフレームワークを使いこなす能力は今後ますます重要になるはずだ。