【ITニュース解説】Add Structured Testing to Your AI Vibe - with promptfoo

この記事では、大規模言語モデル(LLM)を活用したアプリケーション開発において、プロンプトのテストを効率化するためのツール「promptfoo」の使い方を解説する。特に、eコマースサイトの製品レビュー分析を例にとり、多様なシナリオに対応できる堅牢なAIシステムを構築するための実践的な手法を紹介する。

記事の冒頭では、多くのチームが手動で少数のサンプルをチェックするだけの「雰囲気テスト」に頼っている現状を指摘し、体系的な評価フレームワークの重要性を強調する。promptfooのようなツールを使うことで、再現可能な自動回帰テストを構築し、AIシステムの信頼性を向上させることができる。

具体的な例として、eコマースサイトの製品レビューを分析し、感情分析、キーフィーチャーの抽出、偽レビューの検出、モデレーション判断を行うシステムを構築するケースを取り上げる。このシステムの中核となるプロンプトは、開発段階ではうまく機能するかもしれないが、実際のユーザーレビューの複雑さに対応する必要がある。例えば、感情が混在したレビュー、偽レビュー、不適切なコンテンツを含むレビュー、皮肉やニュアンスのある表現など、多様なシナリオを考慮しなければならない。

記事では、まずGherkinという形式で要件を定義する。Gherkinは、平易な言葉で要件を記述するための言語であり、ここでは、肯定的なレビュー、否定的なレビュー、感情が混在したレビュー、疑わしいレビューという4つの主要なテストシナリオを定義する。promptfoo自体はGherkinを使用しないが、要件を明確化するのに役立つ。

次に、プロンプトをYAMLファイルに直接記述するのではなく、プロンプトとテストデータを別々のファイルに分割することで、テスト構造を改善する方法を紹介する。これにより、プロンプトのメンテナンス、バージョン管理、共同作業が容易になる。具体的なファイル構造として、promptsディレクトリにプロンプトファイル(analyze-review.txt)、test-dataディレクトリにテストデータファイル(positive-review.txt, negative-review.txt, mixed-review.txt, suspicious-review.txt)を配置し、analyze-review-spec.yamlにテスト設定を記述する例を示す。

プロンプトファイル(analyze-review.txt)には、製品レビュー分析の専門家として、レビューを分析し、感情、信頼度、キーフィーチャー、不満点、賞賛点、偽レビューの可能性、偽レビューの指標、推奨事項、要約などの構造化されたJSON形式で評価を提供するように指示が記述されている。特に、感情分析の精度、キーフィーチャーの抽出、偽レビューの指標の特定、実用的なモデレーションの推奨事項に焦点を当てるように指示されている。

テストデータファイルには、実際のユーザーレビューを想定した様々なシナリオのレビューテキストが記述されている。肯定的なレビュー、否定的なレビュー、感情が混在したレビュー、疑わしいレビューの4つの例が示されており、それぞれ異なる特徴を持つ。

そして、promptfooの設定ファイル(analyze-review-spec.yaml)で、これらのシナリオをテストするための設定を行う。ここでは、テスト対象のプロンプトファイル、使用する言語モデル(例: gpt-4o-mini)、テストシナリオごとの入力変数(review_text)とアサーション(期待される出力)を定義する。

アサーションには、is-json(JSON形式の検証)、contains-json(特定のキーと値のペアの検証)、javascript(カスタム検証ロジック)、llm-rubric(人間が読める基準に対するLLMの評価)など、様々な種類がある。特に、javascriptアサーションを使うことで、感情の分類や信頼度スコアなど、複雑な検証ロジックを実装できる。また、llm-rubricアサーションを使うことで、LLM自身にアウトプットの品質を評価させることができる。

記事では、promptfooのインストール方法(npm install --save-dev promptfoo)とテストの実行方法(npx promptfoo eval -c promptfoo-product-reviews/analyze-review-spec.yaml --no-cache)、およびWebビューアでの結果の確認方法(npx promptfoo view -y)を紹介する。Webビューアでは、テスト結果がグリッド形式で表示され、プロンプトの分析結果や実際のレスポンスを確認できる。

最後に、promptfooをCIパイプラインに組み込むことで、プロンプトの変更が既存のテストを壊さないようにするための回帰テストとして活用できることを強調する。要件が変化するにつれて、テストを適応させることができる。

この記事を通して、promptfooを使うことで、AIシステムの開発におけるプロンプトのテストを自動化し、品質を向上させることができることを解説している。