【ITニュース解説】How to Document an AI Workflow So You Can Reproduce It 30 Days Later

AIワークフローは、一度は完璧に機能するものの、後になって同じ結果を再現することが非常に難しいという問題がある。これは、AI開発に携わる誰もが経験する課題だ。例えば、あるAIツールを使い、適切な指示（プロンプト）を作成し、必要なファイルをアップロードし、いくつかの設定を調整した結果、まさに求めていた完璧な出力が得られたとする。しかし、一ヶ月後に同じ結果を得ようとすると、以前使ったプロンプトが見つからなかったり、どのモデルを使ったか思い出せなかったり、入力ファイルが変わっていたり、あるいはわずかな設定の違いがあったりして、一度は簡単だったはずのワークフローが再現できなくなる。この問題は、AI特有のものではなく、本質的には「ドキュメンテーション」、つまり記録と文書化の不足が原因である。もし、あるAIワークフローが繰り返し利用されるほど重要であれば、他のあらゆる技術的なプロセスと同様に、適切に文書化されるべきである。

従来のソフトウェア開発におけるワークフローは、通常、その設定が明確に視覚化されていることが多い。例えば、プログラムのスクリプトには実行されるコードが記述されており、継続的インテグレーション（CI）パイプラインには、その手順を定義する設定ファイルが存在する。また、APIへのリクエストには、渡されるパラメータが明確に指定されている。これに対し、AIワークフローは、その詳細がはるかに不明瞭になりがちである。AIの出力結果は、非常に多くの要素に依存しているため、再現が困難になる。具体的には、プロンプトの正確な文言、システムに対する指示、使用されたモデルの種類、アップロードされたファイルの具体的な内容、コンテキストの提示順序、温度（temperature）などの生成設定、プロンプト内に含まれる具体例、さらにはAIが生成した内容に対する手動での修正といった、多岐にわたる要素が最終結果に影響を与える。これらの詳細が適切に記録されていない場合、ワークフローの知識はほとんど担当者の記憶の中にしか存在しない状態となり、その再現性は非常に脆弱なものになってしまう。

AIワークフローのドキュメントを作成する際には、まずその「目的」を明確にすることから始めるべきである。全てのワークフローのドキュメントは、「このワークフローは何を生成することを目的としているのか？」という一文から始めるのが理想的である。例えば、「顧客インタビューの生データから、製品の繰り返し発生する問題の構造化されたリストを作成する」という目的や、「大まかな技術概要から、開発者向けドキュメントの初稿を作成する」といった目的が考えられる。この目的の記述は一見単純に思えるかもしれないが、後になってワークフローが本来意図した成果を生み出しているかを確認する上で、混乱を防ぎ、大きな助けとなる。

次に重要なのは、ワークフローの「入力」を具体的に記録することである。単に「ドキュメントをアップロードする」といった抽象的な記述では不十分で、より詳細な情報が必要となる。例えば、「製品要件、既知の制約、および受け入れ基準を含む最新のMarkdown仕様書をアップロードする」といった具体的な記述が望ましい。入力に関する役立つ詳細情報としては、ファイルの形式（ファイルタイプ）、必須となるフィールド、想定されるデータの長さ、データの発生源、命名規則、そしてデータに対する前処理のステップなどが挙げられる。AIの出力品質は、入力データの品質に大きく左右されるため、入力データが少しでも変更されると、出力結果も変わってしまう可能性がある。このため、入力に関する具体的な情報は、ワークフローの再現性を確保するために不可欠である。

最後に、重要な「プロンプト」は、チャット履歴の中に留めておかず、テンプレートとして保存し、バージョン管理できる見つけやすい場所に保管することが推奨される。プロンプトをテンプレートとして保存する場合、その構造を明確に定義することが重要である。例えば、「役割（ROLE）」として「あなたは技術要件をレビューする担当者である。」、「目的（OBJECTIVE）」として「不明瞭な要件と欠落しているエッジケースを特定する。」、そして「入力（INPUT）」として「{{requirements}}」（ここでは実際の要件が挿入されることを示すプレースホルダー）、「出力（OUTPUT）」として「以下を返す: 1. 不明確な要件 2. 欠落している制約 3. 可能なエッジケース 4. プロダクトオーナーへの質問」といった形式で明確に記述する。このようにプロンプトの各要素を構造化して保存することで、いつ、誰が、どのような意図でそのプロンプトを使用したのかが明確になり、将来的に同じワークフローを再現する際の精度が格段に向上する。AIワークフローの再現性を高めるためには、これらのドキュメンテーションの習慣が不可欠であり、システムエンジニアを目指す初心者にとっても、早い段階で身につけておくべき重要なスキルである。