【ITニュース解説】I tested the same prompt on Gemini, ChatGPT, and Grok to make a meme about good vs bad prompts.

このニュース記事は、AIが与えられた指示（プロンプト）をどれだけ正確に理解し、期待通りの結果を出力できるかを検証した興味深い実験を紹介している。具体的には、Gemini、ChatGPT、Grokという三つの異なるAIモデルに、同じ詳細なプロンプトを与え、「良いプロンプトと悪いプロンプト」をテーマにしたコミックを作成させた。その結果、ChatGPTが最も優れた出力を見せ、Grokはプロンプトの意図を全く理解できなかったと報告されている。

AIを最大限に活用するためには、与えるプロンプトの質が非常に重要となる。これは、システムエンジニアがシステム開発において、要件定義や設計書をどれだけ明確に記述できるかという点に似ている。曖昧な指示では、期待するシステムは構築できない。この実験で使用されたプロンプトは、その重要性を具体的に示す良い例だ。

プロンプトは複数のセクションに分かれ、それぞれがAIに対する具体的な指示や制約を定義している。

まず「<role>」セクションでは、AIを「ウェブコミック、エディトリアルイラストレーション、デジタルアートに豊富な経験を持つ専門のコミックアーティストであり、ビジュアルストーリーテラー」と位置づけている。さらに、ミニマリストなアートスタイルと、テクノロジーや現代生活に関するユーモラスな観察的コミックの専門家であると指示している。これは、AIに特定の役割と専門知識を付与することで、出力の方向性を決定する重要なステップだ。システム開発においても、プロジェクトメンバーにそれぞれの役割（例えば、フロントエンドエンジニア、バックエンドエンジニア、UI/UXデザイナーなど）を明確に割り当てることで、専門性を活かした成果が期待できるのと同様である。

次に「<context>」セクションでは、作成するコミックの背景と目的を説明している。このコミックが「AIユーザーが詳細なプロンプトによってより良い結果が得られることを発見する共通の経験」を描くものであり、「プロンプト作成に費やした労力と出力品質の皮肉な関係」を強調すること、そして「AIツールを使った経験のある誰にでも響く」ものであるべきだと述べている。この文脈情報は、AIがコミックのテーマやメッセージを深く理解し、意図に沿った内容を生成するための指針となる。要件定義における「なぜこのシステムが必要なのか」「誰が使うのか」といった背景情報の共有に相当する。

「<objective>」セクションでは、最終的な目標を明確にしている。「『The Art of the Prompt』と題した2x2グリッドコミックを生成し、単純なAIプロンプトから詳細なAIプロンプトへの進化と、それに伴うAI応答の改善をユーモラスに描く」と具体的に指示している。目標を明確にすることで、AIはどのような成果物を目指すべきかを理解し、無駄な方向へ進むことを防ぐ。システム開発におけるプロジェクト目標の設定と共通する考え方である。

そして「<task>」セクションでは、作成すべき四コマコミックの各パネルの内容を非常に詳細に指定している。

• パネル1（左上）: ラップトップに向かうシンプルな棒人間、不満な表情、セリフ「Writes a simple one-sentence prompt」、キャラクターの近くに「Me」というラベル、カジュアルで準備不足な様子。
• パネル2（右上）: 同じ棒人間、さらに不満な表情、ChatGPTの「C」ロゴが入った吹き出し、ChatGPTのセリフ「I'm not sure I understand. Could you provide more context?」、キャラクターの不満がより明確に。
• パネル3（左下）: 同じキャラクター、頭の周りにストレス線、必死にタイピング（手と腕の周りに動きの線）、セリフ「Spends 20 minutes crafting a detailed, multi-paragraph prompt with examples」、キャラクターの周りに「Context...」「Examples...」「Format...」などの詳細なプロンプト要素を表す小さなテキストボックス。
• パネル4（右下）: 同じキャラクター、まだ努力やわずかな不満の兆候、ChatGPTの「C」ロゴが入った金色に光る吹き出し、ChatGPTのセリフ「Generates a perfect, nuanced, and brilliant response」、ラップトップに微妙な光のエフェクト、キャラクターの表情はしぶしぶ満足している様子。 このように、登場人物の表情、動作、セリフ、背景の要素に至るまで細かく指示することで、AIが創造性を発揮しながらも、ユーザーの具体的なイメージを忠実に再現できるようガイドしている。これはシステム開発における詳細設計書や画面遷移図、ワイヤーフレームの役割に近い。

さらに「<output_format>」セクションでは、出力されるコミックの形式に関する具体的な要件を定義している。2x2グリッドレイアウト、タイトル表示、ミニマリストな白黒棒人間アートスタイル、ダークブルー/グレーの背景色、白いコミックパネルの境界線、白い吹き出しに黒文字、最後のChatGPTのセリフは金色の吹き出し、シンプルな表情、一貫したキャラクターデザイン、標準的なウェブコミックの寸法など、視覚的な要素に関する詳細な指示が含まれる。これは、システム開発におけるUI/UX設計のガイドラインやデザイン仕様書に相当し、最終的な成果物の品質と一貫性を保証するために不可欠な情報である。

最後の「<instructions>」セクションでは、視覚的な一貫性、読みやすいフォント、適切な吹き出しサイズと位置、棒人間の比率、最小限のディテール、感情の進行、ChatGPTロゴの認識性、金色の光の効果、テキスト量のバランス、Web/ソーシャルメディアでの読みやすさ、ユーモアの維持、全体的な物語性など、具体的な品質基準や注意事項が述べられている。これはシステム開発におけるコーディング規約やテスト基準、レビューガイドラインといった、品質を担保するための補足的な指示と捉えることができる。

この詳細なプロンプトに対して、ChatGPTは「明確な勝者」となり、指示されたコミックを高い品質で生成できた。これは、ChatGPTが複雑で多岐にわたる指示を正確に解釈し、それらを統合して具体的な成果物として形にする能力が高いことを示唆している。一方、Grokは「完全に失敗した」とされており、プロンプトの意図や具体的な指示を適切に理解できなかった可能性が高い。Geminiは中間的な結果であった。この結果は、AIモデルによってプロンプトの解釈能力や生成能力に大きな差があることを浮き彫りにする。システムエンジニアが様々なツールやライブラリを使いこなす中で、それぞれの特性や得意分野を理解し、適切なものを選定するのと同じように、AIモデルもその特性を理解して使い分ける必要がある。

この実験は、システムエンジニアを目指す初心者にとって、非常に重要な教訓を含んでいる。AIを活用する時代において、AIに対する明確で具体的な指示（プロンプト）を作成する能力は、システムを設計し、開発するための要件定義や詳細設計のスキルと密接に関連する。曖昧な指示では、AIも人間も期待通りの成果物を生み出すことはできない。詳細な仕様を記述し、その仕様を異なるツールやシステムがどのように解釈し実行するかを理解する能力は、これからのシステムエンジニアにとって不可欠なスキルとなるだろう。また、期待する結果を得るまで試行錯誤し、プロンプトを改善していくプロセスは、システム開発におけるテストと改善、デバッグのプロセスに通じるものがある。