【ITニュース解説】I Gave My Coding Agent the Task in Russian. One Agent Stopped Searching

AI（人工知能）がコードを書くのを手伝ってくれる「コーディングエージェント」というツールが注目されている。開発者は、このエージェントにプログラムのタスクを指示することで、作業効率を上げようとしているが、多くのエージェントが主に英語で訓練されているため、英語以外の言語で指示を出した場合にどうなるのか、また、より良い結果を得るための「ガイド」（追加情報）の与え方はどうすれば良いのか、疑問に思う人もいるだろう。この記事は、その疑問に答えるための詳細な実験結果を示している。

この実験では、まず、コーディングエージェントに与えるタスクの言語が、エージェントのパフォーマンスにどう影響するかを検証した。具体的には、同じ六つのプログラミングタスクを「英語」と「ロシア語」で用意した。さらに、タスクを解くためのヒントや必要な情報が含まれる「ガイド」を「与える場合」と「与えない場合」で比較した。ガイドを与える場合には、そのガイド自体も「英語」と「ロシア語」の二種類を用意し、タスクの言語との組み合わせでどのような差が出るかを見た。合計で七つの異なるエージェントの組み合わせを使い、一つの条件につき五回ずつ実行するという、非常に多くの試行（合計1050回）を行ったことで、信頼性の高い結果が得られている。

実験の結果、まず驚くべきことに、コーディングエージェントはタスクがロシア語で与えられても、英語の場合とほぼ同じくらいタスクを解決できたことがわかった。ガイドがない状態でのタスク解決率は、英語のタスクで63%、ロシア語のタスクで56%であり、この差は統計的に見るとほとんど意味がない範囲だった。つまり、基本的には、タスクの指示を英語で書こうが、ロシア語で書こうが、エージェントの能力は大きく変わらないということになる。

次に、この実験で非常に重要だったのは「ガイド」の効果である。ガイドは、エージェントがタスクを解決する能力を劇的に向上させた。英語のタスクでは、ガイドがない場合に比べて解決率が31ポイント上昇し、ロシア語のタスクでも36ポイント上昇した。これは、エージェントに具体的な情報や解決策のヒントを事前に与えることで、非常に効率的に問題を解決できることを示している。そして、このガイドの効果は、タスクの言語が英語であろうとロシア語であろうと、ほとんど変わらなかった。

さらに興味深い発見として、ガイドをわざわざロシア語に翻訳する必要がないという点が挙げられる。ロシア語のタスクに対して、英語のままのガイドを与えた場合と、ロシア語に翻訳されたガイドを与えた場合とで、解決率にほとんど差がなかったのだ。これは、エージェントがコード内の特定の「識別子」（変数名や関数名など）や「パス」（ファイルパスなど）、「エラー文字列」といった英語の部分に注目して情報を利用しているためと考えられる。開発者の視点からすれば、チーム内で共有するガイドをエージェントのために翻訳する手間は不要であり、人々の理解のために翻訳すれば十分だという結論になる。

しかし、この実験で最も注目すべきは、一部のエージェントが非英語のタスクを処理する際に「隠れた挙動」を見せたことだ。特定のコーディングエージェントである「Codex」は、英語のタスクの場合には積極的にウェブ検索を行って情報を探す一方で、ロシア語のタスクを与えられると、ウェブ検索をまったく行わなくなってしまうことが判明した。これは、情報が公式ドキュメントにはなく、ウェブ上のフォーラムのような場所でしか手に入らないようなタスクにおいて、深刻な問題を引き起こした。

例えば、ある「心拍数に関するGarminウォッチのガイドライン」というタスクでは、その情報がウェブ上のフォーラムにしか存在しなかった。英語のタスクの場合、Codexはウェブ検索を適切に行い、このタスクを五回中五回すべて解決した。しかし、同じタスクをロシア語で与えると、Codexはウェブ検索を一切行わず、自分で独自の出力形式を考案してしまったため、五回中一度も正しく解決できなかった。考案された出力形式はそれなりに合理的だったが、ウォッチが求める正しい形式とは異なっていたのだ。この現象は、他のエージェントでは見られず、Claudeのようなエージェントはほとんどウェブ検索に頼らず内部情報で解決し、Gemini Flashのようなエージェントはロシア語のタスクでもウェブ検索を継続していた。つまり、「小さいモデルがロシア語で苦戦する」というわけではなく、「普段はウェブ検索に頼るエージェントが、非英語のプロンプトではその検索機能を停止してしまうことがある」という特定の挙動が明らかになった。

しかし、この問題は「ガイド」をタスクと一緒に与えることで完全に解決された。ガイドが提供する情報によって、エージェントはウェブ検索をする必要がなくなり、Codexもロシア語タスクで五回中五回すべてを解決できるようになった。つまり、エージェントがウェブ検索を停止してしまっても、必要な「事実」を直接与えることで、そのギャップを埋められることが示された。

これらの結果から、システムエンジニアを目指す初心者がAIコーディングエージェントを効果的に使うための実用的なアドバイスが得られる。まず、タスクの指示は、自分が最も簡単に、明確に書ける言語で出して問題ない。エージェントは言語自体にそれほど制約を受けない。次に、エージェントには、ただ「調べて」とヒントを与えるのではなく、必要な「事実」を直接与えることが非常に重要である。特に、公式ドキュメントにない、ウェブ上のフォーラムなどにしか情報がないような特殊なケースでは、具体的な情報が書かれたガイドを渡すことが、最も確実で信頼できる解決策となる。また、ガイドをわざわざ翻訳する手間は不要であることも覚えておくと良い。最後に、もし使っているエージェントが頻繁にウェブ検索を行うタイプであれば、非英語の指示を与えたときにその挙動がどうなるか、一度試してみることをお勧めする。ウェブ検索のログを直接確認することで、エージェントが静かに重要なステップをスキップしていないかを確認できるからだ。この実験は、AIエージェントとの効果的な協働方法について、貴重な洞察を与えてくれるものだった。