【ITニュース解説】77.1% on BIRD dev with one model call per question, and a test-set submission in

ソフトウェア開発の世界では、人間が日常使う言葉（自然言語）で質問をすると、コンピュータが理解できるデータベースの操作言語（SQL）に自動で変換してくれる「Text-to-SQL」という技術が注目されている。この技術は、データベースから情報を引き出す際にSQLの知識がなくても、まるで人に話しかけるように質問するだけで欲しいデータが得られるようになるため、非常に画期的なものだ。このText-to-SQLシステムの性能を客観的に評価するための重要な指標となるのが、「BIRD」というベンチマークである。BIRDは、11種類の実際のデータベースと1,534個の開発用質問セットを使って、システムのSQL生成能力をその実行精度で厳しく評価する。最終的な評価は、BIRDチームのみがアクセスできる隠されたテストセットで行われる。

最近、このBIRDベンチマークにおいて、「schemagate」というシステムが開発セットで77.12%という高い実行精度を達成したと報告された。これは、特に複雑な質問（challenging）では71.03%、中程度の難易度（moderate）で71.34%、簡単な質問（simple）で80.97%という内訳だ。この結果は、自然言語処理の分野で高性能なモデルとして知られる「Claude Opus 5.5」を利用して導き出されたものである。

この77.12%という数字がなぜ注目されるかというと、それはその「コスト効率」にある。一般的なText-to-SQLシステムがBIRDのリーダーボード上位に食い込むためには、一つの質問に対して5回から20回ものモデル呼び出し（つまり、AIモデルにSQLを生成させたり、修正させたりする処理）を行うのが普通だ。しかし、schemagateはたった「1つの質問につき1回のモデル呼び出し」でこの精度を達成している。これは、システムの効率性や経済性において非常に大きな意味を持つ。

具体的にschemagateはどのように機能しているのか。まず、データベースの構造を把握し、質問内容に関連するテーブルを特定する。次に、AIモデルには、選ばれたテーブルの定義情報（DDL）とBIRDの提供するカラムの注釈情報のみが与えられる。これにより、モデルは余計な情報に惑わされることなく、必要なデータ構造だけを見てSQLクエリを生成できる。そして、モデルは一度だけクエリを生成し、もし生成されたSQLがデータベース（SQLite）でエラーを起こした場合、そのエラーメッセージをモデルに渡し、たった一度だけ修正を試みる。報告によると、この修正が必要だったのは1,534回の質問の中でわずか1回だけだったという。このようなシンプルな手順で、約2,100トークンという比較的少ない情報量でAIモデルを動かし、SQLを生成している。一般的なシステムで行われるような、複数の候補を生成して投票で選ぶような複雑な処理や、AIが自律的に判断して処理を繰り返すエージェントループのような仕組みは一切使われていない。

現在、schemagateはBIRDの隠れたテストセットにも結果を提出済みで、その検証済みの数値が1～5日以内には判明する見込みだ。このテストセットの結果は、システムの真の実力を示すものとして期待されている。

ただし、この結果を他のシステムと比較する際にはいくつかの点に留意する必要がある。まず、使用されたClaude OpusというAIモデルは、全く同じコードを実行しても、毎回わずかに異なる結果を出すことがある。そのため、今回報告された単一の実行結果は、おおよそ±1%程度の誤差範囲で捉えるのが適切である。また、BIRDの開発セットには、参照となる正解SQLに一部誤りがあることが、別の研究で指摘されている。これは全てのシステムが同じ誤った正解で評価されるため、ランキングの相対的な妥当性は保たれるものの、絶対的な精度数値は実際よりも低く見える可能性がある。さらに、BIRDのリーダーボードでは、開発セットやMini-Devセットに関する結果は自己申告制であるため、公式な検証が行われるのはBIRDチームが直接実行するテストセットの結果のみとなる。

では、なぜ「1回呼び出しシステム」にこだわる必要があるのか。それは、schemagateの本来の目的が、単にText-to-SQLの精度でトップを目指すことだけではないからだ。schemagateの主要な役割は、データベースの「アクセス制御」を保証することにある。つまり、ユーザーがアクセス権限を持たないテーブルをAIモデルが見てしまったり、権限のないテーブルにアクセスするようなSQLクエリが実行されたりするのを確実に防ぐことだ。実際に、アクセス制御のベンチマークであるRBAC Text-to-SQLやSpider-ACLにおいては、8,128回のクエリ実行で一度も権限のない読み取りを発生させなかったという最高の公開結果を出している。今回のBIRDでの高精度な結果は、このような厳格なアクセス制御の機能が、Text-to-SQLの精度を犠牲にすることなく実現できることを示している。

この成果は、Text-to-SQL技術が、単なる技術的な面白さだけでなく、実世界のシステムで安全かつ効率的に利用できる可能性を大きく広げるものだと言えるだろう。AIを活用したデータベース操作の未来において、効率性と安全性の両立がいかに重要であるかを改めて示唆している。詳細な予測結果や評価出力、提出パッケージはGitHubで公開されており、誰でもその技術的な詳細を確認できる。