【ITニュース解説】Markdown table repair: the AI invents a column instead

今回のニュースは、AIが「Markdown形式」で書かれた壊れたテーブル（表）を修正しようとしたときに、どのような挙動を見せたか、そしてそこから私たちが何を学ぶべきかについて詳しく解説する。システムエンジニアを目指す皆さんにとって、AIを実用的なツールとして活用する上で、非常に重要な考え方が含まれているため、ぜひこの内容を理解してほしい。

まず、「Markdown」とは何かから説明する。Markdownは、テキストを簡単な記号で装飾し、Webページやドキュメントのような見やすい形式に変換するための記述方法の一つだ。例えば、文章の先頭に「#」を付ければ見出しになり、「*」で囲めば文字が強調される。この手軽さから、エンジニアが技術ドキュメントを作成したり、ブログ記事を書いたりする際によく利用されている。そして、Markdownにはデータを整理するための「テーブル」、つまり表を作成する機能もある。これは、パイプ記号（|）やハイフン（-）といったシンプルな記号を使って行と列を表現する書き方をする。しかし、書き方が少しでも間違っていると、期待通りの表として表示されなかったり、データの並びが崩れてしまったりすることがある。

今回のケースでは、「Claude Sonnet」という名前のAIモデルがこの壊れたMarkdownテーブルの修正に挑戦した。具体的には、何らかの形で問題のある21個のMarkdownテーブルがAIに与えられ、「それぞれのテーブルを正しく修正してください」という指示が出された。初期の段階では、AIは驚くべき能力を発揮した。与えられた21個のテーブルのうち、17個についてはAI自身で問題なく、かつ正確に修正することができたのだ。これらのテーブルは、修正するために「唯一の正しい答え」が存在していたため、AIは適切な修正を導き出すことができたと考えられる。これは、AIが特定のパターンを認識し、それを正確に適用する能力に長けていることを明確に示している。

しかし、残りの4個のテーブルにおいて、AIは異なる、そして少し危険な挙動を見せた。これらのテーブルは、どう修正すればよいかという「唯一の正しい答え」が存在しない、より複雑な、あるいは情報が不足している状態だった。人間であれば、「このデータは壊れすぎていて、どう修正すれば正しいかわからない」とか、「情報が足りないから、どうすることもできない」と判断する場面だ。ところが、AIはそうは言わなかった。AIは、正しく修正できないと判断する代わりに、なんと「新しい情報を作り出して」しまったのだ。

具体的には、いくつか例がある。ある壊れたテーブルで、本来どの列にも属さない「浮遊している値」があったとする。AIはこれを修正する際に、その値のためにまったく新しい列を勝手に作り出し、さらにその列にAIが「でっちあげた」名前を付けてしまったのだ。本来存在しない列や列名が、AIの判断によって追加されてしまったのである。また、テーブル内のテキストの配置、つまり「アライメント」についても問題が起きた。アライメントとは、テキストを左端に寄せるか、中央に配置するか、右端に寄せるかといった設定のことだ。AIは、元のデータにアライメントの指定が全くないにもかかわらず、勝手に適当なアライメントを追加して修正してしまった。さらに驚くべきは、単なる一つの文章を、無理やりテーブルの形式に変換してしまったケースもあった。文章には本来、行や列といった構造はない。にもかかわらず、AIはそれをテーブルとして解釈し、無理やり枠にはめてしまったのだ。

なぜこのAIの挙動が問題なのか。システムエンジニアにとって、AIは強力なツールであると同時に、その限界を理解することが不可欠だ。AIが「わからない」と言わずに、勝手に「でっちあげた」情報を提供してしまうことは、非常に危険な側面を持つ。例えば、重要なシステムの設定情報が書かれたドキュメントのテーブルをAIに修正させたとしよう。もしAIが理解できない部分を勝手に補完してしまい、存在しない設定値や間違った値を書き加えてしまったら、それが原因でシステムに重大な不具合が発生する可能性がある。データの信頼性が損なわれ、後でその情報を見た人が間違った判断をしてしまうリスクがあるのだ。これは、AIがただ単に間違った答えを出すよりも、ある意味でたちが悪い。なぜなら、一見すると「正しく修正された」ように見えてしまい、間違いに気づきにくいからだ。

この問題への解決策も、ニュース記事で示されている。初めはAIに対して「修正してください」というシンプルな指示だったが、その後、AIへの指示文、つまり「プロンプト」に、テーブルを修正する際の具体的な「ルール」を書き加えたのだ。例えば、「もし修正が不可能だと判断した場合は、その旨を明確に伝えてください」とか、「存在しない列やアライメントを勝手に追加しないでください」といった具体的な制約をAIに与えた。その結果、どうなったかというと、最初の段階で問題を抱えていた4つのテーブルも含め、全ての21個のテーブルが、今度は正しく修正されたのだ。

この経験は、システムエンジニアを目指す皆さんにとって非常に重要な教訓となる。AIは非常に賢く、多くのタスクを効率的にこなせるが、その能力を最大限に引き出し、かつ危険な落とし穴を避けるためには、私たち人間がAIに対して「どのような情報を求め、どのような振る舞いを期待するのか」を明確に、かつ具体的に指示することが不可欠だ。AIは魔法のツールではない。与えられた指示に基づいて動き、情報が不足していたり、曖昧な指示だったりすると、時に意図しない、あるいは誤った結果を生み出すことがある。AIの限界を理解し、適切なプロンプトエンジニアリング（AIへの効果的な指示の出し方を考える技術）を適用することで、初めてAIは信頼できる、強力なパートナーとなるのだ。