【ITニュース解説】What If an AI Could Answer a Legal Question Based on the Law That Existed At That Time?

近年、AI技術、特に大規模言語モデルの進化は目覚ましく、私たちの社会に大きな影響を与えている。多くのシステムエンジニアがこれらの技術に注目し、その応用可能性を探っている。今回紹介する研究プロジェクトは、AIと法律という分野の交差点で、非常に興味深い課題に取り組んでいる。それは、「AIが、特定の時点の法律に基づいて質問に答えることができるか」という問いだ。

私たちが普段目にするAIの質問応答システムは、与えられた文書を「静的なもの」、つまり内容が常に変わらないものとして扱っている。例えば、あるWebサイトの情報に基づいて質問に答える場合、そのWebサイトの内容は質問された時点でも同じであると仮定されることが多い。しかし、世の中にはそうではない文書が数多く存在する。その代表例が「法律文書」である。

法律、特に憲法のような根本的な法律は、時代や社会の変化に応じて何度も改正される。条項が追加されたり、修正されたり、削除されたりすることは珍しくない。つまり、ある法律が「いつ」有効であったかによって、その内容や解釈が大きく変わってしまうのだ。これは、AIシステムにとって大きな問題となる。なぜなら、現在の法律に照らして「正しい」と見える答えが、20年前、30年前、あるいは50年前の法律に関する質問に対しては「間違っている」答えになってしまう可能性があるからだ。

このプロジェクトは、そのような課題を解決するために、一般的な法律チャットボットを構築するのではなく、時間という要素を質問の一部として理解するシステムを開発しようとしている。その具体的な目標は、インド憲法を対象に、憲法改正の履歴を追跡し、特定の時点での憲法条項の内容を正確に特定することにある。「改正前のある条項は何を規定していたか」や「特定の年に適用されていた憲法条項はどれか」といった質問に答えられるようにすることを目指しているのだ。

このシステムが単にキーワードを含む段落を検索してくるだけでは不十分だ。システムは、どの条項が関連しているのか、どの改正によってそれが変更されたのか、その変更はいつから有効になったのか、そして質問された内容に対してどのバージョンの条項を使用すべきなのかを正確に判断する必要がある。まさに、この「時間的な要素」の判断が、このプロジェクトの肝となる部分である。

なぜこのようなシステムが重要なのか。それは、一般的な質問応答システム（RAGシステムなど）が抱える潜在的な問題点と深く関連している。RAGシステムは、関連する情報をデータベースから検索してきて、それを基に回答を生成する。しかし、歴史的な法律に関する質問に対しては、最新の憲法条項を自信満々に提示してしまえば、それは「まさに間違った証拠」に基づいて回答することになる。この「最新情報が常に正しいとは限らない」という失敗モードこそが、このプロジェクトが着目し、解決しようとしている課題なのだ。改正履歴や時間に関するメタデータ（データに関するデータ、つまりいつ、どの条項が、どのように変更されたかといった情報）を組み込むことで、時間軸に依存する質問に対する検索の信頼性を高められるかどうかを探っている。

これまでの開発では、まずインド憲法の原文から情報を抽出し、それを個々の条項や構造化された記録として解析する作業が進められている。次に、憲法改正を特定し、各改正に伴う条項レベルでの変更点を追跡している。そして、これらの改正に関する構造化されたメタデータを作成し、時間軸を考慮した情報検索と質問応答のためのデータ準備を行っている。現在のところ、1951年から2023年までの106件の憲法改正にわたる変更点を追跡するデータセットが構築されている段階だ。これはまだ開発途中の研究的な取り組みであり、問題が完全に解決したと主張するものではない。

このプロジェクトを進める中で、開発者が特に実感したのは、最も難しい部分は「大規模言語モデルをAPIとして利用できるようにすること」ではないという点だ。本当に困難なのは、「信頼できるコンテキスト（文脈）を作成すること」だったという。もし、基盤となるデータセットが「条項 → 改正 → 変更内容 → 変更日」という関係性を正確に保持していなければ、たとえ非常に高性能なAIモデルを使ったとしても、誤ったバージョンの法律から、もっともらしく聞こえる答えを生成してしまう危険性がある。そのため、開発者は当初の予想をはるかに超える時間を、データの抽出、正規化、そして時間的な関係性の構築に費やしている。これは、システムエンジニアとしてデータの前処理やデータモデリングがいかに重要であるかを教えてくれる示唆深い点である。

今後の計画としては、これらの歴史的な憲法に関する質問を中心に、質問応答のベンチマーク（性能評価の基準）を構築することが挙げられている。そして、通常の検索と時間軸を考慮した検索を比較し、改正履歴を明示的に組み込むことが、情報検索の精度、時間的な正確性、証拠選択の適切さ、そして回答の信頼性を実際に向上させるかどうかを測定していく予定だ。特に、現在の条項が歴史的な質問に対して意図的に誤解を招くようなケースもテスト対象となる。

このプロジェクトは、AI、情報検索、そして法律という分野の融合に関心があるだけでなく、より本質的な問いを探求している。「AIシステムは、最も関連性の高い情報が必ずしも最新の情報ではないということを認識できるか？」という問いだ。法律、歴史、規制、政策に関する文書では、この「最新情報」と「関連性の高い情報」の区別が極めて重要になる。この研究は、インド憲法を具体的な題材として、この問いに挑戦する試みである。プロジェクトはまだ進化の途上にあるが、そのデータセット、パイプライン、実験、そして結果は随時文書化され、公開されていく予定だ。