【ITニュース解説】What Hong Kong's TSA Chinese Exam Actually Tests (And Why AI Tutors Get It Wrong)
2026年10月12日に「Dev.to」が公開したITニュース「What Hong Kong's TSA Chinese Exam Actually Tests (And Why AI Tutors Get It Wrong)」について初心者にもわかりやすく解説しています。
ITニュース概要
香港のAI教育ツール開発で、試験の厳密な要件が判明した。AIは文字数や設問の構造、解答の根拠などを誤りやすい。開発チームは、詳細な仕様書、自動監査スクリプト、不適合コンテンツの削除を通じて、これらの課題を克服し、高品質なシステム構築を実現した。
ITニュース解説
AI(人工知能)を活用したシステム開発では、表面的な機能や大量のコンテンツ生成だけでは成功できない。特に教育のような専門性が高く、厳格な評価基準が存在する分野では、対象となる領域の深い理解と、その仕様に対する厳密な遵守が不可欠となる。香港のAI中国語学習システム「LUMI Chinese Institute」の開発事例は、システムエンジニアを目指す初心者にとって、この重要な教訓を示している。
この学習システムは当初、多くの読解問題や質問をAIに生成させ、その量がプロダクトの価値だと誤解していた。しかし、香港の実際の試験であるTSA(学力評価)、HKAT(中学入学試験)、DSE(大学入試)の評価フレームワークを詳細に分析した結果、従来の開発方針に多くの問題があることが明らかになった。
まず、試験における文章の「文字数」は、単なるフォーマットではなく、学年ごとの「難易度仕様」そのものだった。例えば、小学4年生向けの文章は120〜200文字という厳密な範囲が設けられており、AIが生成したコンテンツがこの範囲から25%もずれていると、その学年の生徒は適切な難易度の教材で学習できず、実際の試験に unprepared(準備不足)で臨むことになる。システム開発において、数値で規定された要件は、それがたとえ些細に見えても、そのシステムの機能や品質を左右する核心的な要素として厳守されなければならない。
次に、すべての問題の「解答は必ず本文中に見つけられる」という原則があった。香港の有名校の試験設計では、推論に頼る曖昧な質問は避けられ、解答は本文から直接導き出せるようになっている。AIが生成した問題の中には、本文を注意深く読んでも答えが見つからないような「曖昧な質問」が含まれていた。システム設計では、入力(本文)に対して出力(解答)が明確に一意に定まることが重要であり、ユーザーが「なぜこの答えになるのか」と疑問を持つような曖昧さは徹底的に排除する必要がある。
また、選択式問題の「誤答選択肢(ディストラクター)は本文中から選ばれる」という設計も独特だった。これは、単に語彙を暗記しているかではなく、本文中の文脈で類似する単語の中から適切なものを選び出す能力、つまり「文脈理解力」を試すものだ。一般的なAIによる問題生成では、頻度が高い単語リストから誤答選択肢が選ばれることが多く、その結果、本文とは無関係な、あるいは正解よりももっともらしい誤答が生まれてしまう。システムエンジニアは、テストデータや選択肢を生成する際に、単なる統計的なデータだけでなく、その「意図されたテスト目的」や「文脈的妥当性」を深く理解し、それに合わせてデータを設計・生成するスキルが求められる。
さらに、「質問の順序は本文の記述順序に従う」という原則も重要だ。最初の質問は本文の冒頭に対応し、最後の質問は本文の終盤に対応するように配置される。これは、ユーザー(受験者)の「認知負荷」を軽減し、試験にスムーズに取り組めるようにするためのUI/UX(ユーザーインターフェース・ユーザー体験)設計の一環である。多くのクイズアプリがデフォルトで採用するランダムな質問順序は、実際の試験形式に慣れる上でむしろ逆効果となる。システム開発では、機能の実装だけでなく、ユーザーがシステムをいかに効率的かつ快適に利用できるかを考慮した設計が不可欠だ。
そして、試験で測られる「能力レベルには階層がある」と定義されていた。具体的には、「想起」「説明」「再編成」「拡張」「評価」の5段階だ。一つの文章に対する問題セットも、これらすべての能力を段階的に試すように構成されるべきだとされている。しかし、初期のAIが生成する問題は、その80%が「想起」のような単純な知識確認に偏っていた。システムは、単一の簡単なタスクだけでなく、ユーザーのスキルや理解度に応じて、より高度な思考を必要とする多様な機能を提供できるよう、多角的かつ網羅的に設計される必要がある。
これらの知見に基づき、LUMIの開発チームは「文字数」「段落構造」「質問タイプの網羅性」などを厳密に定義した詳細な「仕様書」を作成した。さらに、コンテンツに変更があるたびに、文字数遵守、誤答選択肢の本文中存在、選択式問題の妥当性などを自動でチェックする「リグレッション監査スクリプト」を開発し、品質管理を徹底した。これは、ソフトウェア開発における「継続的インテグレーション(CI)」と「自動テスト」の実践そのものである。そして、最も重要なのは、これらの厳格な仕様に合致しないコンテンツは、たとえ作成に労力を費やしたとしても「削除する規律」を貫いたことだ。品質を犠牲にして量を追求するのではなく、厳選された高品質なコンテンツのみを提供するという、開発における厳しい意思決定が求められる。
この事例から、AIを組み込んだシステム開発においては、単に技術的な実現可能性だけでなく、対象となるドメインの深い理解と、その中に存在する厳密な「仕様」を正確に定義し、それに沿って開発・テスト・品質管理を行うことが成功の鍵となることがわかる。特に、教育のようにユーザーの将来に直結するような分野では、このような厳格な品質基準と開発規律が、ユーザーからの信頼獲得に直接結びつくのだ。