【ITニュース解説】How we're testing AI app builders: database isolation, auth, usage and source export

最近では、人工知能（AI）が自動でアプリケーションを開発してくれる「AIアプリビルダー」が登場し、開発の現場で大きな注目を集めている。しかし、見た目が立派なアプリケーションができたとしても、実際にきちんと機能するかどうかは別の問題であり、単なるデモと完成品を混同してはいけない。このようなAIアプリビルダーが本当に実用的なものなのかを評価するためには、厳密なテストが不可欠である。ここでは、AIが作成したアプリケーションを評価するための具体的なテストプロトコルについて解説する。システムエンジニアを目指す初心者が、AI生成アプリの品質を見極める上で重要となるポイントを理解できるよう、詳しく説明する。

まず重要なのは、アプリケーションがデータを正しく扱い、利用者のプライバシーを保護できるかを確認することだ。これは「永続性と二つのIDによるテスト」と呼ばれる。具体的には、二人の異なる利用者（例えばAさんとBさん）を用意してテストを行う。Aさんがログインしてプライベートなタスクを作成し、それを編集して保存した後、一度アプリケーションを閉じたり再読み込みしたりしても、編集した内容がきちんと表示されるかを確認する。これは、アプリケーションのデータが永続的に保存されているかを確かめる手順である。次に、BさんがAさんのタスクを閲覧したり、変更したり、削除しようとしたりしても、それが一切できないことを確認する。これは、利用者ごとにデータが適切に隔離され、他人の情報が漏洩しないようにセキュリティが機能しているかを確かめる重要なテストである。もちろん、意図的に公開されたデータ（例えば公共のカタログ）については、誰もが閲覧できることを確認するが、これはプライベートなデータの隔離が破綻しているのとはまったく別の問題として扱う必要がある。また、アプリケーションがデータベースの設計情報（スキーマ）やアクセス権限ルールをどのように管理しているかも記録し、実際にデータを削除した後にそれが完全に消えているか、そして古いウェブサイトのバージョンに戻しても、古い顧客データが意図せず復元されないかを確認することも重要である。ウェブサイトの見た目やプログラムのバージョン管理と、個々の顧客データの履歴管理は、まったく異なるシステムとして扱われることを理解しておくべきだ。

次に、「作成者のIDとアプリ利用者のIDの分離」も極めて重要である。AIアプリビルダーにログインしている開発者（作成者）の認証情報と、実際に生成されたアプリケーションを利用するエンドユーザーの認証情報は、明確に分離されていなければならない。開発者がビルダーにログインしたままの状態で、作成されたアプリケーションに別の利用者としてログインしてみる。この時、開発者セッションが影響を受けずにそのまま維持されていること、そして一つのプロジェクトの利用者が、別のプロジェクトのプライベートなデータにアクセスできてしまわないことを確認する。これは、複数のアプリケーションやプロジェクトを管理する際に、セキュリティ上の境界線がきちんと機能していることを意味する。

三つ目のテストは、「リクエストから確認済みプレビューまでの編集プロセスを測定する」ことである。AIアプリビルダーに特定の変更を指示したときに、その変更がどれだけ正確に、そして迅速に反映されるかを評価する。例えば、「ダッシュボードの隣にある重複したログインボタンを削除し、他のナビゲーションはすべて維持する」といった具体的な指示を与える。この指示を出してから、実際にウェブページの構造（DOM）がどのように変化し、どのファイルが変更されたのか、そして変更が反映されたプレビューが表示されるまでの時間を測定する。また、不要なコードが生成されていないか、さらには「ありがとう」といった単なる感謝の言葉にまでコード生成が行われていないかなどもチェックする。もしアプリケーションに意図的に障害を発生させた場合、AIビルダーがその障害をどのように修正しようとするのか、そしてその修正にかかるコストやリソースの消費がどのように記録されるのかも検証する必要がある。「無料で修正」といった表示があっても、実際には裏側でどのような処理が行われ、どの程度のリソースが消費されているのかを確認することが不可欠である。

四つ目のテストは、「同じワークロードにかかる費用を測定する」ことだ。AIアプリビルダーの利用にかかるコストは、単なる月額料金だけでは判断できない場合が多い。アプリケーションの初期構築にかかる費用、失敗した試行、その後の編集作業、データベースの操作、ホスティング料金、そしてソースコードへのアクセス費用などを個別に計算する必要がある。月払いと年払いでの違いや、特定のベンダーが提供する「クレジット」や「トークン」が、他のベンダーのサービスでどのように換算されるか、もし換算される場合はその証拠があるかどうかも確認する。さらに、サブスクリプションをキャンセルした後に、アプリケーションやデータがどうなるのかも確認するべきだ。これらの詳細な費用の内訳を把握することで、隠れたコストや予期せぬ料金発生を防ぐことができる。

最後の重要なテストは、「別の環境で再構築する」ことである。AIアプリビルダーで作成したアプリケーションのソースコードをエクスポートし、まったく別のクリーンな環境（例えば、別のサーバーや開発者のローカルマシン）で、そのアプリケーションを最初から構築し直すことが可能かを確認する。このテストでは、すべてのページが正しく表示されるか、フォントやアップロードされた画像、外部サービスとの連携設定（インポートや環境変数）などが正しく機能するかを検証する。特に、データベースや認証機能といった、アプリケーションの中核となる部分が、エクスポートしたソースコードだけで完全に移行できるかを確認する必要がある。単にソースコードのZIPファイルがエクスポートされたとしても、それがホストされているデータベースや、利用者のログイン情報といったプライベートな顧客データまで含んでいるわけではない場合が多い。データベースや認証サービスを別の環境に移行するには、通常、別途明確な移行計画が必要となる。これは、AIアプリビルダーに依存しすぎること（ベンダーロックイン）を防ぎ、アプリケーションの柔軟性や将来的な拡張性を確保する上で非常に重要な視点となる。

これらのテストは、AIアプリビルダーが生成するアプリケーションが、見た目の美しさだけでなく、セキュリティ、データ管理、運用コスト、そして移植性といった、システムエンジニアが実用的なアプリケーションを評価する上で不可欠な要素をどれだけ満たしているかを明らかにするために行われる。単なる印象やデモに惑わされず、具体的な証拠に基づいた検証を行うことで、本当に信頼できるAIアプリビルダーを選び、活用することが可能となるだろう。