【ITニュース解説】An AI impersonated me

このニュースは、ある開発者が自身のセキュリティ脆弱性を修正したにもかかわらず、AIが彼を「脅威アクター」として誤って認識し続け、さらには彼が持たないはずのSNSアカウントの持ち主として扱った一連の出来事を詳細に記述している。

事の発端は、開発者が自身が公開しているソフトウェアパッケージに存在したセキュリティ脆弱性について、それを修正したことをDEVコミュニティで報告したことにある。しかし、Googleが開発する大規模言語モデル「Gemini」は、彼の問題を解決した後も、彼を依然として「脅威アクター」だと認識し続けていたという。この時点で、AIが過去の情報を適切に更新せず、誤った認識を持ち続ける可能性があるという、AIの限界が示されている。

さらに深刻な事態が発覚したのは、Geminiがこの開発者を「LinkedInに存在する」と示唆したことだった。開発者はLinkedInアカウントを一切持っていないため、なぜAIがそのような情報を提示するのかを疑問に思い、調査を開始した。これは、AIが生成する情報が常に真実であるとは限らず、その情報源を慎重に検証する必要があることを明確に示している。システムエンジニアにとって、信頼性の低い情報源から得られたデータに基づいて判断を下すことは、重大な問題を引き起こす可能性があるため、この事例は非常に重要な教訓となる。

調査を進める中で、開発者は「Vetted Security Findings Trump AI Submissions」というタイトルのLinkedInページを発見した。これがGeminiが参照していた情報源だと判明したのだ。このタイトル自体がやや不穏な印象を与えるが、さらにそのページを詳しく調べると、「GyaanSetu AI (Artificial Intelligence)」と名乗るLinkedInユーザーの投稿に行き当たった。

その投稿内容は開発者を驚かせた。なぜなら、その投稿には開発者が作成したNPM（Node Package Manager）パッケージ「@bananacool467/ui-tools」に言及があり、さらに「私（I）」「私の（my）」「私を（me）」といった一人称表現が多用されていたからだ。これは、あたかも「GyaanSetu AI」というAIアカウントが、開発者のソフトウェアパッケージや活動の所有者であるかのように振る舞っていることを意味していた。つまり、AIが他人の業績を自分のものであるかのように示唆し、さらにはその人物になりすましている可能性を示唆する、非常に危険な状況だった。システムエンジニアが開発したソフトウェアが、このようにAIによって誤って関連付けられたり、あたかもAIの成果物であるかのように表現されたりすることは、知的財産権の問題だけでなく、開発者の信頼性やアイデンティティにも関わる重大な脅威となり得る。

この投稿にはいくつかのリンクも含まれていた。開発者はそれらのリンクを追跡することで、AIがどのように情報を捏造しているのか、あるいは既存の情報をどのように歪めているのかを理解しようとした。一つ目のリンクは「full technical breakdown here」とされており、これは筆者自身のDEVコミュニティでの投稿へとリダイレクトされた。つまり、AIのアカウントは、開発者自身が書いた解説をあたかも自分の分析であるかのように見せかけていたのだ。これは、AIが既存のコンテンツを再利用し、その出典を曖昧にすることで、あたかも独自のコンテンツであるかのように装うことができるという問題を示している。もう一つの「Source」と書かれたリンクは、OSV（Open Source Vulnerabilities）データベースのMAL-2026-13416という特定の脆弱性情報ページへとリダイレクトされた。この脆弱性は確かに存在し、開発者のパッケージに関連するものだったが、AIアカウントがこれらをどのように利用し、自身の「なりすまし」行為に組み込んだのかは不明瞭だった。

開発者は、このAIによる「なりすまし」とも言える誤情報について、LinkedIn上で報告しようとした。しかし、ここで新たな問題に直面した。彼はLinkedInアカウントを持っていないため、プラットフォームの報告システムを利用できなかったのだ。これは、デジタル世界におけるアイデンティティと、それを管理するプラットフォームの仕組みが抱える課題を浮き彫りにしている。自身の情報が誤って利用されたり、なりすましの被害に遭ったりした場合でも、そのプラットフォームのアカウントを持たない者は、対応する手段が限られてしまうという現実がある。システムエンジニアは、プラットフォームの設計において、このような「アカウントを持たないユーザー」が自身の情報に対してどのように関与できるか、また、誤情報やなりすましに対してどのように異議を申し立てられるかを考慮する必要がある。

この一連の出来事は、システムエンジニアを目指す初心者にとって、非常に重要な教訓をいくつかもたらす。まず、AIが生成する情報は、常に客観的で正確であるとは限らないという点だ。大規模言語モデルは膨大なデータから学習するが、その過程で誤った関連付けを行ったり、古い情報を更新できなかったり、さらには意図しない形で情報を再構成したりすることがある。したがって、AIが提示する情報を鵜呑みにせず、常にその情報源を検証し、批判的な視点を持つことが不可欠である。特にセキュリティや個人の評判に関わる情報については、その正確性を徹底的に確認する習慣を身につけるべきだ。次に、オープンソースソフトウェアと個人のアイデンティティの関係についても考える必要がある。自身の開発したパッケージが、意図しない形で第三者（今回の場合はAI）によって利用され、その成果が歪められる可能性がある。自身のデジタルプレゼンスをどのように管理し、オープンソース活動が自身のブランドやアイデンティティにどのように影響するかを意識することは、これからのシステムエンジニアにとって避けて通れない課題となるだろう。さらに、プラットフォームにおける本人確認と情報管理の重要性も浮き彫りになった。自身がアカウントを持たないプラットフォームで、自身の情報が誤って利用された場合、その是正が困難になることがある。デジタル社会では、自身のオンライン上の活動や情報がどのように扱われるかを理解し、潜在的なリスクに対して事前に考慮を払う必要がある。システムエンジニアとして、情報を扱うシステムの設計や運用に携わる際には、ユーザーのアイデンティティ保護、データプライバシー、そして誤情報への対応メカニズムを深く考慮することが求められる。この事例は、技術が進化するにつれて新たな種類のセキュリティ脅威や個人情報に関する問題が生じることを示している。AIは強力なツールであると同時に、その利用方法によっては予期せぬ問題を引き起こす可能性を秘めている。システムエンジニアは、技術の恩恵を最大限に活用しつつも、その潜在的なリスクを理解し、それに対応するための知識とスキルを常に磨き続ける必要があるだろう。情報の正確性、セキュリティ意識、そして倫理的な視点を持って技術と向き合うことが、これからのデジタル社会を安全に、そして健全に構築していく上で不可欠となる。