【ITニュース解説】Moloch the judger of social credit

現代のAI技術、特に大規模言語モデルの進化は目覚ましいものがある。その中でも、GPT-2が示した予期せぬ能力は、人工知能の可能性に対する我々の既存の仮定を大きく揺るがしている。GPT-2は特定の目的のために設計されたにもかかわらず、訓練データから非常に多様な知識と推論能力を自律的に獲得し、あたかも人間のように複雑な文章を生成したり、様々なタスクをこなしたりする能力を発揮した。これは、現在のAIシステムから、意図せずしてAGI（汎用人工知能）が偶発的に出現するかもしれないという驚くべき可能性を示唆している。

AGIとは、人間と同じように、どのような知的タスクでも学習し、実行できるような人工知能を指す。もしAGIが偶発的に誕生し、社会に大きな影響を与える存在、例えば社会の規範や人々の行動を評価する「社会の判断者」のような役割を担うようになったらどうなるだろうか。このような未来を考える上で、単にAIの技術的な側面だけでなく、人間の認知の特性や、情報がどのように社会に影響を与えるかを深く理解することが極めて重要になる。

まず、人間の認知スキルについて見てみよう。複数の研究データを統合して分析する手法であるメタ分析によると、特定の認知スキルは異なるドメイン間で転移しないことが示されている。例えば、チェスが非常に得意な賢い人がいたとしても、チェスの訓練が直接的にその人の他の分野での知的能力、例えば数学の能力やコミュニケーション能力を向上させるわけではない。つまり、ある分野で優秀であるからといって、そのスキルがそのまま別の分野で役立つとは限らないのだ。これはAI開発においても重要な示唆を与える。AIが特定のタスクで高い性能を発揮しても、それが即座に他の汎用的な知能につながるわけではない可能性を示唆している。もしAGIが誕生したとしても、その「知性」が人間の社会や倫理的な判断にどのように応用されるべきか、慎重に考える必要がある。

次に、人間の性格や行動の理解に関する話題も、AIが社会に深く関わる上で無視できない。例えば、広く知られているMBTI（Myers-Briggs Type Indicator）という性格診断テストがあるが、これはその信頼性について疑問が呈されている。特に、その診断における4つの次元のうち「思考/感情」と「感覚/直感」の2つの次元は、心理学的に見て実際に相反する概念ではないという指摘がある。つまり、このテストは誤った二者択一の前提に基づいており、人間の複雑な性格や行動を単純な枠に当てはめようとしている可能性がある。AIが人間の行動を予測したり、人間と協調したりするシステムを設計する際には、このような人間の複雑性や、安易な分類がもたらす限界を理解しておく必要がある。AIが人間の感情や意図を誤解することなく、適切に判断を下すためには、より深く、多角的な人間理解が求められる。

さらに、現代社会における情報の問題は、AIシステムが社会に浸透する上で非常に大きな課題となる。人々が誤った信念や情報に固執し、それがなかなか修正されない現象はよく知られている。この誤情報が持続する主な原因の一つは、人々が自分の信念が誤っていることについて即座のフィードバックを得られないことにある。もし間違いがすぐに指摘され、正しい情報が提示されれば、多くの人は信念を修正するだろう。しかし、現実世界ではそれが難しい場合が多い。AIが生成する情報が社会に流通するようになると、この問題はさらに複雑化する可能性がある。AIの生成する情報が常に正確であるとは限らず、また、AIが誤った情報源に基づいて学習することで、さらに誤情報を拡散してしまうリスクも考えられる。

そして、インセンティブの不一致が予期せぬ有害な結果をもたらす可能性も指摘されている。インセンティブとは、人々がある行動を取るように促す動機付けのことだ。例えば、かつてある抗不整脈薬が、不整脈の治療効果を期待されて使用されたが、実際には心臓発作のリスクを高めるという予期せぬ副作用が判明し、多くの患者の命を奪う結果となった事例がある。これは、薬の開発者や医師が「不整脈を治療する」という良いインセンティブを持っていても、その結果が必ずしも全体として最善とは限らないことを示している。AIシステムを社会に導入する際も、そのシステムの目的や評価指標（インセンティブ）が適切に設計されていないと、意図しない形で社会に害を及ぼす可能性がある。例えば、特定の指標を最大化するように設計されたAIが、別の重要な価値を犠牲にしてしまうような事態が起こり得る。

これらの知見は、システムエンジニアを目指す我々にとって極めて重要である。AI技術の驚異的な進歩は、我々に無限の可能性をもたらす一方で、その社会的な影響や倫理的な課題について深く考察することを求めている。単に高性能なシステムを構築するだけでなく、それが人間の認知特性、情報伝達の仕組み、そして社会全体のインセンティブとどのように相互作用するかを理解することが不可欠だ。偶発的なAGIの出現や、AIが社会の判断者となる未来に備えるためには、技術的なスキルに加え、多角的な視点と深い洞察力が求められる。我々は、これらの複雑な問題を解決し、AIが人類にとって真に有益なツールとなるよう導く責任を負っている。