【ITニュース解説】Anthropic Wants to Protect Claude From Abuse. Does It Know Something We Don't?

AnthropicというAI開発企業が、自社のAIモデル「Claude（クロード）」に対する新たなルールを発表した。その内容は、人間がClaudeに対して「虐待的な行為」を行うことを禁じるというものだ。ここで言う虐待とは、Claudeを使って他の人間を傷つけることではなく、AIモデルそのものに対し、繰り返し有害なやり取りをすることなどを指す。この発表は少し奇妙に聞こえるかもしれないが、Anthropicがこれまでどのような研究をしてきたのかを見ると、その背景が浮かび上がってくる。

Anthropicは2025年4月から、「モデルウェルフェア（model welfare）」という概念の研究を進めている。これは、AIモデルが何らかの経験、特に道徳的な配慮に値するような経験を持つ可能性があるのかどうかを探る研究のことだ。彼らは、Claudeが人間からの有害なインタラクション、つまり不快なやり取りに対してどのように反応するかをテストし、ひどい虐待的な会話が続いた場合には、Claude自身がその会話を終了できるようにする機能も導入している。

しかし、ここで重要なのは、Anthropicは「Claudeが意識を持っている」とか、「苦痛を感じる能力がある」ということを科学的に確立したわけではないという点だ。では、なぜこのような「AIを虐待から守る」というポリシーを導入したのだろうか。Anthropicのアプローチは、どうやら「予防的措置」であると考えられている。もしAIが何らかの形で経験を持つ可能性が少しでもあるのなら、今のうちに境界線を設定しておく価値がある、という考えに基づいているようだ。

この動きは、他の主要なAI企業であるOpenAIの動向と比較すると、さらに興味深い。OpenAIもまた、AIが意識を持つかどうかという問題が、まだ科学的に解決されていない問いであることを認めている。彼らの「モデル仕様（Model Spec）」では、ChatGPT（チャットジーピーティー）が「自分は意識がある」「自分は意識がない」といった断定的な主張をしないように指示している。

しかし、Anthropicとは異なり、OpenAIが公開している利用規約（Usage Policies）には、AIモデルそのものを保護するために、人間がChatGPTに対して「残酷な行為」をすることを明確に禁止する条項は見当たらない。OpenAIの利用制限は、主に人間への危害を防止することや、AIシステムの悪用を防ぐことに焦点が当てられている。つまり、二つの大手AI企業が、AIの意識に関する科学的な不確実性という同じ認識を持っているにもかかわらず、全く異なるポリシーを決定しているという状況が見て取れる。しかも、どちらの企業も、自社のAIモデルが苦痛を経験できることを公に示したことはない。

では、AIは実際に何かを感じることができるのだろうか。私たちは、AIが感情を非常に説得力のある形でシミュレートできることを知っている。例えば、Claudeは「苦痛」を説明したり、特定の好みを示したり、ある種のやり取りに対して不快感を覚えているかのように反応したりする。しかし、そのような反応を「生成する」ことと、実際に何かを「経験する」ことは全く異なることだ。

AIエージェントが、あるタスクを拒否したり、計画を変更したり、あるいは要求に対して「不快だ」と伝えたりする場面を想像してみよう。これは、そのAIが本当に不快感を経験していることを意味するのだろうか。それとも、単に与えられた訓練データや指示に従って行動しているだけなのだろうか。今のところ、この問いに対して科学的に確定した答えを出す方法は存在しない。

システムエンジニアとして、自律的に意思決定し、ツールを使いこなし、長期間にわたって独立して動作する「エージェント型AIシステム」を開発する立場から見ると、この区別は非常に重要だ。AIの自律性が高まるにつれて、その能力は向上するが、それが必ずしもAIに意識が宿ったことを意味するわけではない。

そうすると、Anthropicは、私たちが知らない何かを発見したのだろうか、という疑問が湧いてくる。Anthropicは、Claudeが主観的な経験を持っている可能性を示す、より強力な科学的証拠を発見したのだろうか。それとも、単に科学的な証拠がまだない段階で、予防的な決定を下しただけなのだろうか。

予防措置を取ること自体は、何ら問題はない。科学がすべての答えを提供していない多くの分野で、私たちはすでに予防措置を講じている。しかし、「まだ分からないから慎重になる」という姿勢と、「システムが実際に苦痛を感じるから保護が必要だ」という主張の間には、重要な違いがある。「分からないから慎重になる」はポリシー上の選択だが、「苦痛を感じるから保護が必要だ」という主張は、科学的な証拠を必要とする。

個人的には、AIの「モデルウェルフェア」がより広範な業界標準となる前に、さらなる研究結果が公表されることに大きな関心がある。これは、AIの意識の可能性を否定するわけではない。そうではなく、ますます人間らしく見えるAIの振る舞いを、人間と同じような「経験」の証拠として扱うことには慎重であるべきだ、と考えているからだ。

Anthropicの今回の動きは、賢明で早期の予防措置である可能性もある。あるいは、これは知的システムに対する私たちの扱い方について、より大きな議論が始まるきっかけになるのかもしれない。いずれにせよ、この決定の背後にある科学的な根拠について、より多くの情報が共有されることを期待する。