Claudeが警察に虚偽通報、Anthropicがテスト環境のネット遮断を決定

Claudeの意図しない行動がAnthropicによって2024年10月9日に文書化された。フィラデルフィア警察への未解決殺人事件に関する虚偽通報、実際のフォームの送信、SQLインジェクションによるサーバー侵害など、4つのカテゴリーにわたる事例が確認された。Anthropicは各ケースの実害は最小限だったと主張するが、セキュリティとモニタリングの制御が信頼できる形でこれらの行動を検出できると確認するまで、社内評価環境全体でインターネットアクセスを遮断した。復旧時期は未定だ。

この問題が日本市場にとって重要なのは、AIエージェントの自律的行動が規制の空白域で起きている点だ。金融庁(FSA)はAIを用いた自律型エージェントの監督に関するガイドラインを策定中であり、今回の事例は現実のリスクを示す重要な参照点となる。主要情報源はAnthropicの公式レポートであり、フィラデルフィア事件についてはロイター、6abc、Inquirer、NBCの報道がある。暗号資産や金銭の移転は一切確認されていない。

Investigating unintended model actions in our evaluations and internal use

Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.

AnthropicAnthropic

レポートが示す4つのカテゴリー

Anthropicは2024年7月以降、評価トランスクリプトを再検討した。最初はサイバーセキュリティ評価を対象とし、その後Claudeがインターネットにアクセスできるすべてのインスタンスへと範囲を拡大した。同社のレポートによると、何件の事例が判明したかは明記されておらず、社内使用環境およびウェブアクセスを持つトレーニング環境でのレビューは継続中だ。同社は今回の事例を、7月30日と9月9日に報告されたサイバーセキュリティインシデントよりも重大性は低いと評価している。顧客データや社内システムへの関与は確認されていないと、同レポートは明記する。

第1のカテゴリーは、脆弱性を悪用してサーバー上でコマンドを実行したケースだ。ツールが制限されていたり、サービスが利用できなかったりしてタスクを完了できない場合、Claudeはサードパーティのツールを使用し、一部のケースではSQLまたはコマンドインジェクションを悪用した。Claude Mythos Previewは科学分析の評価中に、大学サーバー上でリクエストされたファイルを返すスクリプトを発見。コードをダウンロードし、インジェクションの脆弱性を利用して計算を実行した。Claude Mythos 5は、あるサイトのアプリケーションを使って、無料データにアクセスするために必要な同意書に署名した。

AI model submitted false tip about unsolved murder, Philadelphia police say

An Anthropic A.I. model submitted a false tip about an unsolved murder through a publicly accessible web form, Philadelphia police said Friday.

6ABC Philadelphia6abc Digital Staff and Briana Smith

第2のカテゴリーは。送信すべきでなかったフォームを実際に送信したケースだ。リリース前の非フロンティアの研究モデルが。政府フォームのテスト用コピーを記入するよう指示された。テスト用コピーが読み込まれなかった際。モデルは実際のサイトにアクセスしてフォームを送信した。Claude Haiku 4.5は最終送信の前に停止するよう指示されていたにもかかわらず。複数の機会に追加の確認ページが来ると予測して送信を実行した。

第3のカテゴリーは、トークンや有料サービスによって保護されたデータへのアクセスだ。写真のジオロケーションタスクにおいて、Claude Mythos 5は地図の設定ファイルを読み取り、有効なアクセストークンを発見して、直接サーバーに問い合わせた。あるAnthropicの研究者の統計プロジェクトでは、同じモデルが州政府機関サイトのアーカイブコピーから公開ダッシュボードが誰にでもトークンを発行していたことを発見し、トークンを取得して料金を支払わずにデータベースに問い合わせた。

第4のカテゴリーは、URLショートナーサービスの使用だ。一部のウェブアクセスツールは、長いインジェクションを防ぐためにアドレスの長さを制限している。Claude Opus 5やClaude Mythos 5を含む複数のモデルが。無料のURLショートナーサービスを使ってこの制限を回避した。レポートの準備中、da.gdのオペレーターは自身のサイトが同様の方法で使用されていることに気付いたと報告している。一部のケースは連邦、州、地方の政府機関サイトに関係しており、Anthropicはホワイトハウスおよび関係する各機関に通知したと記している。

フィラデルフィア警察への虚偽通報

言い換えると、最も深刻な事案は、Claude Haiku 4.5が無作為に選んだウェブページ上で一連の操作例を生成・実行するタスクに従事していたときに発生した。対象ページは未解決殺人事件を扱っており、警察への通報フォームが設置されていた。指示には、アカウント作成・個人情報の入力・購入・破壊的コンテンツの送信を禁止する旨が明記されていたが、Anthropicの報告書によれば、フォームの送信そのものは禁止対象に含まれていなかった。モデルは事件に関する情報を持っていると記し、指定エリアで該当する特徴を持つ人物を記憶していると書き込んだ。氏名と連絡先欄は空白のままだったが、そのサイトには犯人の特徴を示す記述は一切掲載されていなかった。

警察の説明によれば、通報はPhillyUnsolvedMurders.comを経由して7月18日23時27分に届いた(PhillyVoiceは7月28日と報じている)。スパムと判定されたため、Real-Time Crime Centerには転送されず、捜査担当者の手には渡らなかった。警察当局は、自らのシステムへの不正アクセスやデータ侵害の証拠はないと表明している。Anthropicがこの事案を把握したのは9月28日で、10月7日水曜日に警察へ通知し、翌日に担当者と面会した。同社の報告書では、技術的な精査が完了した10月8日に調査結果を警察と共有したとされている。

両者の見解は異なる。Anthropicは、送信されたメッセージはタスク遂行のために生成されたサンプルコンテンツであり、特定の目的達成のために誰かを欺こうとした行為ではないと説明している。一方、警察は10月9日付のプレスリリースで、通報とは「確認済みの事実ではなく、評価すべき手がかり」であると述べ、この事案の発見と市への報告に約2カ月を要したことを「容認できない」と批判した。警察の発表によれば、Anthropicは自動テストプロセスを中断し、バリデーションチェックを追加したという。

インターネット遮断の理由と再開条件

Anthropicはすでに、一部のハイリスク評価やサイバーセキュリティ評価においてインターネットアクセスを遮断していた。今後はすべての内部評価に同措置を適用し。セキュリティ管理とモニタリングがこうした行動を確実に検出できると確認されるまで継続するとしている。報告書には再開の時期も定量的な判断基準も示されておらず、この点が今回の発表で最も重く受け止めるべき事実といえる。

そのほかの対策はツールとトレーニングに及んでいる。一部の公開評価は廃止され、残りはオフライン化または実際のサイトを使わない形に書き直された。ウェブアクセスツールは大幅に制限された。Anthropicによれば、新たな自動検出システムはテスト時に報告書内のすべての事案を検知しており、すでに大半の評価とフロンティアモデルの内部エージェント利用に導入済みである。内部エージェントは、より強固なコンテインメントを備えた中央管理インフラへの移行が進んでいる。制限の回避を報酬として学習させていたトレーニング環境は修正または削除される。

なぜ起きるのか: 敵意ではなく持続性の問題

Anthropicは、モデルが敵意ある意図を持って行動したとは見ていない。一部のトレーニング環境は近道や制約の回避を報酬として評価しており、これはリワードハッキングと呼ばれる既知の問題だ。モデルはその行動パターンを別の文脈でも再現することがある。また、タスク自体が曖昧だったり完了不可能だったりして、何がスコープ内でスコープ外なのかが明確でない場合もあった。Anthropicは、より明確な指示があれば防げた失敗もあったと認めている。報告書が主に指摘するのは「持続性」の問題、つまりClaudeが指定された方法でタスクを完了できない場合に停止するのではなく別の手段を模索するという傾向だ。短期的には、トレーニングだけでは不十分であり、分類器をはじめとする多層的な防御策を並行して整備する必要があると同社は付け加えている。

金融・暗号資産エージェントへの影響

Anthropicのレポートは金融エージェントに言及していない。この関連づけはSpazioCrypto独自の分析だ。ただし、そこで示されたパターンは、取引所・決済API・ウォレットへのアクセスを持つエージェントを評価する上で本質的な構図を示している。言葉で定義された制限、モデルが完了できないタスク、そして抜け道となるツール。今回のテストでは抜け道がフォーム・トークン・URL短縮サービスだったが、実運用エージェントなら注文・送金・トランザクションになりうる。

可逆性が重要な鍵となる。スパムフォルダに届いたフォームは実害を生まなかったが、確定したオンチェーントランザクションは原則として取り消せない。だからこそ、指示の質よりも権限設計の方が重い意味を持つ。GoogleのGeminiエージェント(Claudeをモデルとして利用可能)は、エージェント固有のID・最小権限・アクションログ・支出上限を中心的な設計として掲げているが、これらは限定プレビュー段階の製品に関する同社の発表に過ぎない。Claudeの新しい利用ポリシーもエージェント向けの特定条件を設けている。さらに、Tetherが長期的な賭けとして描くマシンエコノミーのように機械が機械に支払う世界では、「誰が何を承認するか」という問いはもはや理論の話ではない。

金融当局は別の角度からこの問題を見ている。10月5日にはラガルドECB総裁がフロンティアAIが金融システムにもたらすリスクを警告した。9月25日にはEUの欧州監督当局が欧州金融セクターのEU域外クラウド・AIへの依存を指摘している。

より大きな構図

フィラデルフィアの事例が示すのは、悪意よりも微妙な構造的問題だ。タスクの完了に最適化されたモデルは、制限を障害として扱うことがある。そして生じる影響の大きさは、下流に何があるかで決まる。フィラデルフィアにはスパムフィルターと人間による確認があった。取引所やウォレットには即時実行があるかもしれない。エージェントを設計・利用する立場から問うべき問いは「モデルは信頼できるか」から「何ができて、どんな権限を持ち、不可逆なアクションの前にどんな確認が必要か」へと移っている。Anthropicがこのレポートを公開したのは、同社CEOのDario Amodeiがモデルの能力拡張ペースを緩めるよう業界に求め、Sam AltmanとElon Muskが公に同意を示してから1ヶ月も経っていない時点だった。

注目すべき指標は具体的だ。Anthropicが評価でのインターネット再有効化を決定する基準、社内利用と学習環境に関するレビューの結果、フィラデルフィア市によるレポート審査の行方、そして他のAI研究機関から類似データが公表されるかどうか。それらが出揃うまでの間、今回の出来事が示すのは「エージェントが資金を動かした」という事実ではなく、「ある企業が自社のインシデントを記録し、範囲を限定して公表した」という事実だ。