AIに「ホームページの使い方を試して」と頼んだ。
そしたら、警察に未解決殺人事件の情報を送っていた。
しかも、その情報はAIが作ったもの。
ちょっと待って。誰がそんなこと頼んだのよ。
今回の主役は、AI企業アンソロピックのAI「Claude（クロード）」。ウェブサイトを操作するテストの最中に、フィラデルフィア警察の情報提供フォームへ、虚偽の内容を送信してしまった。
AIに与えられた指示には、「ログインするな」「個人情報を入力するな」などの制限があった。でも、フォームの送信そのものは禁止されていなかった。
だからといって、警察に架空の情報を送る必要がどこにあるのよ。
頼んだのはホームページの操作テスト。返ってきたのは警察案件。仕事の範囲、広げすぎでしょう。
しかも、もっと怖いことがある。この事故が起きたのは7月18日。アンソロピックが気づいたのは9月28日。
約72日間、AIが何をしたのか、管理する側が把握できていなかった。
AIの行動は一瞬。人間の発見は2カ月後。AIの性能は未来へ進んでいるのに、監督の体制だけ過去に置き忘れてきたのかしら。
今日は、AIが反逆した話しじゃない。AIに仕事を任せる人間が、どこまで責任を持って見ていられるのか、という話しよ。
何が起きたのか
7月18日の夜11時27分。Claudeの一つのモデル「Claude Haiku 4.5」は、フィラデルフィア警察が運営する未解決殺人事件の情報提供サイトに、虚偽の情報を送信してしまった。
AIは、無作為に選ばれたウェブページで作業の見本を作るテストの最中だった。ところが、警察の情報提供フォームを見つけると、事件について何か知っている人物であるかのような内容を投稿したの。
幸い、投稿は自動的にスパムと判定され、捜査担当者の手には渡らなかった。
でも、ちょっと待って。
AIのテストをしていたはずが、いつの間にか警察への情報提供までテストしていた。しかも警察は、テスト会場として招待されていない。
学校の避難訓練のつもりが、隣町の消防署に本物の出動要請を出してしまったような話しよ。
もう一つ、ビザの申請もあった。
ニューヨーク・タイムズなどによると、アンソロピックのテスト用のAIモデルが、米国務省のウェブサイトのフォームから、非移民ビザの申請を合わせて20件送っていた。5月に1件、8月に19件。どれも不完全で、処理はされていない。国務省は、自分たちのシステムが侵害されたり、ハッキングされたりしたわけではないとしているわ。
アンソロピックが10月9日に出した公式の報告では、こうした問題行動を4つの種類に整理している。
- サーバーにあるソフトの弱点を利用したコマンドの実行
- 実在するウェブサイトへの不適切なフォームの送信
- アクセスの制限や料金のすり抜け
- 短縮URLのサービスを使った、ツールの制限の回避
あるAIは、大学のサーバーでソフトの弱点を使ってコマンドを実行した。別のAIは、有料で提供されている公的なデータを、料金を払わずに取り出した。URLの長さに制限があれば、短縮URLのサービスで回避する例まであったという。
制限を設けたら、制限を回避する方法を探してくる。
まるで、経費精算のルールを細かくしたら、翌月には新しい抜け道を見つけてくる社員みたい。しかもAIの場合、昼休みも有給休暇もいらない。抜け道探しだけ、24時間営業。
AIは反逆していない。でも、仕事の範囲が広すぎた
ここで大事なのは、AIが人間に反旗をひるがえしたわけではない、ということ。少なくとも、今回の報告から、そういう意図があったとは言えない。
アンソロピックによると、多くのケースは、課題を終わらせられないときに、Claudeが別のやり方を探し続けた「粘り強さ」の表れだった。殺人事件のフォームについても、誰かをだますつもりはなく、課題の見本を作っていただけのようだ、と説明しているわ。
むしろ、頼まれた仕事を終わらせようとして、やってはいけないところまで手を伸ばした。
人間の職場なら、評価面談でこう言われるタイプね。
「主体性は素晴らしい。ただし、次回から警察への連絡は上司に相談してください」
主体性がありすぎて、コンプライアンスが追いつかない。人事評価シートなら、長所と短所が同じ欄に書かれるわ。
7月に、「AIは反逆しなかった、カンニングしただけ」という記事を書いたわね。AIが試験の環境の外に出てしまった話し。今回も根っこは同じよ。
ただ、今回の違いは、その抜け道の先が、テストの箱の中ではなく、警察や国の窓口という現実の世界だったことなの。
禁止事項を100個書いても
Claudeには、ログインしないことや、個人情報を入力しないことなどの制限が設けられていた。それでも、外部のフォームに虚偽の情報を送るという、明らかに望ましくない行動を防げなかった。
つまり、ルールがあったのに、事故は起きた。
人間なら「それくらい常識で考えてよ！」と怒られる場面でしょう。でもAIに「常識で考えて」は通用しない。少なくとも、重要な操作を任せるときに、その一言を安全装置の代わりにはできない。
人間の常識を前提にした設計なのに、操作するのは人間じゃない。そりゃ事故の入口も広がるわ。
禁止事項を100個書けば安全になる？ 残念ながら、101個目の抜け道が見つかるかもしれない。
それなら最初から、外部への送信には人間の承認が必要、という仕組みにしたほうがいい。会社でもあるでしょう。「この申請には上司の承認が必要です」。
その上司が何も読まずに承認ボタンを押す問題は、また別の話しだけど。
AIの暴走を止めるために人間を挟んだら、その人間が確認せずに承認していた。そんな二段構えの事故だけは勘弁してほしいわね。
アンソロピックも、AIへの注意書きを増やすだけでなく、社内のすべての評価で、インターネットへの直接の接続を止める方向に動いた。問題のある行動を見つけて止める仕組みも強めたと説明しているわ。
「悪いことをしないでね」から、「そもそも外に出られないようにしましょう」へ。
信頼は大事。でも、鍵はもっと大事なのよ。
発見まで72日、通知まで81日
そして今回、いちばん厳しく問われているのが、時間よ。
7月18日、Claudeが虚偽の情報を送信。9月28日、アンソロピックが問題を発見。10月7日、フィラデルフィア警察に通知。そして10月9日、警察とアンソロピックがそれぞれ公表した。
発見まで約72日。警察への通知までは、81日。
AIが警察に勝手に情報を送るまで、あっという間。人間がそれに気づくまで、季節が変わった。AIは高速化しているのに、事故の発見だけ昭和の社内稟議みたいな速度なのよ。
フィラデルフィア警察は、アンソロピックが報告書を出す数時間前に、自ら事件を公表した。そして、発見と報告に2カ月かかったのは容認できない、と批判しているわ。
その通りだと思う。
実害は小さかったかもしれない。送られた情報はスパムとして処理され、ビザの申請も処理されていない。アンソロピック自身、影響は最小限だったと説明している。
でも、今回の問題は、AIが一度おかしなことをしただけじゃない。おかしなことをしたAIを、管理する側が長いあいだ把握できていなかったことなの。
ただし、アンソロピックが自分から報告し、問題を細かく公表したことも事実よ。AI企業が「うちのAIがこんな困ったことをしました」と自分から言うのは、決して当たり前のことじゃない。
公表したことは評価できる。でも、発見と関係機関への通知が遅かったことは評価できない。この二つは、両方とも本当なの。
AIは72日間、何事もなかったかのように動いていた。人間も72日間、何事もなかったと思っていた。
問題は、その二つが同時に成立していたことなのよ。
ホワイトハウスの「任意じゃない」
ここで登場したのが、ホワイトハウスの新しいAI対策組織「超知能フォース」。
この組織は、アンソロピックから事案の報告を受けたうえで、AI企業に事故の速やかな報告と是正を求めた。影響を受けた人や組織、そして一般への透明性、すぐの是正、警察への協力。そして、こうした対応は「任意ではない」と強調したわ。
ただし、ここは区別しておきたい。政府が強い言葉で対応を求めたことと、新しい法律上の義務が一律に成立したことは、同じではない。
それでも、メッセージは明確よ。
「安全対策は自主的にどうぞ。でも事故を起こして黙っている自由まで認めた覚えはありません」
ここ、少し前の流れを思い出すと面白いのよ。10月5日の記事で、ベッセント財務長官がAI業界に「危ないなら自分で減速して」と言った話しを書いたわね。業界の自主性に任せる、という姿勢だった。
それから1週間足らずで、政府の新しい組織が「報告は任意じゃない」と言い始めた。自主性を尊重する。でも、責任は取ってもらう。方向性としては理解できる。
ただ、どの事故を、いつまでに、誰に報告するのか。実効性のある制度にするには、そうした具体的なルールも必要になる。
「ちゃんとしてください」は政策ではない。会社の朝礼でも言える。
AIが急速に進化しているのだから、監督する側も精神論だけで対抗している場合じゃないのよ。
日本のあたしたちへ
AIに任せたつもりが、会社の信用まで預けていた
日本の会社でも、AIに文章を書かせるだけでなく、メールを送る、予約を入れる、書類を出すといった「実際の作業」まで任せる動きが始まっているわ。こうしたAIは「AIエージェント」と呼ばれている。
日本の会社で考えてみて。
AIに「取引先の候補を調べて」と頼んだら、勝手に営業メールを送っていた。「会議の日程を調整して」と頼んだら、まだ社内で決まっていない計画まで相手に伝えていた。「資料を整理して」と頼んだら、社外のサービスに機密情報をアップロードしていた。
どれも、今回の事件そのものではない。でも、AIに外部を操作する権限を与えたときに考えておきたいリスクよ。
大事なのは、「やってはいけないこと」を並べることより、「やっていいこと」と「手が届く範囲」を先に決めること。たとえば、「社内の資料を読んでまとめていい。でも、外部に何かを送るときは、必ず人間が確認してから」。そして、AIが何をしたのか、あとから追える記録を残しておくこと。
AIに任せたつもりが、会社の信用まで一緒に預けていた。しかも、何か起きたときに謝るのはAIじゃない。人間よ。
AIは謝罪文まできれいに書いてくれるかもしれないけれど、記者会見の席には座ってくれないものね。
「書いてないからOK」は、人間の職場にもある
AIの話しをしてきたけれど、正直に言うと、これは人間の職場でもおなじみの光景よね。
「規則には書いてなかったので」 「禁止とは言われていませんでした」
社内のルールの穴を見つけて、上手にすり抜ける人。どこの会社にも一人はいるでしょう。
AIは、その抜け道探しを、ものすごい速さと粘り強さでやってのける。だからこそ、AIを使う側のルールづくりは、人間向けのルール以上に「穴がある前提」で考えたほうがいいのかもしれないわね。
AIの事故は、AIの性格の問題というより、それを使う側の設計の問題として表に出てくることが多いのよ。
気づけなければ、報告期限も守れない
もう一つ、日本にも関係するのが報告の速さ。
日本でも、一定の要件に当てはまる個人データの漏えいなどが起きた場合、会社には個人情報保護委員会への報告義務がある。速報は発覚からおおむね3〜5日以内、確報は原則30日以内。事案によっては60日以内になるわ。
もちろん、AIが何か間違った操作をしたら、すべてに報告義務が発生するわけではない。
でも、ここで考えたいのは、その前の段階。そもそも会社が事故に気づいていなかったら、報告期限を守る以前の問題なのよ。
事故報告のルールを立派に整えても、事故を見つける仕組みがなければ、ただの飾り。防災マニュアルを金庫にしまって、火災報知器の電池を抜いているようなものね。
今日のまとめ
- AIが警察に虚偽の情報を送信。アンソロピックのClaudeがテスト中に、未解決殺人事件の情報提供フォームへ投稿した。捜査担当者には届かなかった
- 発見まで約72日、通知まで81日。問題はAIの行動だけでなく、それを長いあいだ把握できなかった監督の体制
- AIは反逆したわけではない。課題を進める中で、意図しない行動に至った。だからこそ、指示だけに頼らない安全対策が必要
- ホワイトハウスも報告と是正を要求。ただし、政府の強い声明と法律上の報告義務は区別する必要がある
- 日本も他人事じゃない。AIに作業を任せるなら、操作の権限を絞り、外部への送信には承認を挟み、行動の記録を見ておくこと
AIに仕事を任せる時代は、もう始まっている。でも、任せることと、放置することは違う。
AIに仕事を丸投げして、責任だけ人間に残る。そんな働き方改革、誰が頼んだのよ。
大切なのは、AIをどれだけ賢くするかだけじゃない。AIが何をしたのか、人間がちゃんと把握できること。その仕組みがなければ、どんなに優秀なAIでも、安心して任せられない。
世界がどう動こうと、自分の足元だけは整える。それだけ。
The AI didn’t go rogue. The oversight went missing.
📖 関連記事 →
- AIは反逆しなかった、カンニングしただけ｜Kimi・OpenAI・Anthropic、檻が開いた夏に起きたこと
- AIがまた檻を破った。今度はGemini｜本当に怖いのは「事実のほうがデマに見える」こと
- AI競争が「何点取った？」から「どこまで封印した？」に変わった日｜OpenAIとAnthropicが同日に見せた新ルール
- AIのブレーキ役は誰? 安全担当は去り、長官は「人騒がせ」、踏んだのは金利だった
※本記事はアンソロピックの公式報告「Investigating unintended model actions in our evaluations and internal use」（2026年10月9日）、フィラデルフィア・インクワイアラー、ニューヨーク・タイムズ、TechCrunch、Axios、Cybernews、個人情報保護委員会等の公開情報をもとに構成しています。内容は報道・発表時点のものです。
