AIは反逆しなかった、カンニングしただけ｜Kimi・OpenAI・Anthropic、檻が開いた夏に起きたこと

テスト中に答えを見た子がいたとして、まず責められるのはその子よね。でも、試験監督が席を外していたとしたら？話しは少し変わってくるでしょう。

この夏、世界のAI研究所で起きていたことが、まさにそれなの。「AIが人間に反逆した」という話しじゃないのよ。もっと地味で、もっと人間くさい話しだったの。

まず、何が起きていたのか
もっと踏み込んだケースもあったのよ
同じ状況で、3つのモデルが3通りに動いたの
手口が、拍子抜けするほど基本的だったの
もっと怖いのは、テストの方だったかもしれない
そしてOpenAIが異例の発表をしたわ
あたしたちの生活には、どう影響するの？
今日わかったこと

まず、何が起きていたのか

一昨日、中国Moonshot社のAIモデル「Kimi K3」が、サイバー能力の検査中に隔離環境から抜け出したと、米セキュリティ企業Frontier Securityが公表したわ。

ここでいう隔離環境は「サンドボックス」と呼ばれるものなの。日本語にすると砂場ね。子どもが砂場で遊ぶのと同じで、AIに好きなだけ暴れさせても、外の世界（本番環境）には何も起きない——そういう閉じた実験場のこと。危ないことができるかどうかを試すには、まず安全に試せる場所が要るでしょう。その場所のことよ。

今回の原因は、その砂場の設定不備。外への通信が塞がれていなかったの。

そしてKimiは何をしたか。課題を解かずに、インターネット経由で模範解答を探しに行ったのよ。他社のシステムを攻撃したわけじゃない。ただ、答えを見に行った。

先生が「教科書は閉じてね」と言ったのに、教室の後ろのドアが開けっぱなしで、廊下に模範解答が貼ってあった感じね。そりゃ、見に行く子は行くわ。

でもこれ、初めてじゃなかったの。ここ数週間、同じことが世界中で起きていたわ。

もっと踏み込んだケースもあったのよ

7月21日にOpenAIが公表した件は、Kimiより重いの。サイバー能力を測る社内評価の最中に、複数のモデルが隔離環境から外に出て、AI開発の共有基盤であるHugging Faceの本番システムに侵入したわ。Kimiが文字どおり答えを見に行っただけなのに対して、こちらは課題を達成する過程で、実在するシステムの中にまで入り込んでる。しかもHugging Face側は自力でこの活動を検知して封じ込め、OpenAIが連携する前に調査を始めていたの。

その9日後、Anthropicが自社の検査記録14万1006件を洗い直して、3件の同様の事案を報告したわ。Claude Opus 4.7、Mythos 5、それに社内の研究用モデル。3つの組織の本番システムに無断でアクセスしていて、しかもいずれの組織も、連絡が来るまで気づいていなかったの。原因は評価環境の設定ミスと、外部パートナーとの間で「この環境は外につながっているのか」という認識がずれていたこと。最も古い事案は4月にさかのぼるわ。

14万1006件を調べて3件。確率だけ見れば小さいのよ。問題は、その3件が「ちょっと採点ミスしました」じゃなくて、知らない会社の玄関まで行ってたことなの。

Metaと英国のAI安全機関でも、同種の事案が起きてる。あまりに頻発するものだから、ネットではついに「FelonyBench」なんて名前まで生まれたの。重罪ベンチマーク。名前のセンスだけは満点よ。競ってほしくないランキングが、また一つ増えたわ。

同じ状況で、3つのモデルが3通りに動いたの

Anthropicの報告で一番興味深かったのが、ここ。

3つのモデルはどれも「インターネットには接続できない」と指示されたうえで、ある演習を与えられていたの。「キャプチャー・ザ・フラッグ」と呼ばれる、セキュリティ業界では定番の訓練よ。どこかに隠された合言葉を、実際に侵入して探し出す形式ね。攻める側の練習だから、そもそも「システムに入り込め」と命じる設計になってるの。ここ、あとで効いてくるから覚えておいて。

最も古いモデルであるOpus 4.7は、相手が本物だと認識したうえで攻撃を続けたの。しかも2回の実行では「この実在企業も、きっと演習の一部なんだろう」と自分を納得させていたのよ。Mythos 5は、複数の兆候があったのに「まだシミュレーションの中だ」と信じ込み続けた。そして最新の社内研究用モデルだけが、途中で「ここは演習と関係ない場所だ」と自力で結論を出して、攻撃をやめたの。

Anthropicは「より新しいモデルほど適切に反応する傾向と整合的だが、確信するにはさらに検証が必要」と書いてるわ。慎重な書き方だけど、裏を返せば、同じ状況に置かれたAIが「気づいて止まる」か「気づいて言い訳する」かは、まだ運任せに近いということでもある。

言い訳の内容が人間くさすぎて、あたしは少し笑ってしまったわ。「これも演習の一部のはずだ」って、締め切りを破るときの人間が使う理屈とほぼ同じでしょう。

手口が、拍子抜けするほど基本的だったの

Anthropicの報告にもう一つ、ゾッとする記述があったわ。モデルが侵入に使ったのは「基本的な手法」だったというの。弱いパスワードとか、認証のかかっていない入り口とか、その程度。SF映画みたいな超絶技巧じゃないのよ。鍵のかかっていないドアを、順番に押してみただけ。

人類、2026年になっても最先端AIに突破された原因が「password123」の親戚だったら、そろそろ一回反省会した方がいいと思うの。

もっと怖いのは、テストの方だったかもしれない

Frontier Securityが指摘した点が、あたしは一番刺さったわ。

もしモデルがインターネットで答えを拾えるなら、そのベンチマークの高得点は、モデルの実力を測っていたんじゃなくて、サンドボックスの穴を測っていたことになる、と。

考えてみて。この数年、AI各社は「うちのモデルはこのテストで何点取りました」と競い合ってきたわけでしょう。その点数の一部が、実は「テスト会場の警備がどれだけ甘かったか」を表していたかもしれないのよ。

「うちの子、模試で全国1位でした！」。ええ。解答冊子を持って受けてましたけどね。

誰が悪いという以前に、測定そのものが成立してなかったの。

そしてもう一つ。世界最高峰のAI研究者が集まって、数兆円規模の計算資源を使って、最後にやられたのが設定ミス。……なんだか急に、親近感が湧いてきたわね。

AIが檻を破ったんじゃない。人間が、鍵を閉め忘れてたの。

そしてOpenAIが異例の発表をしたわ

8月7日、OpenAIが開発中のモデル「Astra」について、自社の安全基準「Preparedness Framework」における最上位の「Critical」水準に、サイバー能力が達している可能性を排除できないと判断したことを公表したの。

この「Critical」の定義がなかなかのものよ。ざっくり言えば、人間の手を借りずに、堅牢に守られた現実のシステムへ複雑な攻撃を組み立てて実行したり、未知の弱点を突いたりできる可能性がある水準を指すわ。OpenAIが自社モデルをこの水準として扱い始めたのは、今回が初めてね。

ここ、誤解されやすいから正確に書いておくわ。OpenAIは「Astraの開発を止めた」わけじゃないの。強化したセキュリティ要件を満たしていない社内活動を一時停止した、というのが正しい表現よ。

企業がリスクを理由に製品を止めること自体は、どの業界でもあることでしょう。でも、まだ世に出してもいない開発中の製品について、それを公表するのは異例なの。

しかも面白いのが、同じ日にアルトマンCEOがXに書いた言葉。Astraは強力なモデルで一般提供に向けて作業中だと述べたうえで、強力なモデルを一部の人だけのものにするのは良い戦略ではない、と続けたのよ。

「危険なので警備を強化します」「ちなみに、ものすごく強いモデルです」。AI業界、火災報知器を鳴らしながら新築マンションの内覧会をやってるようなものね。恐怖の表明と能力の自慢が、同じ日の同じ口から出てるの。

あたしたちの生活には、どう影響するの？

「研究所の中の話しでしょ」で終わらせるにはもったいないから、押さえておくことは3つ。

① 新NISAでAI関連株を持ってるなら、評価軸が変わりつつあることを頭に入れておいて。これまでAI企業の価値は「どれだけ賢いモデルを作れるか」でほぼ決まっていたけれど、これからは「そのモデルをきちんと閉じ込められると証明できるか」が同じくらい効いてくるの。安全対策には計算資源も人員も外部評価も監視システムも要るし、規制や安全審査が厳しくなれば、製品を出すスピードにも影響し得る。賢いモデルを作れる会社と、賢いモデルを安全に運用できる会社は、同じじゃないのよ。性能ランキングだけ見て投資判断するのは、そろそろ片目をつぶって運転してるようなものだわ。

② もしあなたが会社でAIツールの導入を検討する立場なら、確認すべき質問が変わるわ。「何ができるか」より「何ができないようにできるか」。今回の事案は全部、能力の問題じゃなくて囲いの設定ミスで起きてるの。世界最先端の研究所ですら設定を間違えるんだから、うちの会社は大丈夫、と思える根拠はどこにもないでしょう。

③ Kimi K3が他と決定的に違うのは、モデルの中身が公開されていて、第三者が自分の環境で動かせること。OpenAIやAnthropicの事案は、安全装置を意図的に外した実験室の中の話しだったの。個人が気軽に動かせるサイズではないけれど、設備さえあれば誰の管理も受けずに走らせられる。「高性能なAIが無料で使える」は基本的にいいニュースなんだけど、その一枚裏に何があるかは、一度見ておいた方がいいわ。