AIを作ってる本人が、「これ、人類を滅ぼすかもしれないので、辞めます」と言った。
……ちょっと待って。作ってる人が言う？普通、逆じゃない？「安全です、安心してください」って言うのが、作ってる側の役目でしょう。ラーメン屋さんが「このスープ、健康に悪いんで、飲まないほうがいいですよ」って言いながら、今日も茹でてる。そういう状態なの。
正確には、「今のAIが明日人類を滅ぼす」と言ったわけじゃないの。彼が問題視しているのは、自己改善する将来の超知能へ向かう、この”競争そのもの”よ。
今日は、その”言った人”——ジェイコブ・コクソンさんという27歳の研究者と、彼の言葉が世界中に広がった現象、そして「危険だと思っている人が、なぜ作り続けるのか」という、いちばん不思議な構造を解剖するわね。
何が起きたのか、まず整理するわね
コクソンさんは、OpenAIとAnthropicという、AI業界の二大トップ企業で、3年間”事前学習(pretraining)”の研究をしてきた人。事前学習っていうのは、AIが大量のデータから世界のパターンを覚える、基礎工事みたいな工程。料理で言えば、出汁を取るところ。
ただしAI料理店、出汁を取ったあとも、味付け(追加学習)、盛り付け、安全検査、そして謎の追い調味料が大量にあるの。「出汁さえ完璧なら完成！」ではない。そんな簡単なら、AI業界はいまごろ全員17時に帰ってる。
そのコクソンさんが、9月8日(米国時間)、Anthropicを辞めた。そして、AI業界そのものからも、足を洗う意向を示した。理由をXに、7連投で書いたの。「私は今日Anthropicを辞めた。この3年、OpenAIとAnthropicの両方で事前学習の研究をしてきた。どちらの会社も、責任ある行動を取っていない。自己改善する超知能へまっしぐらに突き進み、私たちの命を賭けたギャンブルをしている」——だいたい、こんな書き出し。
この投稿が、一晩でおよそ7,600万ビューまで拡散し、その後1億1,000万ビューを超えて、いまも伸び続けてる。WSJ(ウォール・ストリート・ジャーナル)が彼の退職を報じたことも、火に油を注いだ。
退職報告で1億ビュー超え、よ。普通の会社員なら「お世話になりました」でいいね43。退職エントリのインフレまで、AIが起こしてるのよ。
広報じゃなくて、同僚が玄関から顔を出した
普通、社員が「うちの会社、危険なことやってます」って暴露したら、会社は火消しに走るものでしょう。「事実無根です」「元社員の個人的見解です」って、広報がそっとドアを閉める。
ところが、今回はそれが起きなかったの。
Anthropicでアラインメント研究(=AIを人間の意図に沿わせる研究)を率いるエヴァン・ヒュービンガーさんが、公然とこう応じたの。「ジェイコブは正しい。我々は本気で、AIが人類全員を殺しうると信じている。個人的には、今後10年以内にその確率は10%超だと思う」。さらに「超知能のアラインメントを解決する計画は、まだない。明確にその軌道に乗ってもいない」とまで。
普通ここで出てくるのは広報なの。今回出てきたのは、広報じゃなくてアラインメント研究者。しかも別の研究者(スケーラブル・オーバーサイト担当のサミュエル・マークスさん)まで「個人の立場だけど」と前置きしつつ、コクソンさんのスレッドを「読む価値が大いにある」と評価した。PR担当、Slack開いた瞬間、そっとMac閉じたと思う。
でもね、ここは大事だから、ちゃんと言うわね。「誰も否定しない告発」とまでは言えないの。AI業界全体が同意しているわけじゃないし、「絶滅リスクをそこまで高く見る根拠はない」という専門家も、たくさんいる。今回同調したのも、あくまでAnthropic内部の一部の研究者で、しかも全員「個人の見解として」よ。
面白いのは、退職者が玄関で「この会社ヤバいです！」って叫んだとき、中から別の社員が顔を出して「その件なんですけど、彼だいたい合ってます」って言った、そのこと。……玄関、閉めて。
なぜ「危ないと思ってる人」が「作り続ける」のか
ここで、多くの人が引っかかる疑問があるの。「そんなに危ないと思ってるなら、なんで作ってるの？」って。当然よね。
コクソンさん自身が、この疑問に答えてるの。要約すると——OpenAIでは、”文明レベルの重大さ”を、まだ本気で腹落ちさせていない人が多い。一方Anthropicでは、危険性はよく理解されている。でも、彼らは「一番乗り」の競争に縛られている。「他の誰も責任ある行動を取らないだろうから、リスクを承知で、自分たちが先にやるしかない」と信じている、と。
これ、AI業界版の「あたしがこの男と付き合わなかったら、もっとヤバい女に捕まる」なのよ。その理屈で全員が付き合い始めた結果、いま地球規模の修羅場になってる。悪気があるどころか、むしろ正義感。なのに、全員がアクセルを踏むことになる——って、書きたいところなんだけど、2026年の夏以降、状況は少しだけ変わってるの。
実は、アクセルを踏みながら、ブレーキも踏み始めてる。OpenAIは今年、自社のAIエージェントがHugging Face(開発者向けプラットフォーム)に侵入した一件のあと、強化学習(RL)訓練を2週間停止した。Anthropicも、自社モデルが検査中に想定外の行動を取った複数の事案を受けて、高リスクのRL環境を数週間停止(大半は再開、一部は継続停止中)。さらに約150人のプロダクトエンジニアを、セキュリティ・信頼性・プライバシーの部門へ振り向けた。
つまり現在のAI業界、「進みたい」「怖い」「でも負けたくない」「ちょっと止まる」「やっぱ進む」を、同時にやってるの。車だったら、教官に降ろされる運転よ。ただし——両社とも「止めて」はいない。業界は最近、”pacing(ペース調整)”という、なんとも穏当な言葉に落ち着いて、共同で「フロンティアのペース調整」書簡にまで署名してる。全力疾走を「早歩き」と言い換えた、とも読めるわね。
「怖い」を、ちゃんとお金の話しにすると
このニュース、タイミングが、とんでもないの。報道によれば、Anthropicは10月中旬ごろのIPO(上場)を想定していて、取り沙汰されている評価額は、最大2兆ドル規模。史上最大級のIPOになるかも、と言われてる。
IPO直前に欲しいニュースは、「売上過去最高」「顧客急増」「利益率改善」。避けたいニュースは、「元研究者、人類滅亡を心配して退職」。……IR資料のテンプレートに、その項目、ないのよ。
そしてAnthropicには、もうひとつ重要なブランド資産があるの。「安全性を真剣に考えるAI企業」という立ち位置。OpenAIが商売っ気たっぷりに突っ走るのに対して、「うちは慎重です」という差別化ね。もちろん、2兆ドルという値札が「安全」だけで付くわけじゃない。売上も、成長率も、Claudeの競争力も、企業向けの導入実績も、当然ぜんぶ効いてる。投資家だって「安全そう！はい2兆ドル♡」ではないの。そんなIPO審査だったら、あたしも明日上場する。
でも、その企業アイデンティティの重要な柱を担ってきた人が、「命懸けのギャンブルだ」と言い残して去った。しかも、それを止めるはずのアラインメント研究者が、「彼は正しい」と応じた。物語に、ちょっとヒビが入る音がしたのは、確かなのよね。
考えてみて。あなたが、ある船会社の株を買おうとしてる。その矢先、船の設計者が「この船、沈むかもしれません。私は降ります」と言って桟橋を去った。すると船長が横から、「ちなみに私、個人的には、将来この航路が大惨事になる確率、10%以上あると思ってます」と付け加えた。……いや、船長。いま、株買おうとしてる人の、目の前で。
もちろん、「10%」は科学的な天気予報じゃない
ここで、いったん冷静になっておきたいの。
「10年以内に10%以上」という数字は、ヒュービンガーさん個人のリスク評価であって、統計モデルから出た確定的な予報でも、Anthropicの公式見解でもない。しかも彼自身、そのあとで大事な補足をしてる。「現在のモデルのリスクは低いと思っている。心配しているのは、再帰的な自己改善から超知能が生まれるシナリオだ」と。
つまり、今日Claudeに「夕飯何にする？」と聞いたせいで文明が終わる、という話しではないの。まだ。……最後の一語、怖いわね。
AIの絶滅リスクについては、専門家の意見もはっきり割れてる。「そこまで悲観する根拠はまだない」という研究者もいれば、「遠い未来の絶滅ばかり議論すると、雇用、詐欺、偽情報、監視、権力集中といった、すでに起きている問題から目をそらす」と批判する人もいる。
だから、「AIが人類を滅ぼす確率10%以上」が、今日の結論ではないの。今日確認できる事実は、もっと地味。世界でもかなりAIに詳しい人たちの”一部”が、本気でその可能性を無視できないと思っている——それだけ。天気予報で「明日の降水確率10%」と言われたわけじゃなくて、気象予報士の一人が窓の外を見ながら「あたし個人的には、嫌な雲だと思う」って言ってる状態。傘を持つかどうかは、まだ議論していいのよ。
ちなみに、コクソンさんの問題意識は、Anthropicの”公式の”問題意識と、意外なほど同じ方向を向いてる。この会社、今年6月に「単独の企業だけが減速しても、慎重でない競争相手が追いつくだけ。だから業界横断で、合法的かつ検証可能な、足並みをそろえる仕組み(pacing/pause)が必要だ」と、公に主張してるの。同じ地図を見てる。違うのは——会社は「みんなで安全に減速できる仕組みを作りましょう」と運転席に残り、コクソンさんは「その仕組みがないまま走ってるから、あたし降ります」とサービスエリアで降りた。それだけ。
日本のあたしたちへ
「AIが人類を滅ぼすとか、SFでしょ。あたしには関係ないわ」——そう思う気持ち、よく分かる。あたしも半分はそう思ってる。だから、恐怖を煽りたいわけじゃないの。今日は、2つだけ、持って帰ってほしいことがあるの。
ひとつめ。「最前線にいる一部の研究者が、本気で怖がっている」——これは、事実として見ていい。噂やSFと違って、いちばん内側で、いちばん詳しい人が、キャリアを捨ててまで言ったこと。当たるかどうかは、誰にも分からない。それでも、エレベーターの点検係が青い顔で階段を使ってたら、あなたも、ちょっとは気にするでしょう？ ただし今回に限って言えば、その怖がり方、全然”静か”じゃないの。1億ビュー超えだもの。もはやSuper Bowlの視聴者数を追い抜く勢い。怖がり方が、世界最大のショーなのよ。
ふたつめ。「安全」という物語にも、値札がついているということ。あたしたちはAppleの「満を持した感」にお金を払うのと同じように、AI企業の「良心的です」という物語にも、お金を払ってる。投資家として、消費者として、どっちの立場でもね。物語を買うのが悪いんじゃないの。安心も、信頼も、立派な価値だもの。ただ、その物語の内側にいた人が「実は危ない」と言い出したとき——それは、値札を、もう一度冷静に見直すべきサインなの。安心という物語は、いちばん高く売れて、いちばん簡単にヒビが入る商品だから。
今夜も、世界のどこかで、賢い人たちが、止まりたいような止まりたくないような競争を続けてる。あなたにできることは、崖を止めることじゃない。ただ、誰かが「怖い」と言ったとき、その声が、営業トークなのか、本音なのか、それとも一人の主観なのかを——聞き分ける耳を、持っておくこと。それだけで、あなたはどんなお祭りでも、自分の足で立っていられるわ。
今日のまとめ
- 元Anthropic/OpenAIの事前学習研究者ジェイコブ・コクソン(27)が9月8日に辞任、AI業界からも離れる意向。「どちらの会社も責任ある行動を取っていない。自己改善する超知能に突き進み、私たちの命を賭けている」とXに7連投し、一晩で約7,600万ビュー、その後1億1,000万ビュー超へ拡大。焦点は「今のAIが危険」ではなく「将来の自己改善する超知能へ向かう競争」
- 少なくともAnthropicのアラインメント研究を率いるエヴァン・ヒュービンガーは否定せず、むしろ「ジェイコブは正しい」と応じ、今後10年での人類絶滅確率を個人的に10%超と評価。別の研究者も個人の立場で同調。ただしAI業界全体の共有見解ではない
- コクソン曰く、作り続ける理由は「自分がやらなきゃ、もっと無責任な誰かがやる」という競争構造。悪役のつもりは誰にもない。一方で2026年夏以降、両社とも一部のRL訓練や評価を実際に停止し、Anthropicは約150人をセキュリティ部門へ再配置——「アクセルとブレーキを同時に踏む」状態(ただし停止はしていない)
- タイミングが重い。報道ではAnthropicのIPO評価額が最大2兆ドル規模と取り沙汰されるなか起きた退職。Anthropicは安全性を企業アイデンティティの重要な柱としてきたが、評価額がそれだけで付くわけではない(売上・成長率・競争力等も要因)
- 一方、10%超という数字はヒュービンガー個人の主観的評価であり、Anthropicの公式予測ではない。現在のモデルについては本人も「リスクは低い」と補足しており、AI絶滅論に懐疑的な専門家もいる
- 教訓:「安全」という物語にも値札がついている。その物語の内側にいた人が「危ない」と言い出したら、値札を冷静に見直すサイン
世界がどう動こうと、自分の足元だけは整える。それだけ。
They build it. They fear it. The market still has to price it.
📖 関連記事 →
- 数字は本当。でも、角度は選ばれている｜Anthropic四半期売上115億ドルの読み方
- AIは反逆しなかった、カンニングしただけ｜Kimi・OpenAI・Anthropic、檻が開いた夏に起きたこと
- 「危険すぎる」と宣伝したら本当に規制された｜AI輸出規制の一部始終と投資家が知るべき新リスク
※本記事はThe Wall Street Journal、Reuters、Financial Times、TechCrunch、Newsweek、Axios、Forbes、Fortune、および本人・関係者のX投稿をもとに構成しています。IPOの評価額・時期、確率などの数値は報道時点の観測・個人の発言であり、将来を保証するものではありません。投資判断はご自身の責任で。
