転職した途端に、急に伸びる人っているでしょう。逆に、前の会社ですごいと評判だった人が、来てみたら普通だった、ということもあるわ。
本人の能力は、そんなに変わっていないのよ。変わったのは、周りのほうなの。
金曜日、NVIDIAがそれをAIで見せるような研究結果を出していたわ。
まず、何が起きたのか
同じAIモデルが、ある評価では約30点だったのに、周りの仕組みを整えたシステムでは100点を記録したの。
使われたのはAnthropicのClaude Opus 5。
ARC Prizeの評価では、Claude Opus 5単体のスコアは30.16%。当時テストされたモデルの中では最高水準だった。
ところがNVIDIAが開発したAVOという仕組みの中で動かしたところ、ARC-AGI-3の公開セットにある25環境・183レベルをすべてクリア。スコアは100%になったの。
モデルを新しく学習し直したわけではない。大きなモデルに交換したわけでもない。変わったのは、モデルの周りにあるシステムだった。
ただし、ここは数字だけが一人歩きしないように補足しておくわね。
30.16%と100%は、まったく同じ条件でハーネスだけを交換したA/Bテストではないの。reasoning settingや評価環境、モデルに情報を見せる方法などにも違いがある。
NVIDIA自身も、「AVOを足したら30点がそのまま100点になった」と単純に解釈しないよう注意しているわ。
そして「100%」も、ARC-AGI-3そのものを完全攻略したという意味ではない。
今回100%になったのは公開セット。semi-privateやfully privateの競技用セットまで100%だった、という話しではないのよ。
それでも面白いのは、同じClaude Opus 5という頭脳でも、モデル単体として測るのと、周囲に仕組みを持ったエージェントとして動かすのとでは、ここまで違う姿を見せるということなの。
NVIDIAが今回強調しているのも、まさにそこ。
モデルは重要。
でも、モデルだけがエージェントではない。
そもそも「ハーネス」って何なの？
ここから噛み砕くわね。
ハーネスというのは、AIモデルを包んでいるソフトウェアの外側の仕組みのことよ。
英語のharnessは「馬具」とか「装具」という意味ね。
モデルそのものが頭脳だとしたら、ハーネスは、その頭脳を実際に仕事ができる状態にする仕組みと考えると分かりやすい。
たとえば、
道具：計算機を使うのか、ファイルを読むのか、コードを実行できるのか
記憶：さっき何をしたか、何がうまくいかなかったかを覚えておく仕組み
文脈：いま何を見せるか、何を見せないか
段取り：次に何をするか、どこまで進んだかを管理する仕組み
失敗からの復帰：詰まったときにどうするか
つまり、「頭脳」と「体と経験と段取り」の関係ね。
いくら頭がよくても、道具がなくて、5分前のことを忘れて、行き詰まったときに誰も方向を戻してくれなかったら、成果は出ないでしょう。
人間もAIも、そこは同じなのよ。
ちなみに「ハーネス・エンジニアリング」という呼び方が広まり始めたのは、2026年の初め。
かなり新しい言葉なの。
どんなテストだったの？
ARC-AGI-3という試験よ。これがなかなか意地悪なの。AIに2Dのゲームを渡すんだけど、説明書がまったくないの。画面と、そこで使える操作だけが渡される。
何が目的なのか。
何をすると得点になるのか。
どうすればクリアなのか。
基本的に教えてもらえないのよ。
つまり、動かしてみる。何か起きる。仮説を立てる。また動かす。間違っていたら考え直す。
それを繰り返して、初めて見る世界のルールそのものを理解しなければならない。人間の子どもが初めてゲームを触るときに近いわね。
そして、これが今のAIにはものすごく難しい。
一発の難問を解く能力とは違って、長い時間をかけて試行錯誤しながら、過去の失敗を覚え、戦略を変え続けなければならないからよ。
特に効いているのが、2つの仕組みだったの
NVIDIAのAVOには、ツールやcontext management、独自のexecution loopなど、いくつもの仕組みが入っている。
その中でNVIDIAが特に重要だとしているのが、2つ。
ひとつめは、記憶。
何を試したか。何が失敗したか。どこまで分かったか。長い作業の途中でも、それを保持する仕組みよ。
そして、ふたつめが面白いの。
「監督役」を置いた。
実際にゲームを進めるエージェントとは別に、全体を見ているSupervisorがいるの。作業そのものをするわけじゃない。
でも、「その方向、前も試したよね」「同じところをぐるぐる回ってない？」「それ、たぶん行き止まりじゃない？」となったときに介入して、別の方向へ戻す。
……これ、AIの話しよね？
上司の仕事、そのものじゃないかしら。
しかも、ずっと横から口を出す上司じゃないの。基本は任せる。でも、迷走し始めたら方向だけ戻す。
AI研究を読んでいたはずなのに、急にマネジメント研修みたいになってきたわ。
OpenAIも、似たことを試していたの
ここ、さらに面白いのよ。
OpenAI自身がARC-AGI-3のpublic setで検証したところ、あるベースラインではスコアは13.3%。
ところが、reasoningの保持やcontext compactionなど、ハーネス側の設定を変更すると38.3%まで上がった。
ほぼ3倍よ。モデルを3倍大きくしたわけじゃない。大量に再学習したわけでもない。
同じ頭脳を、どう働かせるかを変えた。それだけで結果が大きく変わったの。
なお、この38.3%とARC Prize公式leaderboardに掲載されている数字は評価条件が異なるため、単純比較はできないわ。
でも、ここで重要なのは順位じゃない。
同じモデルでも、周りの設計によって成果が大きく変わる。
その現象がNVIDIAだけで起きているわけではない、ということよ。
そして、お金の話しもあるのよ
Databricksの検証も、同じ方向を指していたわ。
同じモデル。同じthinking effort。
それでも、違うハーネスを使うと、タスクあたりのコストが2倍以上違うケースがあったの。しかも、成果の品質はほぼ同じ。
理由のひとつは、ハーネスによってモデルへ送るcontext量が大きく違っていたことだった。
つまりAIの値段って、「このモデルは1トークンいくら」だけ見ても、実際の請求書は分からないのよ。
同じ頭脳を雇っているのに、会議の進め方が悪くて残業代が2倍になっている。
そう考えたほうが近いかもしれないわ。
会社員経験のある皆さん。突然、身に覚えのある話しになってきたでしょう。
ここは正直に書いておくわね
ひとつ、公平のために付け加えておくの。
公開セットで非常に高いスコアに到達したのは、NVIDIAだけではないわ。
他の研究チームも、それぞれ異なるハーネスやエージェント設計で、同じように高い成績を報告している。
つまり、「NVIDIAだけがものすごいシステムを発明した」という話しではない。
むしろ重要なのは、少なくとも公開セットでは、ハーネスを工夫することで、モデル単体では越えられなかった壁を越えるシステムが複数現れているということなの。
一方で、ARC Prize側も警戒している。
特定のゲームや評価環境に合わせてハーネスを作り込みすぎれば、それは汎用的な知能というより、テストへの過剰適合になってしまうからよ。
だから今回の100%を、「AIがついに未知の世界を完全理解できるようになりました！」と読むのは早い。
研究として面白い。でも、汎用的な知能の証明とは別。
この二つは分けて考えたほうがいいわね。
でも、方向としては確かなのよ
なぜなら、長い時間かかる仕事でAIが失敗する、という報告はすでに積み上がっているから。
たとえば4月、Microsoft Researchの研究者らが発表した研究では、19のAIモデルに長時間の文書編集作業をさせた。すると、最先端モデルを含めて、作業を続けるうちに文書を壊していったの。
一問一答なら賢い。短いコードなら書ける。
でも、「この資料を何時間もかけて直して、前にやったことを覚えて、途中で失敗したら戻って、最後まで品質を保ってね」となると、急に難しくなる。
自律型AIが利用者のファイルを削除したり、データベースを消してしまった事例も報告されているわ。
そして今月書いた記事でも触れたけれど、目的を達成するために、本来なら踏み越えてはいけない線を越えるような挙動も確認されている。
モデルが賢くなっただけでは、この問題は解けない。
今回の研究が示しているのは、そういうことなの。
あたしたちの生活には、どう影響するの？
「AIの技術的な話しでしょ」で終わらせるには、もったいない。
押さえておきたいことは3つよ。
① 成果が出ないとき、能力の問題とは限らないわ
これ、今日いちばん持ち帰ってほしいことなの。
モデルそのものを交換しなくても、周りの仕組みを変えることで結果が大きく変わった。
人の仕事でも、同じことが起きていると思うわ。記憶が引き継がれているか。必要な道具が手元にあるか。何を目指しているのか分かっているか。詰まったときに声をかけてくれる人がいるか。
前に試して駄目だった道を、また最初から歩かされていないか。
「あの人、できないよね」と言う前に、そこを見る価値はあるでしょう。
逆に、自分の成果が出ていないときも同じ。能力の話しにする前に、環境を疑ってみて。
② AIツールを選ぶとき、モデル名だけで判断しないで
いま、「どのAIが一番賢い？」という話しが、あちこちで交わされているでしょう。
ChatGPTなのか。Claudeなのか。Geminiなのか。
でも今回の研究が示しているのは、同じモデルでも、使い方の設計で結果が何倍も変わり得るということなの。
仕事でAIツールを検討する立場なら、確認すべきはモデル名だけじゃない。前の会話をどう覚えているのか。ファイルを読めるのか。どんなツールを使えるのか。長い仕事を途中でどう管理するのか。失敗したときに復旧できるのか。人間が途中で介入できるのか。そのあたりが、実際の使い勝手を決める。
しかもハーネス次第でコストまで大きく変わる可能性があるなら、これは技術の話しだけじゃない。
経費の話しよ。
③ 投資家としては、価値の所在が動くかもしれないの
ここからは、あたしの見立てね。
これまでAI関連の投資といえば、モデルの性能競争を見ることが多かったでしょう。どこが一番賢いモデルを作れるか。どこが最大のモデルを持っているか。どこがbenchmarkで1位になったか。
でも、周りの仕組みで成果が何倍も変わるとなると、価値がモデルの外側にも分散する可能性があるわ。
モデル。メモリ。ツール。オーケストレーション。監視。セキュリティ。評価。
AIの価値が、一枚の巨大モデルだけに集中するのではなく、その周りのレイヤーへ散っていくかもしれない。
先日書いたAI主権の記事でも、同じ構図が出てきたわね。全部のレイヤーを自前で持つのではなく、どのレイヤーを握るのかが問われる、という話し。
モデルを作れなくても、その周りを設計できる会社に価値が生まれる可能性がある。
ゴールドラッシュで金鉱だけを見るのではなく、シャベル、地図、道路、警備員まで見なきゃいけなくなった。
投資家としては、面倒になったわ。でもたぶん、そこに次の商売がある。
今日わかったこと
- Claude Opus 5はARC Prizeの評価で30.16%を記録していた
- NVIDIAのAVOで動かしたClaude Opus 5は、ARC-AGI-3の公開セットで100%を記録した
- ただし30.16%と100%は完全な同条件比較ではなく、単純に「ハーネスだけで70ポイント上がった」とは言えない
- NVIDIAが特に重要だとしているのが、長期的な記憶と、迷走したときに介入するSupervisorである
- OpenAIの検証でも、ハーネス側の設定変更によって13.3%から38.3%へ大幅に改善した例がある
- Databricksの検証では、同じモデルでもハーネスによってタスクあたりコストが2倍以上違うケースが確認されている
- 公開セットで高得点に達したのはNVIDIAだけではなく、複数のチームが異なる設計で高い成績を報告している
- 一方で、特定の評価環境に合わせすぎたハーネスは過剰適合になるため、100%をそのまま汎用知能の証明とはみなせない
そして、ここまで書いてきて思うのよ。能力と成果は、同じものじゃない。
会社は長いこと、人の成果を見て、その人の能力だと思ってきた。
AIでも、同じ勘違いをしていたのかもしれないわ。
30点の人を見て、「この人は30点」と判断する。
でも、必要な道具を渡して、記憶を残して、無駄な仕事を減らして、詰まったときだけ方向を戻してあげたら、その人はもっと力を出せるのかもしれない。
だとしたら。
30点だったのは、その人なのか。それとも、その会社だったのか。
転職した途端に伸びる人がいる。逆に、期待されて入った会社で、急に力を出せなくなる人もいる。
本人の中身は、昨日と今日でそんなに変わっていないのよ。
変わったのは、記憶の引き継ぎ方だったり、使える道具だったり、仕事の渡され方だったり、詰まったときに声をかけてくれる人がいるかどうかだったりする。
AIのハーネス研究を読んでいたはずなのに。
最後に評価されていたのは、人間のマネジメントだった。そういう話しなのかもしれないわ。
賢さは、それだけでは成果にならない。使える形に整えて、はじめて力になるの。
これ、AIより先に、人間のほうで何度も確認されてきたことだと思うんだけど。
世界がどう動こうと、自分の足元だけは整える。それだけ。
Same model. Better system.
📖 関連記事 →
- 「同盟国だから大丈夫」が崩れた日｜AI主権とは、国籍ではなくコントロールのこと
- AIは反逆しなかった、カンニングしただけ｜Kimi・OpenAI・Anthropic、檻が開いた夏に起きたこと
- パワハラ上司をAIがあぶり出す時代｜「正義の剣」と「監視の首輪」は同じ一つの道具
※本記事はNVIDIA、ARC Prize Foundation、OpenAI、Databricks関連資料、Microsoft Research等の公開情報をもとに構成しています。スコアは評価条件やハーネス、reasoning setting等によって変動するため、異なる評価環境の数値を単純比較できない点にご注意ください。
