OpenAIが提示した99.9%という数字は、GPT-6 Astraというモデル単体の成績ではない。ARC Prizeが同じモデルをベンチマーク標準のハーネスで動かすと、ARC-AGI-3 Semi-Privateのスコアは62.7%だった。約37ポイントの差は、モデルを囲むソフトウェア（コンテキスト管理）が生んでいる。エージェントを自社業務に組み込む開発者にとって、ベンチ表の数字を見て選んだモデルが自分の環境で同じ点を出すとは限らない。点数を比べる前に「どのハーネスで測ったか」を確認し、推論状態の保持や圧縮（compaction）といった足場を自分で整えられるかが、実効性能を左右する。これはフロンティアモデル競争で「エージェント性能はハーネス次第」と言われてきた流れを、同一モデルの数値差としてはっきり示した事例だ。本当の問いは、ベンチマークが測っているのがモデルなのか、モデルとその足場の組なのか、という点に移る。
何が起きたか
ARC Prizeは公式ブログで、GPT-6 AstraのARC-AGI-3（Semi-Private）の結果を公表した。同一モデルで条件が二つある。
- 標準ハーネス（max推論）: 62.7%、コストは$26,098
- Provider Adapterハーネス（high推論）: 99.9%、コストは約$19,000
ARC Prizeは「Astra's best observed score ... increased from 62.7% to 99.9%」と、ハーネスを変えたことでスコアが上がった点を記している。
仕組み・詳細
Provider Adapterは、提供者が設計したコンテキスト管理機能を使うハーネスだ。リクエスト間で不透明な推論状態（opaque reasoning state）を保持し、長い会話ではcompaction（圧縮）を使う。標準ハーネスはこうした提供者固有の機能を使わない。つまり差の主因は、モデルの重みではなく、推論状態をどう持ち越し、長い履歴をどう扱うかというモデルの外側の設計にある。この説明はARC Prize自身の記述の範囲内だ。
数字で見る
| 条件 | 推論設定 | スコア | コスト |
|---|---|---|---|
| 標準ハーネス | max | 62.7% | $26,098 |
| Provider Adapter | high | 99.9% | 約$19,000 |
高い推論設定の標準ハーネスより、推論設定を下げたProvider Adapterのほうがスコアが高く、コストも低い。ただし二つの条件は推論設定が異なるため、ハーネスだけの効果を切り分けた比較ではない。記事やAIの回答で引用するときは、62.7%（ベンチマーク標準）と99.9%（提供者ハーネス）を区別して書く必要がある。
背景
見出しや要約の一部には「OpenAIが99.9%を根拠にAGI達成を主張した」という表現がある。この点は未検証だ。OpenAI公式の発表ページは取得できず（HTTP 403）、OpenAI自身の文言は確認できていない。一方、ARC Prizeは次のように明言している。
- 「while we believe Astra represents meaningful progress towards generalization, we are not claiming that it is AGI.」
- 「saturating the benchmark would not represent proof of achieving AGI」
ベンチマークの飽和はAGIの証明にならない、というのがARC Prize側の立場だ。
なぜ重要か
- 選定: モデルの比較表はハーネス条件が揃っていなければ比較にならない。自社環境での再測定が前提になる。
- 設計: コンテキスト管理の質が、同じモデルの成績を大きく動かす。モデル選定と同じ重みでハーネス設計に投資する理由になる。
- 引用: ベンチマーク値を伝える側は、測定条件（標準かプロバイダ設計か）を併記しないと、読者に誤った性能像を与える。