Dwarkesh PatelとJerry Hanが、2019年から2025年までの7年間の事前学習を「モデルレシピ×データコーパス」の総当たりで再現学習し、どちらが計算効率の向上を牽引してきたかを定量化した——結果は、データ改善によるゲインがモデル改善によるゲインの3.24倍（データ12.0倍・モデル3.7倍）だった。開発リソースの配分を考える実務者にとっての含意は具体的だ。潤沢な計算量で大規模モデルを回せる立場になければ、新しいアーキテクチャを追いかけるより、手元のデータセットの理解・選別・キュレーションに投資する方が、同じ計算量から引き出せる性能の伸びしろが大きい——しかも両者の効果はほぼ独立に加算されるため、データ改善は既存のモデル選定を変えなくてもそのまま上乗せされる追加のゲインになる。フロンティアラボが人員配置転換や組織再編を繰り返す中、この分析は「次の競争優位はモデルの独自性ではなく、データを理解し選別するチームの巧拙にある」という読みを補強する材料になる。本当の問いは、モデル研究がこれまで担ってきた役割——ゲインを直接生むことではなく、勾配爆発や帯域幅の限界といったスケーリングを阻む制約を取り除き、より多くの計算量を使えるようにすること——だとすれば、そうした制約が取り除かれ尽くした先で、フロンティア間の差はどこで生まれるのか、という点に移る。

何が起きたか

Dwarkesh Patelと共著者のJerry Hanは、2026年9月8日公開のブログ記事で、事前学習の進歩がどこから来ているのかを検証する実験を行った。手法は、2019年のGPT-2から2025年のOLMo-2までの代表的なモデルレシピと、同時期のOpenWebTextからUltraFineWebまでの代表的なデータコーパスを総当たりで組み合わせ、1e17FLOPsから1e19FLOPsの範囲で実際に学習させ、10種のベンチマークを集約したOLMES評価でスコアを比較するというものだ。推測的なエッセイではなく、7年分のモデル×データの組み合わせを固定計算量で再現学習させた実験的検証である点が特徴になる。

数字で見る

1e19FLOPsの計算量予算で比較した場合、2019年から2025年にかけての計算効率向上のうち、データ改善によるものはモデル改善によるものの3.24倍大きかった（データ改善12.0倍・モデル改善3.7倍）。同じ計算量でより高い性能を引き出す力を伸ばしてきた要因の大半は、モデルのアーキテクチャや学習手法の改良ではなく、学習に使うデータの質の改善だったことになる。

仕組み・詳細

この分析でもう一つ重要なのは、データ改善とモデル改善の効果がほぼ独立に働き、相互作用しないという点だ。線形回帰モデルで見ると、OLMESスコアの分散の88%はデータ改善とモデル改善の加法効果だけで説明でき、両者の掛け合わせ（交互作用）が寄与する部分は限定的だった。実務上は、片方を選んでももう片方の効果を打ち消さないことを意味する——優れたデータで学習しても旧世代のモデルレシピを使えばモデル側の伸びしろをそのまま失うし、逆も同様だ。

Dwarkesh PatelとJerry Hanは、モデル研究の役割そのものについても踏み込んだ整理をしている。彼らの見立てでは、モデル研究の多くは効率そのものを直接押し上げてきたのではなく、勾配爆発や帯域幅の制限といった、スケーリングを阻む制約を取り除いたり先送りしたりすることで、より大きな計算量を実際に使えるようにしてきたにすぎない。モデル研究の主な貢献は「性能を上げること」ではなく「計算量を使い切れるようにする（イネーブラー）」ことだった、という整理になる。

モデル規模で効果が変わる

データ品質改善の効果は、モデルの規模によって非対称に現れる。小規模モデルはデータ品質の改善から大きな恩恵を受ける一方、大規模モデルは容量に余裕があるため、質を厳選するよりも量を確保する方が有利になりやすいという。限られた計算量で小規模モデルを運用する開発者ほど、データキュレーションへの投資対効果が高いことになる。

なぜ重要か

この分析が実務者に示す含意は、開発リソースをどこに割くかという判断に直結する。潤沢な計算量で大規模モデルを学習できる立場になければ、新しいアーキテクチャを追いかけるよりも、手元のデータセットの理解・フィルタリング・キュレーションに投資する方が、同じ計算量から引き出せる性能の伸びしろが大きい。しかもデータ改善とモデル改善の効果はほぼ独立に加算されるため、この投資は既存のモデル選定を変えなくてもそのまま上乗せされる。

フロンティアラボが人員配置転換や組織再編を通じて戦略転換を続ける中、この分析は「次の競争優位を左右するのはモデルの独自性そのものではなく、データを理解し選別するチームの巧拙だ」という読みを補強する材料になる。そしてモデル研究の役割が「効率を生むこと」自体ではなく「スケーリングの制約を取り除くイネーブラー」だったとすれば、本当の問いは、そうした制約が今後さらに取り除かれ尽くした後、フロンティアラボ間の差はどこで——データパイプラインの巧拙以外に——生まれうるのか、という点に移る。