OpenAIが今回公開したのは、COBOLなど低リソース言語での成績そのものではなく、それを測る評価ハーネスだ。MultiLangBenchはApache-2.0でGitHubに置かれ、モデルにSQLite 3.40.1互換のDBエンジンをドキュメントから実装させる。COBOLやFortranの資産を抱える企業の開発者は、ベンダーが示す合格率を待たず、自社が使いたい言語で同じ課題を回して手元で確かめられる。フロンティアモデルの評価では、ベンダー自己報告の数値を第三者が再現できるかが問われ続けている。ハーネスの公開は、その検証の入口を使い手側に開く動きだ。
何が起きたか
- OpenAIはMultiLangBenchのセットアップとテストスイートをGitHubで公開した。リポジトリの説明は「An eval based on SQLite that benchmarks language models in multiple languages.」である。
- ライセンスはApache-2.0。
- モデルはSQLite 3.40.1をドキュメントから実装し、SQLiteのTCLテストスイートから変換したテストで検証される。標準実行は272テスト。
- 結果は(api_cost, test_pass_rate)、つまりAPI費用とテスト合格率の組で記録される。
仕組み・詳細
評価の題材は、機能が明確で正解がテストで機械的に判定できるSQLite互換エンジンの実装である。実装言語を変えれば同じ課題で言語間の差を比べられる。合格率とAPI費用が対で出るため、精度だけでなく費用を含めた比較ができる。
OpenAI報告の数値（未検証）
以下は検証できていない。一次の発表記事（openai.com）は取得できず、二次報道とニュースレターでの伝聞に限られる。
- GPT-6 Astraの20言語での平均合格率が87.4%（GPT-5.6 Solは26.8%）とされる。COBOLは10.9%から72.1%とされる。
- COBOLから別言語への移行評価では、GPT-6.1 Solが低推論で86.6%、高推論で97.9%とされる。
- 上の二つの評価は同じ系列かどうかも未確認で、モデル名が併記されている点も裏付けがない。
COBOL移行評価は非公開で、第三者が再現することは原理的にできない。評価を設計したのもOpenAI自身である。リポジトリには結果表やリーダーボードがなく、「20言語」の言語一覧も取得時点では確認できなかった。
なぜ重要か
確認できているのは、評価ハーネスが公開され、誰でも同じテストで測れるという点である。個々の合格率は、第三者が再現できるまで「OpenAIの報告」として読む必要がある。本番移行に専門家レビューと業務ルールに照らしたテストが必要というOpenAIの説明も、一次記事を確認できておらず未検証である。