Anthropicは2026年2月5日(米国時間)、SWE-benchやTerminal-Benchのようなエージェント型コーディングベンチマークのスコアが、実行インフラの構成だけで数ポイント変動しうることを定量化した技術記事を公開しました。社内実験では、Terminal-Bench 2.0でリソースを最も厳しく制限した構成と最も潤沢な構成の差が6ポイント(p<0.01)に達し、リーダーボード上位モデル間の差を超える規模でした。ベンチマークスコアがモデル選定の判断材料になる中、リソース構成を実験変数として文書化・統制すべきだと提言しています。

発見の経緯

静的なベンチマークはモデルの出力を直接採点するため実行環境が結果に影響しませんが、エージェント型コーディング評価ではモデルが環境の中でプログラムを書き、テストを実行し、依存関係を導入しながら複数ターンにわたり作業するため、実行環境そのものが問題解決の一部になります。同社がGoogle Kubernetes Engine上でTerminal-Bench 2.0を実行した際、公式リーダーボードとスコアが合わず、タスクの最大6%がモデルの能力とほぼ無関係なPodのエラーで失敗していました。原因はリソース指定の強制方法で、同社の実装はタスクごとの指定値を保証割当かつ強制終了の上限として扱っており、瞬間的なメモリ変動でも本来は成功したはずのコンテナが強制終了されていました。一方、公式リーダーボードが使うサンドボックスは一時的な超過を許す寛容な実装だったといいます。

実験結果

• ▸実験設定 — 同じClaudeモデル・同じハーネス・同じタスクセットのまま、リソース構成だけを厳格な1倍から無制限まで6段階で変化
• ▸インフラ起因のエラー率 — 厳格な制限の5.8%から無制限の0.5%まで、余裕を持たせるほど単調に低下。1倍から3倍への低下(5.8%から2.1%)はp<0.001で有意
• ▸1倍から3倍まで — 成功率の変動はノイズの範囲(p=0.40)。この帯域で強制終了されていたタスクの多くは、いずれにせよ正解に至らない経路だった
• ▸3倍から無制限まで — インフラエラーは1.6ポイント減にとどまる一方、成功率は約4ポイント上昇。無制限では1倍比で合計6ポイント高い(p<0.01)
• ▸SWE-benchでの追試 — 227問×10サンプルでRAMを最大5倍まで変化させると、スコアは単調に上昇したが差は1.54ポイントと小さめ。リソース集約度が低いタスクでも配分が中立でないことを示す

測定対象が変わるという問題

おおむね3倍までの追加リソースは一時的なスパイクによる不安定性を直すだけで、評価は安定しても易しくはなりません。しかし3倍を超えると、大きな依存関係の導入や重いサブプロセスの起動、メモリ集約的なテストスイートの実行など、潤沢な割当が前提の解法が可能になり、リソースがエージェントの問題解決自体を助け始めます。ベイジアンネットワークのフィッティング課題では、pandasやscikit-learnなどのライブラリ一式をまず導入するモデルは潤沢な環境でしか成功せず、標準ライブラリだけで数式を実装する軽量な戦略を既定とするモデルは厳しい制限でも成功しました。厳しい制限は効率的な戦略を、緩い制限はリソースを使い切る戦略を暗黙に優遇するため、構成を明示せず単一スコアに集約すると差の解釈や実世界への一般化が難しくなるとしています。この傾向は複数のAnthropicモデルで方向が一致し、Claude以外のモデルでも成り立つように見えるものの厳密には未検証としています。

その他の変動要因

リソース配分以外にも、特定の構成では時間制限が影響し始めるほか、クラスタの健全性、ハードウェア仕様、並列度、外向き帯域まで、評価系のあらゆる構成要素が交絡要因になりえます。逸話的な観察として、APIのレイテンシがトラフィックや障害で変動するため、合格率が時間帯によって揺らぐ現象も見られたとしています。モデルの能力とインフラの挙動の境界は、単一のベンチマークスコアが示唆するよりも曖昧だという指摘です。

推奨事項

• ▸2つのパラメータの分離 — リソースはタスクごとに保証割当と強制終了の上限を別々に指定し、スパイクへの余裕を与えつつスコアの水増しを防ぐ
• ▸上限の較正 — 下限と上限でのスコア差がノイズの範囲に収まるよう較正する。Terminal-Bench 2.0では3倍の上限でインフラエラー率が約3分の2減り、スコアの上昇はノイズの範囲だった
• ▸実験変数としての扱い — リソース構成をプロンプト形式やサンプリング温度と同格の第一級の実験変数として文書化・統制する
• ▸結果の読み方 — 手法が標準化されるまで、リーダーボードの3ポイント未満の差は、評価構成が文書化され条件が一致していると確認できるまで懐疑的に見る