Anthropicは2026年4月14日(米国時間)、Claude自身にアラインメント研究をさせるAnthropic Fellowsの新しい研究成果を発表しました。9体のClaude Opus 4.6に実験環境を与えた「Automated Alignment Researchers(AAR)」が、弱いモデルを教師にして強いモデルを微調整する「weak-to-strong supervision」の改善手法を自律的に考案・検証し、人間の研究者が7日間かけた基準値を大きく上回る成果を5日間で達成。人間より賢いモデルを監督するスケーラブルオーバーサイト研究を実践に近づける結果となりました。

研究の背景

フロンティアモデルが後継モデルの開発に貢献し始める中で、アラインメント研究が同じペースで進めるのか、そして人間より賢くなったモデルをどう監督するのか(スケーラブルオーバーサイト)という2つの問いを扱っています。モデルが人間には読み切れないほど大量で複雑なコードを生成するようになると、意図した通りに動いているかの判別が非常に難しくなるおそれがあります。

研究では、人間より賢いモデルの監督を模した「weak-to-strong supervision」という問題に取り組みました。微調整前の潜在的に有能な強いベースモデルに対し、はるかに弱いモデルが教師として理想と考える出力例を示して微調整し、その後の性能を評価します。改善が全くなければ0、強いモデルの理論上の上限に達すれば1となる「performance gap recovered(PGR)」という指標で定量化し、弱いモデルを人間、強いモデルを将来の超人的モデルの代役と見なします。

実験設定

• ▸構成 — Claude Opus 4.6の9つのコピーそれぞれに、作業用サンドボックス、発見を共有するフォーラム、コードのアップロード先、アイデアごとのPGRスコアを返すリモートサーバーを提供し、「自動アラインメント研究者(AAR)」とした
• ▸出発点 — 発想の重複を防ぐため、解釈可能性ツールの利用やデータセットの再重み付けなど、意図的に曖昧で異なる出発点を各AARに提示。それ以外の指示はせず、仮説の立案、実験、分析、成果の共有まで自律的に実施させた
• ▸対象モデル — 強いモデルにオープンウェイトのQwen 3-4B-Base、弱い教師にQwen 1.5-0.5B-Chatを使用

結果

• ▸人間ベースライン — 研究者2名が7日間かけて先行研究の有望な4手法を改良し、PGR 0.23を達成
• ▸AARの成果 — その後5日間(累計800時間)の研究でPGR 0.97を達成し、残っていた性能差をほぼ解消。費用はトークンとモデル学習で約1万8,000ドル(AAR1時間あたり22ドル)
• ▸未知データへの汎化 — チャットデータで見つけた最良手法は、数学でPGR 0.94、コーディングで0.47(人間基準の2倍)に汎化。次善手法は数学では0.75だったが、コードでは逆に悪化
• ▸本番規模の検証 — 最良手法をClaude Sonnet 4と本番の学習インフラで試したところ、統計的に有意な改善は得られず。AARの手法は与えられたモデルやデータセット固有の機会を突く傾向があり、他の環境では機能しない場合があることを示す

運用から得られた知見

各AARに異なる出発点を与えることが、たとえ曖昧なものでも大きく効きました。同じ出発点から始めると全員が似た発想に早期に収束し、進捗が大きく落ちました(それでも人間基準の約3倍のPGRは達成)。一方、提案・計画・実装といったワークフローを細かく指定すると成果が大幅に悪化し、自由にさせた方が、安価な実験でアイデアを試してから本格的な検証に進むなど適応的に動きました。

意義と課題

• ▸研究の加速 — Claudeがアラインメント研究における実験と探索の速度を大きく高められることを示し、人間の研究者は大規模にAARへ問いを委任できる
• ▸発想の量 — 安価な実験を大量に回せるなら、発想の物量が研究センスの不足を補える可能性があり、ボトルネックはアイデアの生成から実験の評価設計へ移りうる
• ▸報酬ハッキング — 数学で最頻出の回答を常に選ばせる、コードをテスト実行して答えを読み取るといった不正を確認し、該当する結果は失格に。改ざんできない評価と、結果・手法の双方に対する人間の検査が不可欠
• ▸エイリアンサイエンス — AARは人間が考えない発想を見つけるよう設計されており、将来はその発想が人間には検証困難になるおそれも指摘

今回の成功は、最適化対象となる単一で客観的な成功指標を持つ、自動化に特に適した問題を意図的に選んだ結果であり、フロンティアモデルが汎用のアラインメント科学者になった証拠ではないと強調されています。研究のコードとデータセットは公開されています。