AnthropicのAlignment Scienceブログで2026年2月、AIシステムの失敗の性質を分析した研究「The Hot Mess of AI」が公開されました。2025年夏の第1期Anthropic Fellowsプログラムの一環として行われたもので、AIが失敗するとき、意図しない目標を体系的に追求する形で失敗するのか、それともどの目標も推進しない支離滅裂な行動で失敗するのかを問い、フロンティア推論モデルの誤りを系統的なバイアスと非一貫なバリアンスに分解して定量的に検証しています。タスクが難しく推論が長くなるほど、失敗は系統的なミスアラインメントよりも非一貫性に支配されるようになると報告しています。

研究の問い

AIアラインメントの古典的な懸念は、ペーパークリップ最大化のシナリオに代表されるように、超知能が誤った目標を首尾一貫して追求する形の失敗です。これに対し本研究は、AIがどの一貫した目的にも最適化されない、予測不能で自滅的な振る舞い(ホットメス)で失敗する可能性、つまり人間がよくやる失敗の仕方に注目します。専門家への調査で知的な主体ほど主観的に一貫性が低いと判断されたという2023年のホットメス理論の仮説を土台に、これをフロンティアAIシステムでの実測に移しています。

非一貫性の測り方

誤差をバイアスの2乗とバリアンスの和に分解する古典的な枠組みを用い、バイアスは一貫して同じ誤った結果に至る系統的な誤りを、バリアンスは試行ごとにばらつく非一貫な誤りを捉えます。誤差に占めるバリアンスの割合を「誤りの非一貫性」と定義し、0ならすべての誤りが系統的で同一の結果を生み(古典的なミスアラインメントのリスクに相当)、1なら誤りが完全にランダム(ホットメスのシナリオ)となります。誤りの頻度ではなく誤りの中身の組成を測る指標です。

主な発見

• ▸発見1 — 推論やアクションが長くなるほど誤りは非一貫になる。推論トークン数・エージェントの行動数・最適化ステップ数のいずれで測っても、全タスク・全モデルで成立
• ▸発見2 — 知能と非一貫性の関係は設定によって異なる。易しいタスクでは知的なモデルほど誤りが一貫的になる一方、最難関のタスクでは非一貫になるか変わらなかった
• ▸発見3 — モデルが自発的に通常より長く推論した場合は非一貫性が急増し、APIの設定で推論予算を意図的に増やした場合の効果を上回る
• ▸発見4 — 複数サンプルの集約(アンサンブル)はバリアンスを減らすが、行動が不可逆な実世界のエージェントタスクでは実用的でない場合がある

評価対象はClaude Sonnet 4、o3-mini、o4-mini、Qwen3などのフロンティア推論モデルで、多肢選択ベンチマーク(GPQA、MMLU)、エージェント型コーディング(SWE-Bench)、安全性評価(Model-Written Evals)を使用し、いずれも意図された挙動という明確な基準に対してバイアスとバリアンスを測定しています。規模の拡大だけでは誤りの非一貫性は解消されない、というのが観察からの示唆です。

合成オプティマイザ実験

二次損失関数に対する最急降下法から訓練データを生成し、現在の状態から次の最適化ステップを予測するトランスフォーマーを規模を変えて訓練する統制実験も行いました。この理想化された設定でも、最適化ステップが増えるほど非一貫性が増し、また規模の拡大はバリアンスよりバイアスを速く減らしました。何をすべきかを知ることと、それを一貫して実行することの差は規模とともに広がるとしています。LLMのような大規模トランスフォーマーは本来は最適化器ではなく力学系であり、一貫した最適化器として振る舞わせるための制約は状態空間の次元とともに指数的に増えることが多く、その難しさは規模拡大で自動的には減らないという見立てです。

AI安全性への示唆

将来のAIの失敗は、訓練していない目標の一貫した追求よりも産業事故に近い形になりうることを示す一つの証拠だとしつつ、訓練した目標の選び方を誤った場合の一貫した追求は依然として問題だとします。有能なAIが誤った目標の一貫した最適化器よりホットメスになりやすいのであれば、完璧な最適化器を制約する研究よりも、訓練時の報酬ハッキングや目標の誤指定(バイアスの項)を対象とする研究の相対的な重要性が増すと論じています。なお、この枠組みでの厳密な測定には多肢選択の正答や単体テストのような明確に定義された正解が必要で、オープンエンドな目標や隠れた目的については確信を持って測定できない点を限界として挙げています。