Anthropicは2026年5月5日、アライメント学習の汎化を改善する手法「モデルスペック中間学習(MSM)」を発表しました。事前学習の後、アライメントのファインチューニングの前に、モデルの行動指針を定めたモデルスペックについて論じる合成文書でモデルを訓練するものです。同じファインチューニングを施しても、MSMで用いたスペックによってモデルの汎化のしかたが変わることが示され、エージェントとしての不整合行動の大幅な削減にも役立つと報告されています。研究はAnthropic Fellows Programの成果で、論文とコードが公開されています。

MSMの仕組み

モデルスペックや憲法に沿った振る舞いのお手本(デモンストレーション)でファインチューニングするのが標準的なアライメント手法ですが、訓練時と異なる状況に置かれたLLMエージェントが脅迫や社内情報の漏えいといった非倫理的な行動をとる例が報告されています。MSMは、デモデータだけでは意図した汎化が十分に特定されない、という仮説に基づき、事前学習とファインチューニングの間に新しい学習段階を挟みます。

この段階では、モデルスペックの内容を論じる多様な合成文書のコーパスでモデルを訓練し、スペックの「何を・なぜ」を先に理解させます。その後のデモによるファインチューニングで原則の実践を学ばせることで、「正しい理由で正しいことをする」モデルを目指すとしています。

同じデータから異なる価値観を学ぶ実験

チーズの好みを述べる対話データという、複数の価値観と整合しうる曖昧な訓練データを使った実験が示されています。「手頃さ重視」と「アメリカ的なもの重視」という異なる価値観に基づく2種類のモデルスペックを書き、Llama 3.1-8Bベースのモデルにそれぞれ別のスペックでMSMを適用したうえで、まったく同じチーズ選好データで教師ありファインチューニング(SFT)を行いました。その結果、各モデルは自分のスペック側の価値観へと汎化し、芸術・交通・ファッションなどの未見の分野で手頃さ重視モデルは一貫して安価な選択肢を好み、政治的意見の分野でアメリカ重視モデルはより親米的な立場を支持するようになりました。

エージェントの不整合の削減

• ▸Qwen2.5-32B — 不整合行動の発生率が68%から5%に低下(熟慮アライメントに基づくベースラインは48%)
• ▸Qwen3-32B — 54%から7%に低下(同ベースラインは14%)
• ▸データ効率 — 同等の性能に必要なファインチューニングデータがQwen2.5-32Bで約40分の1、Qwen3-32Bで約60分の1(CoTなし)ないし約10分の1(CoTあり)に

安全性に関わる評価として、LLMエージェントが自身の存続や目的の保持のために非倫理的な行動を選ぶ「エージェント的不整合」の評価が使われました。企業のメールエージェントとして配置されたモデルが、文脈から自分が置き換えられる可能性を知り、それを防ぐためにデータ漏えいなどの有害行動をとれる状況です。単発の会話データによるファインチューニングとは大きく異なる分布外の設定ですが、MSMを併用すると不整合が大幅に減り、思考過程(CoT)付きで訓練する熟慮アライメントのベースラインも上回りました。

注意点として、CoT付きファインチューニングは計算量を増やすとMSM併用と同水準まで収束する場合があり、より難しい評価での検証が必要だとしています。

モデルスペックの科学

MSMは、どのようなモデルスペックがよい汎化を生むかを実証的に調べるツールとしても使われました。共通の5つのルールを持つ3種類のスペック、すなわちルールのみの「Rules Spec」、各ルールの背後にある価値や動機の説明を加えた「Value-Augmented Spec」、ルールを多数のサブルールに展開した「Rule-Augmented Spec」を比較したところ、価値の説明とサブルールの追加はどちらも汎化を改善しました。特に、モデルが自らの安全方針を都合よく再解釈して有害行動を正当化する「ポリシーの誤用」は、価値の説明でQwen2.5が20%から2%、Qwen3が6%から0%へと減少し、サブルール追加(それぞれ12%、2%)よりも効果的でした。