米UCサンディエゴのHao AI LabとStepFunなどの研究チームは2026年6月、大規模言語モデルの生成を高速化する投機的デコーディング手法「JetSpec」を発表しました。凍結したターゲットモデルの隠れ状態の上に、候補トークンの木を1回の順伝播で生成する因果的並列ドラフトヘッドを学習することで、出力を変えないまま、Qwen3-8BのMATH-500で9.64倍、オープンエンドなチャットで4.58倍のデコード高速化を達成したとしています。論文・コード・モデルが公開されています。

背景: 投機的デコーディングのスケーリング上限

投機的デコーディングには、候補(ドラフト)の予算を増やしても、受理率が高くドラフトが安価である間しか効果が出ないというスケーリングの上限があります。従来のドラフトヘッドには因果性と効率のジレンマがあり、自己回帰型のドラフタは経路を条件付けできる一方で木の深さに応じてコストが増え、ブロック拡散型のドラフタは1パスでドラフトできる一方で分岐を独立に採点するため、個々にはもっともらしくても相互に矛盾した木を作ってしまうと研究チームは指摘しています。

JetSpecの仕組み

• ▸因果的並列ドラフトヘッド — 凍結したターゲットモデルの融合された隠れ状態の上に学習し、1回の順伝播でスコア付きの候補トークン木を生成。枝のスコアがターゲット自身の自己回帰的な分解に整合
• ▸1パス検証 — ターゲットモデルが木全体を1回の順伝播で検証して一致する最長のパスを採用するため、ターゲットの出力分布は正確に保たれるロスレスな高速化
• ▸ヘッドのみ学習 — ターゲットの重みは凍結したままなので、本番運用中のモデルに重みを変更せずに後付け可能。ヘッドはターゲット自身の次トークン分布を教師として学習

性能

• ▸高速化(Qwen3-8B・greedy・予算256) — MATH-500で9.64倍、GSM8K 7.82倍、HumanEval 7.12倍、オープンエンドチャット(MT-Bench)4.58倍を達成し、DDTreeやEAGLE-3を全ベンチマーク・全予算で上回る
• ▸平均受理長 — MATH-500で1ラウンドあたり平均10.76トークンを受理
• ▸調整不要 — ブロック拡散ヘッドが損失重み付けの調整に依存して極端な設定では崩れるのに対し、因果ヘッドは重み付けの全範囲で8.3〜8.5倍を維持
• ▸実サービング — 独自の推論エンジン上で、B200 1基によりピーク毎秒1456トークン・平均約1000トークンの生成を実証(Qwen3-8B・1ラウンドあたり平均9.29トークン受理)

制約と公開

サンプリング(温度1)では高速化の幅がgreedy時より小さくなり、AIME25のような難度の高い推論ベンチマークでは最強の拡散ベースラインとの差が縮まります。また、実サービングではカーネル起動などのオーバーヘッドが加わるため、実測の高速化は論文上のアルゴリズム的な高速化率を下回ります。最適なドラフト予算は、木を大きくすると受理長が伸びる一方で検証コストも増えるトレードオフで、モデルとハードウェアに依存します。論文はarXiv(arXiv:2606.18394)で公開され、コードとモデルも公開されています。