UCサンディエゴ

【生成AIニュースメモ】UCサンディエゴら、LLM推論を高速化する投機的デコーディング手法「JetSpec」を発表(2026/6/26)

米UCサンディエゴのHao AI LabとStepFunなどの研究チームは2026年6月、大規模言語モデルの生成を高速化する投機的デコーディング手法「JetSpec」を発表しました。凍結したターゲットモデルの隠れ状態の上に、候補トークンの木を1回の順伝播で生成する因果的並列ドラフトヘッドを学習することで、出力を変えないまま、Qwen3-8BのMATH-500で9.64倍、オープンエンドなチャットで4.58倍のデコード高速化を達成したとしています。論文・コード・モデルが公開されています。