Sakana AIは2026年4月、リアルタイム音声対話AIの新アーキテクチャ「KAME」を発表しました。音声から音声へ直接応答するSpeech-to-Speech(S2S)モデルと、裏で並行して動くバックエンドの大規模言語モデル(LLM)をタンデム構成でつなぎ、応答の速さと回答の知識量を両立させる手法です。論文はICASSP 2026に採択されており、推論コード・ファインチューニング用コード・学習済みモデルも公開されています。名称のKAMEは日本語の「亀」に由来します。

背景: 音声対話AIの2方式とその課題

• ▸Speech-to-Speech(S2S)方式 — 音声から音声へ直接応答するため反応は速いが、知識面で劣る傾向がある
• ▸カスケード方式 — 音声認識(STT)・LLM・音声合成(TTS)を直列につなぐ構成で、知識は豊富だが遅延が生じやすい

KAMEはS2SモデルにバックエンドLLMを組み合わせて両方式の長所を取り込みます。S2Sモデルが高速な応答ループを担当し、バックエンドLLMは遅い周期で非同期に動作して、得られた「オラクル」信号を随時注入します。ユーザーの発話が進むにつれて、バックエンドLLMは途中までの書き起こしに対して繰り返し呼び出され、応答の手がかりを段階的に洗練させていきます。

S2Sモデルは即座に応答を始め、LLMが並行して応答内容の推論を続けるため、発表ではこれを「考えてから話す」から「話しながら考える」へのパラダイム転換だと説明しています。

Moshiとの比較

• ▸推論問題 — KAME(GPT)が8点、Moshiは1点
• ▸STEM問題 — KAME(GPT)が9点、Moshiは2点
• ▸人文系問題 — KAME(GPT)が9点、Moshiは4点

応答性と知識を示すため、フルデュプレックスS2Sモデルの代表例であるMoshiと比較しています。公平な比較のため、両者は同じMoshiベースモデルから出発して同一データで学習し、KAME側のフロントエンドのみバックエンドからのオラクル信号を受け取るよう訓練されています。評価はMT-Benchのテキスト設問をTTSで音声化して質問し、回答音声を書き起こしてLLMが採点する方式です。KAME(バックエンドはgpt-4.1)は低遅延を保ったまま、単体のS2Sベースラインより知識に基づいた回答を返しました。

バックエンドLLMの交換

KAMEはgpt-4.1、claude-opus-4-1、gemini-2.5-flashといったバックエンドLLMを簡単に交換でき、用途ごとに最適なモデルを選べます。発表の例では、推論タスクではclaude-opus-4-1が、人文系タスクではgpt-4.1が高いスコアを示す傾向がありました。全体のやり取りの形を変えずに、モデルごとの強みを活かせるとしています。

公開されている資源

• ▸論文 — arXivで公開、ICASSP 2026に採択
• ▸コード — 推論コードとファインチューニング用コードをGitHubで公開
• ▸モデル — Hugging Faceで公開

著者はSakana AIのSo Kuroki氏、Yotaro Kubo氏、Takuya Akiba氏、Yujin Tang氏と、インターンとして参加した東京大学のManato Yaguchi氏です。