Moonshot AIは、同社で最も高性能なモデル「Kimi K3」を発表しました。総パラメータ2.8兆(2.8T)で、世界初のオープンな3Tクラスモデルです。独自アーキテクチャのKimi Delta Attention(KDA)とAttention Residuals(AttnRes)の上に構築され、ネイティブの視覚能力と100万トークンのコンテキストウィンドウを備え、長期のコーディング・知識労働・推論に向けたモデルとされています。総合性能では最も強力な独自モデルのClaude Fable 5とGPT 5.6 Solに届かないものの、評価スイート全体でフロンティア級の性能を示し、その他の比較モデルを一貫して上回ったとしています。モデルウェイトは2026年7月27日までに完全公開予定です。

アーキテクチャ: 3Tクラスを支える新設計

KDAはシーケンス長方向の情報の流れを、AttnResはモデルの深さ方向で表現を一様に蓄積するのではなく選択的に取得することを改善する2つのアーキテクチャ更新で、1兆パラメータ領域を大きく超えてスケールするための背骨とされています。MoEのスパース性も拡大し、Stable LatentMoEフレームワークと組み合わせて896のエキスパートのうち16を実効的に活性化します。訓練・データレシピの改良と合わせ、Kimi K2比で全体のスケーリング効率が約2.5倍になり、計算資源をより効果的に知能へ変換できるとしています。

この水準のスパース性ではルーティングと最適化が第一級の課題になるため、ルータースコアの分位点から直接エキスパート割り当てを導き、ヒューリスティックな更新と敏感なバランシング・ハイパーパラメータを排したQuantile Balancing、アテンションヘッドを独立に最適化するPer-Head Muon、活性制御のSigmoid Tanh Unit(SiTU)、アテンション選択性のGated MLAを導入しています。SFT段階からの量子化認識訓練(MXFP4ウェイト+MXFP8活性)で幅広いハードウェア互換性を確保し、推論は64基以上のアクセラレータによるスーパーノード構成を推奨。KDAが従来のprefixキャッシュに新たな課題をもたらすため、対応実装をvLLMコミュニティに貢献しており、これにより規模と長文脈にもかかわらず競争力あるトークン価格で提供できるとしています。

コーディング事例

• ▸GPUカーネル最適化 — 各モデルが同一サンドボックスで最大24時間、AttnRes・KDA・MLAカーネルをNVIDIA Hopperと他ベンダーのGPGPU上で最適化する検証で、Fable 5(フォールバックあり・第三者評価)と互角、Opus 4.8・GPT 5.6 Sol・GPT 5.5を大幅に上回った。開発終盤にはK3の早期版がチームのカーネル最適化作業の大半を担った
• ▸GPUコンパイラ開発 — Triton風の小型コンパイラ「MiniTriton」(MLIR上のタイルレベルIR・最適化パス・PTXコード生成)をゼロから構築。対応ルーフラインベンチマークでTritonやtorch.compileと同等以上、nanoGPTの学習を安定収束で完走
• ▸チップ設計 — 48時間の自律実行で、自身のアーキテクチャに基づくナノモデル向けチップをオープンソースEDAツールとNangate 45nmライブラリで設計・最適化・検証。4mm²・100MHzでタイミングクローズし、1.46Mセル・0.277MB SRAM・INT4 MACアレイを搭載、シミュレーションで8,700トークン/秒超のデコードスループット
• ▸研究コーディング — 計算天体物理のI-Love-Q普遍関係の再現で、20本超の論文のレビューと相互検証、300超の状態方程式の評価、3,000行超のPython実装、インタラクティブなHTMLダッシュボード作成までを約2時間で完了(経験ある研究者の1〜2週間分の作業)

知識労働とマルチモーダル

Kimi Workでは、2.8千回超のWeb検索・取得と1.1千回超のターミナルでのデータ取得、120回超の再帰的自己改善を経て作られたASIC産業42年史のインタラクティブ調査サイト、核融合産業のコンサルティング型レポート、20以上の並行サブエージェントによる重力波391イベントの分析(GWTC-5)などの事例が示されています。チャット内で対話的コンポーネントを生成するWidgetsと、それらをトピックやプロジェクト単位の常設ビューにまとめるDashboardという2つの新機能も導入されました。

ネイティブなマルチモーダルアーキテクチャがテキスト・画像・動画を同一モデルで理解するため、モーションデザイン・アニメーション・動画編集も得意としています。例として、自身のアーキテクチャを解説する3Blue1Brown風のモーショングラフィックス動画の作成や、56本の素材クリップから自身のティザー動画を編集(クリップ選択、モーションマッチしたカット、フレーム精度のビート同期、音声処理、複数回の修正)した事例が紹介されており、後者は経験ある編集者で1〜2営業日、初心者で3〜5日かかる作業だとしています。

提供・価格と制限事項

Kimi K3は即日、Kimi.com、Kimi Work(デスクトップアプリ3.1.0以降)、Kimi Code(/modelコマンドで選択)、Kimi APIで利用できます。API価格は100万トークンあたりキャッシュヒット入力$0.30、キャッシュミス入力$3.00、出力$15.00で、Mooncakeの分離型推論アーキテクチャによりコーディングワークロードでのキャッシュヒット率は90%超としています。発表時点ではmax思考エフォートが既定で、低・高エフォートモードは今後のアップデートで導入予定。アーキテクチャ・訓練・評価の詳細は技術レポートで公開予定です。

制限事項も明記されています。K3は思考履歴を保存するモードで訓練されており、ハーネスが過去の思考内容を要求どおり返さない場合や、他モデルとの進行中セッションを途中でK3に切り替えた場合、生成品質が非常に不安定になる可能性があります(互換性が確認されたハーネスの利用と、セッション途中の切り替え回避を推奨)。また長期・高難度タスクを重視した訓練の結果、軽微な問題や曖昧なユーザー意図に対してユーザーに代わって予想外の判断を下すことがあり(過剰な積極性)、明確な行動制約をシステムプロンプトやAGENTS.mdで課すことが推奨されています。総合的には高い競争力を持つ一方、ユーザー体験ではFable 5やGPT 5.6 Solとの明確な差が残るとしています。