Thinking Machines Labは2026年7月15日(現地時間)、自社でゼロから学習したオープンウェイトモデル「Inkling」を公開しました。総パラメータ975B・アクティブ41BのMixture-of-Experts型Transformerで、テキスト・画像・音声・動画からなる45兆トークンで事前学習され、最大100万トークンのコンテキストウィンドウをサポートします。特定分野に特化せず幅広くカスタマイズの土台になる基盤モデルという位置づけで、同社の微調整プラットフォーム「Tinker」で公開当日からファインチューニングできます。

モデルの概要

• ▸アーキテクチャ — Mixture-of-Experts型Transformer。各MoE層に256のルーテッドエキスパートと2つの共有エキスパートを持ち、トークンごとに6つのルーテッドエキスパートが有効になる。アテンションはスライディングウィンドウ層とグローバル層を5対1で交互配置し、位置エンコーディングには広く使われるRoPEではなく相対位置埋め込みを採用
• ▸事前学習 — テキスト・画像・音声・動画からなる45兆トークンで実施。大きな行列重みにはMuon、その他にはAdamを使うハイブリッド最適化を採用し、NVIDIA GB300 NVL72システムで学習
• ▸マルチモーダル — エンコーダーフリー構成で、音声はdMelスペクトログラム、画像は40×40ピクセルのパッチとして入力し、テキストトークンと統合処理
• ▸思考量の制御 — thinking effortを調整して性能とトークン効率のバランスを取れる。Terminal Bench 2.1ではNemotron 3 Ultraと同等のスコアを約3分の1のトークン数で達成

同社はInklingについて、現時点で最強のモデル(オープン・クローズドを問わず)ではないとしたうえで、マルチモーダル能力、効率的な思考、Tinkerでの微調整可能性の組み合わせが、カスタマイズ用のオープンウェイトのベースとして適していると位置づけています。今後も拡張を続けるモデルファミリーの最初のリリースとしています。

主なベンチマーク結果

• ▸推論 — HLE(テキストのみ)29.7%、AIME 2026 97.1%、GPQA Diamond 87.2%
• ▸エージェント・コーディング — SWEBench Verified 77.6%、Terminal Bench 2.1 63.8%。人間の盲検評価によるDesign ArenaのAgentic Web Devリーダーボードでは、オープンウェイトモデルの中で最上位クラス
• ▸予測 — ForecastBench(検索なし)のBrier Indexは61.1で、較正された予測能力を訓練した成果と説明
• ▸安全性 — 武器・暴力関連の拒否を測るFORTRESS(敵対的)で78.0%と、比較したオープンウェイトモデルの中で最も高く、良性の類似質問への過剰拒否も抑えた。StrongREJECTは98.6%
• ▸音声 — VoiceBench 91.4%、MMAU 77.2%などで、オープンウェイトの音声対応モデルとして最上位クラス

ポストトレーニングでは、オープンウェイトモデルによる合成データでSFTを行った後、計算量の大半を大規模な非同期強化学習に投じました。3,000万超のロールアウトまでスケールさせた結果、推論系評価の報酬が全過程を通じてログリニアに向上し続けたと報告しています。また強化学習が進むにつれて、思考の文体が文法的な冗長さを省いた簡潔なものへ変化する創発的な現象も観察されたとしています。このほか、確信度の較正(calibration)や指示追従、検閲への耐性といった信頼性面の訓練も行われました。

Inkling-Small

あわせて軽量版「Inkling-Small」のプレビューが発表されました。総パラメータ276B・アクティブ12BのMoEモデルで、小型モデル向けに事前学習データとレシピを改善した結果、多くのベンチマークでInklingに匹敵または上回る性能を示します。コストとレイテンシが重要なコーディング、LLMによる採点、合成データ生成などの用途に適するとされ、テスト完了後に全重みが公開される予定です。

提供状況

• ▸Tinker — 公開当日から64K/256Kトークンのコンテキスト長で利用可能。期間限定で50%割引。コンソールには対話用の「Inkling Playground」が追加され、エージェント的なウェブ検索を統合したチャットを期間限定で無料提供
• ▸重みの公開 — Hugging Faceでオリジナル版と、NVIDIA Blackwellシステム向けのNVFP4版を公開
• ▸API提供 — Together AI、Fireworks、Modal、Databricks、Basetenで利用可能
• ▸推論エコシステム — SGLang、Miles、vLLM、TokenSpeed、llama.cpp、Hugging Face transformersへの対応を各パートナーと整備。ツール呼び出しやマルチモーダル入力を扱うtml-rendererも公開