PrismMLは2026年7月14日(現地時間)、Qwen3.6 27Bをベースにしたマルチモーダルモデル「Bonsai 27B」を発表しました。重みを三値または1ビットに圧縮することで、27Bクラスのモデルとして初めてスマートフォン上での動作を実現しています。多段推論やツール呼び出し、視覚タスク、エージェント的なループといった能力を保ったまま、サイズを5.9GB(三値版)・3.9GB(1ビット版)に抑えており、モデルの重みは発表当日からApache 2.0ライセンスで公開されています。

2つのバリアント

• ▸Ternary Bonsai 27B — {−1, 0, +1}の三値重みとFP16のグループ単位スケーリングを用い、重みあたり実効1.71ビット。5.9GBで一般的なノートPCで動作する品質重視版で、推論・ツール呼び出し・エージェント機能をフルに備える
• ▸1-bit Bonsai 27B — {−1, +1}の二値重みで重みあたり実効1.125ビット。3.9GBでiPhone 17 Proのメモリ予算に収まる省フットプリント版で、27Bクラスのモデルを初めてスマートフォンに載せた

低ビット表現は、埋め込み・アテンション・MLP・LMヘッドを含む言語ネットワーク全体に適用され、高精度で処理する例外部分はありません。両バリアントともマルチモーダルで、ビジョンタワーはコンパクトな4ビット形式で同梱されるため、スクリーンショットや文書、カメラ入力を端末上で扱えます。コンテキストは262Kトークンで、投機的デコーディングにも対応します。

同社によると、16ビット精度の27Bモデルは約54GB、良質な4ビット版でも18GBを占め、スマートフォンや多くのノートPCには載りません。さらにスマートフォンはアプリに全メモリを開放しないため(12GBのiPhoneでモデルが使えるのは約6GB)、約4GBの1ビット版が初めてこの制約を余裕を持ってクリアしたとしています。

ベンチマーク結果

• ▸全体(15ベンチマーク) — ベースのQwen 3.6 27Bの85.0に対し、三値版80.5、1ビット版76.1
• ▸数学(GSM8K、MATH-500、AIME25、AIME26) — 95.3に対し93.4/91.7
• ▸コーディング(HumanEval+、MBPP+、LiveCodeBench) — 88.7に対し86.0/81.9
• ▸エージェント・ツール呼び出し(BFCL v3、TauBench) — 80.0に対し74.0/66.0
• ▸知識・STEM(MMLU-Redux、MuSR) — 83.1に対し77.0/73.4
• ▸視覚(MMMU Pro、OCRBench) — 72.6に対し65.2/59.6

評価はいずれも思考モードで実施されました。同社は、数学とコーディングはほぼ劣化せず、ツール呼び出しもフル精度から数ポイント差に収まると強調しています。同じベースモデルを従来手法で最も積極的に低ビット化したものと比べると、1-bit Bonsai 27Bは2.5倍少ないメモリで大幅に高いスコアを示したとしています。1GBあたりの知能密度は1ビット版で0.53となり、フル精度ベースラインの10倍超、入手可能な最良の低ビット代替の約2.7倍と説明しています。

ローカル実行を重視する理由

同社は、AIの主要なワークロードが単発の応答から持続的な作業へ移りつつあり、エージェントは1回ではなく数百回のモデル呼び出しを行うと指摘しています。クラウドのみの実行では、各ステップが遠隔リクエストになり、トークン単位のコストが反復のたびに積み上がり、ユーザーの私的なファイルや画面、データがネットワークを越えるという構造的な制約があるとします。

持続的なエージェント作業が可能なモデルが端末に収まれば、数百ステップのループの限界コストはゼロになり、ユーザーのデータは端末の外に出ません。また、プライバシーに関わるタスクや非フロンティア級のタスクは手元の有能なローカルモデルに任せ、最難関のステップだけをクラウドのフロンティアモデルに振り分けるハイブリッド構成も可能になると述べています。

生成速度は、NVIDIA GeForce RTX 5090で1ビット版が最大163トークン/秒・三値版が134トークン/秒、M5 Maxで1ビット版が最大87トークン/秒・三値版が58トークン/秒に達します。

提供状況

Apple端末(Mac、iPhone、iPad)ではMLX、NVIDIA GPUではCUDAを通じてネイティブに動作し、ハイブリッドアテンション構造向けに構築されたカスタム低ビットカーネルが使われています。重みは発表当日からApache 2.0ライセンスで利用でき、あわせて期間限定の無料開発者プレビューAPIも提供されます。圧縮・評価・ベンチマーク手法の詳細はホワイトペーパーで公開されています。

PrismMLはCaltechの研究者チームから生まれた企業で、Khosla Ventures、Cerberus、Googleの支援を受けて設立され、Samsungの継続的な支援を受けているとしています。