AIラボのPrismMLは2026年3月31日(米国時間)、埋め込みからAttention層、MLP層、LMヘッドまでネットワーク全体を1ビットで実装した大規模言語モデル「1-bit Bonsai 8B」を発表しました。Caltechで開発された研究から生まれた同社は、次のAIの大きな飛躍はパラメータ数ではなくモデルサイズあたりの知能を示す「知能密度」の桁違いの改善によって駆動されるとの考えを掲げており、この発表で会社としての設立もあわせて公表しています。小型の1-bit Bonsai 4Bと1.7Bも同時にリリースされ、重みはApache 2.0ライセンスで公開されています。

知能の集約という考え方

この10年、AIはモデルを大きくするほど賢くなるという明確な軌道で進歩してきた結果、最も高性能な知能が巨大クラスタと専用インフラの中に閉じ込められるという構造的制約が生まれたと指摘しています。一方で、AIの最も重要な用途の一部はデータセンターに限られず、スマートフォン、ノートPC、車両、ロボット、セキュアな企業環境、エッジデバイスで起きているとし、サイズ・電力・展開面積の単位あたりで届けられる有用な知能を増やす「知能の集約」を掲げています。

その実践的な指標として、モデルサイズ(GB)あたりの知能を測る「知能密度」を定義しました。ベンチマークスイート平均のエラー率の対数の負数をモデルサイズで割った値で、単純なベンチマーク平均と異なり、さらなる向上が難しい高精度領域での改善を同じ幅の低精度領域での改善より高く評価するため、より現実的な知能の見方になるとしています。

1-bit Bonsai 8Bの設計と性能

• ▸完全な1ビット設計 — 埋め込み、Attention層、MLP層、LMヘッドまでネットワーク全体が1ビットで、より高い精度への逃げ道を持たない、82億パラメータのエンドツーエンドの真の1ビットモデル
• ▸サイズ — 1.15GBで、同パラメータクラスの16ビットフル精度モデル(約15〜19GB)より約12〜14分の1小さい
• ▸ベンチマーク平均 — 70.5で、Qwen 3 8Bの79.3、RNJ 8Bの73.1、Ministral3 8Bの71.0、Olmo 3 7Bの70.9に次ぎ、LFM2 8BやLlama 3.1 8Bを上回る
• ▸内訳 — MMLU Reduxが65.7、MuSRが50.0、GSM8Kが88.0、HumanEval+が73.8、IFEvalが79.8、BFCLv3が65.7
• ▸知能密度 — 1.06/GBで、パラメータ数が近いモデルで最も高いQwen3 8Bの0.10/GBとは異なる次元にあると主張

低ビットモデルは従来、指示追従、多段推論、信頼できるツール利用の能力を失いすぎて製品の基盤にならないことが多かったのに対し、Bonsaiは1ビットモデルが狭い妥協である必要はなく、それ自体が本番運用に耐えるシステムになり得ることを示したとしています。

速度とエネルギー効率

• ▸iPhone 17 Pro — 約40トークン/秒で動作。16ビットの8BモデルはどのiPhoneにも収まらない
• ▸M4 Pro Mac — 131トークン/秒
• ▸RTX 4090 — 368トークン/秒
• ▸エネルギー効率 — 16ビットフル精度版に比べ約4〜5倍で、M4 Proで0.074mWh/トークン、iPhone 17 Pro Maxで0.068mWh/トークン

長時間のエージェントタスクを模したデモでは、50件のチケット要約・割り当てタスクを1-bit Bonsai 8Bがすべて完了したのに対し、標準的な16ビットの8Bモデルは同じ時間内に6件に留まりました。これらの向上は、フル精度演算向けに設計された現行の標準的な商用ハードウェア上で、主にメモリフットプリントの削減によって達成されたものです。1ビットの重みではMLPなどの線形層の推論を乗算ほぼなしの単純な加算に置き換えられるため、1ビット推論専用に設計されたハードウェアなら、さらに1桁の性能・効率向上の可能性があるとしています。

モデルファミリーと提供形態

アプローチの力を示すため、小型の1-bit Bonsai 4Bと1.7Bも同時公開されました。1.2GBから16.4GBまでの主要な20のinstructモデルを調べたところ、知能対サイズのパレートフロンティアはQwen3の各サイズとMinistral3 3Bで定義されており、Bonsaiファミリーはこのフロンティアを劇的に左へ動かした新たなフロンティアだとしています。

知能がローカルで動くほど集約されると、低遅延による応答性、機密データがデバイスを離れないプライバシー、クラウド接続に依存しない信頼性、サーバー側展開では高価すぎた場面での経済性が得られ、常駐型のオンデバイスエージェント、リアルタイムロボティクス、セキュアな企業向けコパイロット、オフライン知能といった新カテゴリが開けると展望しています。

PrismMLはCaltechの研究者チームから生まれ、Khosla Ventures、Cerberus、Googleの支援を受けて設立されました。1-bit Bonsai 8BはMLX経由でApple製デバイス(Mac、iPhone、iPad)、llama.cppのCUDA経由でNVIDIA GPUでネイティブに動作し、モデルの重みはApache 2.0ライセンスで公開中です。学習・評価・ベンチマークの詳細はホワイトペーパーで公開されています。