Preferred Networks(PFN)は2026年3月19日、国産生成AI基盤モデルPLaMoの新たなフラグシップモデル「PLaMo 3.0 Prime β版」をリリースしました。PLaMo 3.x Prime系統初のフラグシップモデルで、これまでのノウハウを集約してアーキテクチャを一新し、事前学習からゼロベースで再構築したモデルです。フルスクラッチモデルとしては日本国内初のReasoning対応モデルとなります。現在は無償利用を前提にモニター企業を募集しており、フィードバックを踏まえて更なる性能向上と安定化を進めるとしています。

コンテキスト長を64Kトークンへ拡張

事前学習後に比較的小規模な継続事前学習を行ってコンテキスト長を後から拡張する手法のうち、RoPEの回転周波数に工夫を施す代表的な手法であるYaRNを採用し、コンテキスト長を64K(65,536)トークン、出力側は最大20Kトークンまで伸ばしました。PLaMo 2.2 Primeの32Kトークン(出力側最大4Kトークン)から2倍になっています。一方、オープンウェイトモデルで最先端のDeepSeek V3.2の164KやGLM-5の205K、クローズドなフロンティアモデルであるGPT-5.2の400K、Gemini 3.1 Pro Previewの1Mとはまだギャップがあり、今後も拡張に挑戦するとしています。

推論モデルの採用と学習パイプライン

推論モデルとは、最終的な出力を生成する前に複雑な問題を小さなステップに分割して段階的に解き進めたり、探索的な試行錯誤や推敲の繰り返しで改善したりするよう訓練された大規模言語モデルです。この採用により、推論能力をはじめ様々な領域のタスク性能が大幅に向上しました。

DeepSeek-R1やそれに追随するオープンな推論モデルの構築手法を参考に、PLaMo 2.x Prime系統の事後学習データ・パイプラインを全面的に見直し、教師ありファインチューニング(SFT)、直接選好最適化(DPO)、強化学習(RL)を実施しました。SFTとDPOでは最終回答だけでなく思考過程についても損失計算を行うよう変更し、今回初採用のRLには学習を安定させる工夫を組み込み、どの段階でも性能向上を確認したとしています。

学習データセットは、従来の事後学習データに加えてオープンなデータセットを新たに収集し、独自データを大幅に拡充しました。日本語の指示追従性能を高めるための独自ベンチマークJFBenchに基づくデータ、ツール利用のためのデータ、長コンテキストで一貫した質問応答のためのデータ、医療分野の知識を補強するデータ、STEM分野やRAG性能向上のためのデータなどが含まれます。

ベンチマーク結果

PLaMo 2.2 Prime、Qwen3-235B-A22B-Thinking-2507、gpt-oss-120bと、指示追従(IFBench/JFBench)、ツール使用(BFCL)、長コンテキスト質問応答(LongBench v2)、医療分野(MedRECT、医師国家試験)、対話能力(MT-bench、Japanese MT-bench)、日本の法令(lawqa_jp)、STEM分野(AIME 2024、GPQA-Diamond)の11ベンチマークで比較し、ほとんどすべてでPLaMo 2.2 Primeから改善しました。特に数学的推論を測るAIME 2024は飛躍的に進化しており、Reasoning能力を獲得した結果と分析しています。

比較2モデルとは多くのベンチマークで同等程度の性能で、IFBench/JFBenchでは両モデルを上回るスコアを記録し、Japanese MT-benchでも同等以上でした。一方、BFCLの複数ターンで複数ツールから選択するケース、AIME 2024、GPQA-Diamondでは大きく劣っており、今後改善を進めるとしています。

出力例として川渡りパズル問題への回答を紹介しており、PLaMo 2.2 Primeが最初の一手から破綻する誤答を返したのに対し、PLaMo 3.0 Prime β版は妥当な手順と成立理由の明快な説明を返しました。思考過程は学習データの影響で主に英語で行われており、正式版リリースに向けて思考を日本語で行う再訓練を検討しています。

開発体制と今後

開発ではPFNが保有する大規模な計算基盤を活用し、チップ、インフラ、基盤モデル、ライブラリ、ソリューションまでを一気通貫で開発・提供する垂直統合の強みを活かして開発を続けるとしています。学習には国立研究開発法人情報通信研究機構(NICT)が整備する日本語関連データセットを活用したほか、経済産業省とNEDOが推進する生成AI基盤モデル開発プロジェクトGENIAC第3期の一部開発成果を事後学習に活用しています。

本モデルはβ版としての提供で、モニター企業のフィードバックを踏まえて性能向上と安定化を進める方針です。今後はより長いコンテキスト長への対応、より高度なReasoning能力の獲得、実務に関わる様々な領域のタスク性能向上を目指すとしています。