国立情報学研究所(NII)の大規模言語モデル研究開発センター(LLMC)は2026年4月3日、LLM研究開発コミュニティ「LLM-jp」の活動でフルスクラッチ学習した国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開したと発表しました。約12兆トークンの良質な学習コーパスを整備・使用し、日本語理解能力を測る「日本語MT-Bench」などで「GPT-4o」や「Qwen3-8B」を上回る性能を達成しています。最大で約6万5千トークンの入出力に対応します。

公開モデルの概要

• ▸LLM-jp-4 8Bモデル — Llama 2アーキテクチャを採用し、パラメータ数は約86億個(8B)
• ▸LLM-jp-4 32B-A3Bモデル — Qwen3 MoEアーキテクチャを採用。総パラメータ数は約320億個(32B)・総エキスパート数128、アクティブパラメータ数は約38億(3.8B)・アクティブエキスパート数8
• ▸入出力 — 最大で約6万5千トークンまで処理可能
• ▸計算資源 — 産業技術総合研究所が提供するAI橋渡しクラウド(ABCI 3.0)を利用
• ▸公開先 — 開発モデル・ツール・コーパスをオープンソースライセンスで一般公開

学習コーパスとチューニング

• ▸コーパス構築 — オープンソースAIの定義(OSAID)に配慮し、第三者も入手可能な良質なデータを収集・選別。過去に公開した「LLM-jp-3.1」シリーズ比で約6倍の規模
• ▸事前学習 — インターネット上の公開データや政府・国会の文書などからなる総計約19.5兆トークン(日本語約7,000億、英語約17.8兆、中国語・韓国語約8,500億、プログラムコード約2,000億)のコーパスから、実験を通じて配分を最適化した約10.5兆トークンを使用
• ▸中間学習 — 指示事前学習データを含むLLMによる合成データを加えた、合計1.2兆トークンのコーパスで実施
• ▸チューニング — 英語および日本語のインストラクションチューニングデータ22種類を使用。LLM-jpが開発したデータは順次公開予定

ベンチマーク評価

• ▸評価方法 — LLM-jpが開発する評価フレームワーク「llm-jp-judge」を用い、GPT-5.4によるLLM-as-a-Judge評価を実施
• ▸日本語MT-Bench — 8Bモデルが7.54、32B-A3Bモデルが7.82を達成し、GPT-4oの7.29、gpt-oss-20bの7.33、Qwen3-8Bの7.14を上回る
• ▸MT-Bench(英語) — 8Bモデルが7.79、32B-A3Bモデルが7.86で、GPT-4oの7.69、gpt-oss-20bの7.85、Qwen3-8Bの7.67と同等以上
• ▸llm-jp-eval v2.1.3 — 日本語・英語の42種類の評価データによる横断評価で、両モデルとも日本語性能でgpt-oss-20bやQwen3-8Bと同等を確認

今後の予定と開発体制

LLMCは公開した2モデルを活用し、LLMの透明性・信頼性の確保に向けた研究開発を進めます。また、より大規模な「LLM-jp-4 32Bモデル」とMoEモデル「LLM-jp-4 332B-A31Bモデル」の開発を進めるとともに、実運用での利便性を考慮した軽量モデルの開発も並行して進めており、2026年度中に順次公開予定です。

開発を担うLLM-jpはNIIが主宰する研究開発コミュニティで、大学・企業等から2,600名以上(2026年3月31日現在)が参加しています。本成果は文部科学省補助金事業「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」によるもので、国立国語研究所の日本語ウェブコーパスや国立国会図書館のWebサイトURLリストの提供も受けています。