DeepReinforce.AIチームは2026年6月、エージェント型コーディングタスクに特化した自己改善型のオープンソースモデルファミリー「Ornith-1.0」を公開しました。事前学習済みのGemma 4とQwen 3.5の上に構築され、9B・31B・35B・397Bの4サイズを展開します。最大の397B版はTerminal-Bench 2.1で77.5、SWE-Bench Verifiedで82.4を記録してClaude Opus 4.7を上回り、同規模のオープンソースモデルの中で最高水準の性能を達成したとしています。

Ornith-1.0の概要

• ▸モデル構成 — エッジデバイスに展開できる9B Denseから、性能を最大化した397B MoEまで、9B Dense・31B Dense・35B MoE・397B MoEの4バリアント
• ▸ベース — 事前学習済みのGemma 4とQwen 3.5の上に構築
• ▸位置づけ — エージェント型コーディングに特化した自己改善型のオープンソースモデルファミリーで、コーディングベンチマークにおいて同規模のオープンソースモデル中で最高水準の性能を達成。Hugging Faceで公開

自己改善型の学習フレームワーク

Ornith-1.0の核心は、タスクを解くことと、解を導く足場(スキャフォールド)を作ることを同時に学習する自己改善フレームワークです。強化学習で人間が設計した固定のハーネスに頼るのではなく、スキャフォールドを学習可能な対象として扱い、方策と共進化させます。各RLステップは2段階で進み、まずタスクと以前に使ったスキャフォールドを条件に改良版のスキャフォールドを提案し、次にそのスキャフォールドとタスク記述を条件に解のロールアウトを生成します。ロールアウトの報酬が両段階に伝播するため、モデルはより良い答えを出すだけでなく、それを引き出すオーケストレーションの作り方も最適化されます。これを繰り返すことで、タスクカテゴリごとの戦略が自動的に現れ、手作業のハーネス設計なしに能力向上が持続するとしています。

報酬ハッキングへの3層の防御

• ▸信頼境界の固定 — 環境・ツール群・テストの隔離は変更不可としてモデルの手が届かない外側に置き、モデルが進化させられるのはメモリ・エラー処理・オーケストレーションといった内側の方策スキャフォールドのみ
• ▸決定的モニタ — 非公開パスの読み取り、検証スクリプトの改変、許可外の操作の呼び出しを検知し、該当する軌跡には報酬ゼロを割り当ててアドバンテージ計算から除外
• ▸凍結LLMジャッジ — 許可されたツール範囲内で起こる意図レベルの不正に対応するため、主報酬ではなく検証器の上の拒否権として機能

非同期RL学習

長いロールアウトに伴うオフポリシーの問題に対処するため、pipeline-RL方式を採用しています。早い段階で生成された古いトークンの影響を制御するため、トークンの古さに応じて重みを下げ、しきい値を超えたトークンは完全に除外するstaleness weightを、トークンレベルのGRPO損失に適用しています。

ベンチマーク結果

• ▸Ornith-1.0-397B — Terminal-Bench 2.1で77.5、SWE-Bench Verifiedで82.4を記録し、Claude Opus 4.7(70.3/80.8)を上回るほか、MiniMax M3(66.0/80.5)やDeepSeek-V4-Pro(67.9/80.6)など同規模の主要オープンソースモデルも上回る
• ▸Ornith-1.0-35B — 同サイズ帯のQwen 3.5-35B・Qwen 3.6-35B・Gemma 31Bを大きく上回り、Terminal-Bench 2.1では64.2を記録してQwen 3.5-397B(53.5)も超える
• ▸Ornith-1.0-9B — Terminal-Bench 2.1で43.1、SWE-Bench Verifiedで69.4を達成。コンパクトな9Bながら、はるかに大きいGemma 4-31Bなどと同等以上の性能で、エッジデバイスへの展開が可能