富士通は2026年6月24日、大規模言語モデルの大幅なコスト削減を実現する新アーキテクチャ「PHOTON(Parallel Hierarchical Operation for TOp-down Networks)」を開発したと発表しました。文章をトークン単位ではなく意味のまとまりとして階層的に処理することで計算量を削減し、現在主流のTransformerと比較してGPU当たり最大475倍のマルチクエリー性能を発揮するとしています。成果は7月開催のACL 2026のオーラルセッションで発表される予定です。

開発の背景

近年、生成AIの推論時により長く・多く思考させることで性能を向上できることが示され、その実用化が急速に進んでいます。一方、現在主流のTransformerでは、入力が長くなったり同時に多くの問い合わせを処理したりすると、過去の情報を保持するためのメモリアクセスが増えて処理速度が落ちやすいという課題があり、長い文書を扱う場合や多数のユーザーが同時利用する場合に顕著になります。PHOTONはマルチエージェントのような複数の入出力を必要とする処理を低コストで効率的に処理でき、GPUコストの削減に貢献するとしています。

技術の特徴

• ▸意味単位の階層処理 — Transformerが文章を細かなトークンに分解してすべての関係を計算するのに対し、PHOTONは文章を意味のまとまりとして捉えて階層的に処理し、計算量を削減。複数の文章の同時処理により、GPUあたり最大475倍の計算効率を発揮
• ▸マルチクエリー統合技術 — 同じ問題に対して少しずつ異なる複数の質問や候補を作り、多数決や最も良い候補を選ぶ方法などで結果を統合して最終的な答えを決定。1回の推論で、より安定した高い性能を実現

数値実験の結果

• ▸検証したモデルサイズ — 600M・900M・1.2Bパラメータの各モデルで、Transformer比でメモリ使用量を抑えながら高い生成スループットを確認
• ▸1.2Bモデルの結果 — わずかな性能劣化と引き換えに、約475倍のマルチクエリー計算能力(GPUリソース当たりのスループット)を実現
• ▸統合の効果 — 1回あたりの生成に必要なKVキャッシュ使用量が小さく、同じGPUメモリ予算内で複数の生成結果を並列に取得可能。9クエリーの統合で従来のTransformerと同水準の性能を達成

今後の展開

本成果は、7月2日から米国サンディエゴで開催される自然言語分野のトップカンファレンスACL 2026(The 64th Annual Meeting of the Association for Computational Linguistics)のオーラルセッションで発表予定です。富士通は今後、大量のGPUリソースを必要とする生成AI技術の効率を飛躍的に高め、消費電力やコストを大幅に削減することで、膨大なAI需要に対する環境的・ビジネス的な持続可能性の実現を目指すとしています。