・Stability AIが16億パラメータの日本語小型言語モデル「Japanese Stable LM 2 1.6B」をリリース。
・JSLM2 1.6Bは小型モデルながら高性能を実現し、70億パラメータモデルに迫るスコアを獲得。
・Stability AIメンバーシップへの登録でJSLM2 1.6Bの商用利用が可能となり、日本語LLMのさらなる発展に貢献することを期待。
16億パラメータで高性能を実現、商用利用も可能に
Stability AI Japanは、16億パラメータで学習した日本語の小型言語モデル「Japanese Stable LM 2 1.6B（JSLM2 1.6B）」をリリースしました。同社によると、JSLM2 1.6Bはベースモデルと指示応答学習済みモデルの2種類が提供されるとのことです。
JSLM2 1.6Bの開発では、Wikipediaや商用データなどの言語データを活用し、最新のアルゴリズムを取り入れることで、小型モデルでありながら高い性能を実現したと説明しています。Stability AIは「16億パラメータという少量にすることで、利用に必要なハードウェアを小規模に抑えられ、より多くの開発者が生成AIのエコシステムに参加できるようになる」とモデルの特徴を紹介しています。
70億パラメータモデルに迫る高スコアを獲得
Nejumiリーダーボードを用いた他モデルとの比較では、JSLM2 1.6Bは40億パラメータ以下のモデルを上回るスコアを達成し、70億パラメータモデルに迫る性能を見せたとのことです。一方で、小型モデルゆえのハルシネーションや間違いの可能性にも言及し、アプリケーションでの利用時は適切な対策が必要だと注意を促しています。
Stability AIメンバーシップで商用利用可能
JSLM2 1.6Bは、Stability AIメンバーシップに登録することで商用利用が可能なモデルの1つとして提供されます。ベースモデルとInstruction tuning済みモデルの両方がHugging Faceからダウンロード可能とのことです。
Stability AIは、高性能な小型言語モデルのリリースにより「言語モデル開発の敷居を下げ、より高速に実験を反復することを可能にする」と意義を説明。「日本語LLMのさらなる開発と発展に貢献できると幸い」と今後への期待を示しました。
