・Microsoftが開発した小型言語モデルPhi-3-miniは、わずか38億パラメータで、大規模モデルに匹敵する性能を達成した。
・高性能の鍵は、厳選されたウェブデータと合成データからなる学習データセットにあり、パラメータ数を増やすことでさらなる性能向上が見込まれる。
・一方で、事実知識の保持能力や多言語対応には課題が残されており、責任あるAIの追求とともに、今後の研究の進展が期待される。
Phi-3-miniの概要
Phi-3-miniは、わずか38億のパラメータを持つ小型の言語モデルです。しかし、33兆トークンで学習させたことにより、Mixtral 8x7BやGPT-3.5と同等の性能を達成したと報告されています。例えば、MMLUで69%、MT-benchで8.38を記録しました。これは、スマートフォンにデプロイできるほど小さいモデルとしては驚異的な結果だと言えるでしょう。
革新的な学習データ
Phi-3-miniの高い性能を支えているのは、学習に用いたデータセットにあります。このモデルは、前身のPhi-2で使用されたデータを拡張したもので構成されています。具体的には、厳選されたウェブデータと、合成データが用いられました。さらに、ロバスト性、安全性、チャット形式への適合性も考慮されています。
パラメータスケーリングによる性能向上
論文では、パラメータ数を70億、140億に増やしたPhi-3-small、Phi-3-mediumの初期結果も示されています。これらのモデルは48兆トークンで学習され、Phi-3-miniをさらに上回る性能を発揮しました。例えば、MMLUでは75%と78%、MT-benchでは8.7と8.9を記録しています。
Phi-3-miniの弱点
Phi-3-miniは優れた言語理解と推論能力を示した一方で、そのサイズ故の弱点もあります。例えば、TriviaQAの低いスコアが示すように、大量の事実知識を保持するキャパシティが不足しています。ただし、論文ではこの問題が検索エンジンとの連携で解決可能だと示唆されています。また、現時点では主に英語に特化したモデルとなっています。
