・カラクリ株式会社が、世界で初めてAWS TrainiumでMoEモデルの学習に成功し、大規模言語モデル「KARAKURI LM 8x7B Chat v0.1」を開発・公開した。
・AWS Trainiumの活用により、開発費用は約30万円、学習時間は12時間に抑えられ、低コストかつ短期間での開発を実現した。
・本モデルは「Japanese MT-Bench」の性能評価で国産オープンモデルとして最高点を獲得し、特に医療・金融機関などでの活用が期待されている。
カスタマーサポートDXを推進するカラクリ株式会社（以下、カラクリ）が、世界で初めてAWS TrainiumでMoEモデルの学習に成功したことを発表しました。
開発費30万円、トレーニングコスト大幅削減を実現
カラクリは、アマゾン ウェブ サービス ジャパン合同会社の「AWS LLM 開発支援プログラム」を活用し、世界初のAWS TrainiumでのMoEモデル学習に成功。総パラメータ数467億、推論時のアクティブパラメータ数129億の大規模言語モデル「KARAKURI LM 8x7B Chat v0.1」を開発し、2024年5月7日に一般公開したとのことです。
また、AWS Trainiumの活用により、開発費用は約30万円、学習時間は12時間に抑えられたとのこと。GPU不足が深刻化する中、低コストかつ短期間での開発は、生成AIの社会実装に向けた大きな一歩になると考えられます。
国産オープンモデルとして最高点の評価を獲得
カラクリによると、「KARAKURI LM 8x7B Chat v0.1」は、「Japanese MT-Bench」の性能評価で国産オープンモデルとして最高点を獲得したそうです（2024年5月7日時点）。
金融・医療業界でのモデル構築への活用に期待
30万円という低コストでLLMの学習が可能になったことで、企業ごとの学習データに合わせたLLM開発が現実的なものになったとのこと。特にセキュリティやカスタマイズを重視する医療・金融機関などでの活用が見込まれるそうです。
