・NTTが深層学習における過去の学習過程を再利用する新技術「学習転移」を開発し、AIモデルの再学習コストを大幅に削減可能に。
・学習転移技術をNTT版大規模言語モデル「tsuzumi」などに適用し、運用コスト削減や消費電力の削減、次世代のAI技術開発への貢献を見込む。
・本成果は2024年5月7日から11日まで開催される国際会議「ICLR 2024」で発表予定であり、AIモデルの運用コスト削減と次世代AI技術の発展に向けた大きな一歩となることが期待される。
NTTは2024年5月7日、深層学習における過去の学習過程を再利用する全く新たな技術「学習転移」を実現したと発表しました。
学習転移技術とは
学習転移技術は、ニューラルネットワークのパラメータ空間における高い対称性を活用し、過去の学習過程のパラメータ列を適切に変換することで、新たなモデルの学習結果を低コストで求めることを可能にするものです。
NTTによると、この技術により、大規模な基盤モデルを用途毎に追加学習（チューニング）して利用する場合に不可欠な、基盤モデルの定期的な更新に伴う再チューニングコストを大幅に削減できるとのことです。
NTT版大規模言語モデル「tsuzumi」への適用も
NTTは、学習転移技術をNTT版大規模言語モデル「tsuzumi」をはじめとした多様な基盤モデルに適用することで、運用コスト削減や消費電力の削減を見込んでいます。
また、多数のAIで議論することで多様な解の創出をめざした「AIコンステレーション」の構想具現化など、次世代のAI技術開発への貢献も期待されています。
世界初の提案と実証
NTTによると、異なるモデル間の学習過程同士を近似的に同一視できることを発見し、過去の学習過程を適切な置換対称性によって変換することで、新たなモデルの学習過程として再利用できる学習転移技術を世界で初めて提唱および実証したとのことです。
学習転移の定式化や高速なアルゴリズムの導出、理論的分析など、深層学習における新たな学習手法の基礎理論を確立したことが、今回の技術開発のポイントとなっています。
NTTの発表によれば、本成果は2024年5月7日から11日まで開催される機械学習分野の国際会議「ICLR 2024」で発表される予定です。AIモデルの運用コスト削減と次世代AI技術の発展に向けた、大きな一歩となることが期待されます。
