【G検定】事前学習（pre-training）

【G検定まとめ】要点整理＆当日用カンペの項目別詳解ページです。

詳細な知識や実装は試験には必ずしも必須ではありませんが、試験対策として理解を深めたい方はぜひ最後までご覧ください。

G検定まとめはこちら

事前学習

事前学習とは、ディープラーニングモデルの初期段階で行われるプロセスです。このプロセスの主な目的は、モデルの重み関数（重みの初期値）により良い初期条件を設定することにあります。事前学習は通常、教師なし学習の手法を用いて行われ、オートエンコーダ（自己符号化器）が一例として知られています。積層オートエンコーダや深層信念ネットワーク（Deep Belief Network）では、それぞれオートエンコーダや制限付きボルツマンマシン（Restricted Boltzmann Machine）が用いられます。この概念は2006年にジェフリー・ヒントンによって提唱されました。

事前学習の一つの大きな欠点は、層ごとに順番に学習が進むため、全体の学習に必要な計算コストが高くなる可能性があります。この手法は、初期のニューラルネットワークでよく用いられましたが、計算コストの高さが障壁となっていました。しかし、ディープラーニングの研究が進展するにつれ、事前学習が必要なくなる場合も増えてきました。特に、勾配消失問題の対処法として、活性化関数を工夫したり、より高度な初期化手法を用いるといったテクニックが開発されたことにより、多層のネットワークでも効率的に学習が可能となり、事前学習の必要性が減少しています。

ディープラーニングにおける事前学習の欠点は、その他にもいくつかあります。例えば、大規模なデータセットが必要であったり、高価な計算環境が必要な場合があること、学習済みモデルに新しいデータを追加すると既存の知識が失われる「破局的忘却」という問題が存在します。また、ディープラーニングは人間の複雑な感情を完全に理解することが難しいという問題もあります