勾配消失問題
勾配消失問題は、ディープラーニングやニューラルネットワークの学習において重要な問題の一つです。この問題は、ニューラルネットワークの層が深くなるにつれて、誤差逆伝播法による学習が進まなくなる現象を指します。具体的には、学習過程での各層での勾配（重みの更新に必要な情報）が非常に小さくなり、結果として学習が進まなくなる問題です。
勾配消失問題の原因の一つは、活性化関数の選択にあります。例えば、シグモイド関数や双曲線正接関数（tanh関数）を使用した場合、勾配の値が非常に小さくなる傾向があります。シグモイド関数の勾配の最大値は0.25と小さく、多層ニューラルネットワークに適用すると勾配消失が起こりやすくなります。一方で、ReLU関数はこの問題を緩和するのに効果的であり、現在では多くのニューラルネットワークで使用されています。ReLU関数は、負の値に対しては0を出力し、正の値に対してはその値をそのまま出力します。これにより、勾配消失問題が起きにくくなります。
他の対策としては、損失関数を最小化するためのパラメータ探索アルゴリズムの選択や、XavierやHeの初期値を用いて重みを初期化する方法があります。特にReLU関数を使用する場合は、Heの初期値の使用が推奨されます。
勾配消失問題は、リカレントニューラルネットワーク（RNN）ではLSTMやResNetといった特定の構造を用いることで対処されています。これらの構造は、勾配の消失を防ぐために設計されています。
