【G検定まとめ2026】12.活性化関数

1. 代表的な活性化関数の定義・使い分け・注意点について、それぞれ説明できる

シグモイド関数

シグモイド関数は、ディープラーニングの初期から広く使われてきた活性化関数です。この関数は、入力をS字カーブに変換し、出力を0から1の範囲に収めます。主に二値分類問題の出力層で使用されます。しかし、シグモイド関数には重大な欠点があります。それは、勾配消失問題を引き起こしやすいという点です。ネットワークが深くなると、誤差逆伝播の過程で勾配が極端に小さくなってしまい、学習が進まなくなることがあります。これは、シグモイド関数の導関数の最大値が0.25と小さいことが原因です。

tanh関数

tanh（ハイパボリックタンジェント）関数は、シグモイド関数を改良したものと考えることができます。出力範囲が-1から1に広がり、原点を中心とした対称形になっています。tanh関数の導関数の最大値は1であり、シグモイド関数と比べて勾配消失問題が起こりにくくなっています。そのため、隠れ層の活性化関数としてシグモイド関数の代わりに使用されることが多くなりました。ただし、tanh関数も完全に勾配消失問題を解決したわけではありません。ネットワークが非常に深い場合、依然として問題が発生する可能性があります。

ReLU関数

ReLU（Rectified Linear Unit）関数は、現代のディープラーニングで最も広く使われている活性化関数の一つです。その定義はシンプルで、入力が0以上なら入力をそのまま出力し、0未満なら0を出力します。ReLU関数の最大の利点は、正の入力に対して勾配が常に1になることです。これにより、勾配消失問題が大幅に軽減され、非常に深いネットワークでも効果的に学習を進めることができます。しかし、ReLU関数にも注意点があります。負の入力に対して常に0を出力するため、学習中にニューロンが「死んでしまう」（常に0を出力するようになる）可能性があります。これをReLUの死活問題と呼びます。

Leaky ReLU関数

Leaky ReLU関数は、ReLU関数の欠点を補うために考案されました。負の入力に対してもわずかな傾きを持たせることで、ニューロンが完全に「死ぬ」ことを防ぎます。Leaky ReLUは、ReLUよりも勾配消失問題に強いと期待されましたが、実際の性能はケースバイケースです。場合によってはReLUの方が良い結果を出すこともあるため、どちらが優れているかは一概に言えません。

活性化関数の使い分け

活性化関数の選択は、解決しようとする問題や、ネットワークの構造によって変わります。一般的な指針としては、隠れ層ではReLUやその変種（Leaky ReLU等）を使用することが多いです。これらは計算が速く、勾配消失問題に強いためです。出力層では、問題の種類に応じて選択します。二値分類問題ではシグモイド関数、多クラス分類問題ではソフトマックス関数、回帰問題では線形関数を使用することが一般的です。非常に深いネットワークや、学習が不安定な場合は、Batch Normalizationなどの正規化技術と組み合わせて使用することで、より安定した学習が可能になります。

2. ディープラーニングにおける活性化関数の役割を説明できる

ディープラーニングにおける活性化関数は、ニューラルネットワークの各層で重要な働きをします。入力信号を変換し、次の層に渡す役目を担っています。適切な活性化関数を選ぶことで、ネットワークの学習能力や予測精度を大きく高めることができます。ニューラルネットワークの初期段階では、シグモイド関数が広く用いられていました。この関数は、入力を0から1の範囲に変換する滑らかな曲線です。しかし、ディープラーニングの発展に伴い、シグモイド関数にはいくつかの課題があることが明らかになりました。最も大きな問題点は、勾配消失問題です。

これは、ネットワークが深くなるほど、誤差の逆伝播時に勾配が非常に小さくなってしまう現象を指します。シグモイド関数の微分は最大でも0.25にしかならないため、多層のネットワークでは入力層に近い層での学習が非常に遅くなってしまいます。この課題に対応するため、tanh関数（ハイパボリックタンジェント関数）が提案されました。tanh関数はシグモイド関数を変形したもので、-1から1の範囲の出力を持ちます。tanh関数の微分の最大値は1であり、シグモイド関数と比較して勾配消失問題が起こりにくくなります。

ただし、これでも完全に問題が解決されたわけではありません。現在、多くのディープラーニングモデルで使用されているのがReLU（Rectified Linear Unit）関数です。ReLU関数は非常にシンプルで、入力が0以上の場合はそのまま出力し、0未満の場合は0を出力します。この関数の大きな利点は、正の入力に対して常に1の勾配を持つことです。これにより、勾配消失問題が大幅に緩和され、深いネットワークでも効果的に学習を行うことができます。

しかし、ReLU関数にも短所があります。入力が負の場合、勾配が完全に0になってしまうため、一部のニューロンが学習過程で機能しなくなる可能性があります。この課題に対応するため、Leaky ReLUなどの変種が提案されています。Leaky ReLUは、負の入力に対してもわずかな勾配を持たせることで、ニューロンの機能停止を防ぎます。活性化関数の選択は、モデルの性能に大きな影響を与えます。しかし、どの関数が最適かは問題や状況によって異なります。

例えば、出力層では、問題の性質に応じてシグモイド関数やソフトマックス関数が使われることがあります。隠れ層では、一般的にReLUやその変種が良い結果を出すことが多いですが、常にそうとは限りません。ディープラーニングの研究が進むにつれ、新しい活性化関数が次々と提案されています。例えば、Parametric ReLUは、負の入力に対する勾配を学習によって最適化しようとする試みです。また、Randomized ReLUは、複数の勾配をランダムに試すことで、より柔軟な学習を可能にします。活性化関数の研究は今も続いており、更に効果的な関数が見つかる可能性があります。ディープラーニングの分野では、活性化関数の選択と最適化が、モデルの性能向上において重要な要素となっています。

---

キーワード解説

Leaky ReLU関数

x＜0においてわずかな傾き（通常は0.01などの小さい値）をもっている。これにより微分値が0になることはなくなるため、ReLU（Rectified Linear Unit）よりも勾配消失しにくい。この特性は特に深いニューラルネットワークで有用である。ただし、Leaky ReLUよりもReLUのほうが結果がよい場合もある。これは、ネットワークのアーキテクチャや学習データ、その他のハイパーパラメータに依存する。

ReLU関数

tanh関数よりも勾配消失問題に対処できる。これは、ReLU関数を微分すると、0より大きい限り、微分値は常に1が得られるため。ただし、xが0の場合、微分は未定義。tanh関数のようにピーク値のみが1のときと比較すると、誤差逆伝播の際に勾配が小さくなりにくい（勾配消失しにくい）。しかしこの点については、ReLU関数が0以下の値で勾配が全く逆伝播しない（勾配が0になる）という特性も持つ。この特性は「勾配消失」問題を引き起こす可能性があり、勾配爆発とは異なる。勾配爆発は、逆伝播中に勾配が非常に大きくなる問題を指す。ReLUはx=0で微分不可能であるが、関数自体は連続である。

tanh関数

シグモイド関数が0から1の範囲を取るのに対して、tanh関数は-1から1の範囲を取る。これは出力の中心が0になるため、データの中心化が容易になるとも言える。シグモイド関数の微分の最大値が0.25であるのに対し、tanh関数の微分の最大値は1であるため、勾配が消失しにくい。この特性により、一般的なディープニューラルネットワークの隠れ層でシグモイド関数が使われている場合、それをtanh関数に置き換えると性能が改善する可能性がある。ただし、この微分の"最大値"が1であり、1より小さい数になってしまうケースが多いため、勾配消失問題を完全に防ぐことはできない。実際に、勾配消失問題は深いネットワークにおいては依然として問題となり得る。

シグモイド関数

活性化関数の1つで、その形はS字曲線になっている。この関数は、任意の実数値を0から1の範囲にマッピングする性質がある。この関数は古典的なニューラルネットワークではよく用いられていたが、最近ではReLU（Rectified Linear Unit）やその変種がよく使われる。シグモイド関数は勾配消失問題（vanishing gradient problem）が起きやすく、学習が遅くなる場合があるという欠点も持っている。

ソフトマックス関数

複数の出力値の合計が1.0（＝100％）になるように変換して出力する関数。この関数は、特に分類問題でよく用いられる。入力された各値（スコアやロジットとも呼ばれる）が、あるクラスに所属する確率として解釈されることが多い。ソフトマックス関数を通過した後の各値は0から1の範囲に収まり、その合計は必ず1になるため、確率分布として扱える。数学的には、ソフトマックス関数は指数関数を用いて各入力値を正規化し、その結果が新たな確率分布となる。特に多クラス分類の最後の層で利用されることが一般的。

勾配消失問題

ニューラルネットワークの学習における代表的な課題の一つで、誤差逆伝播法により出力層から入力層に向けて勾配を伝播させていく際、層が深くなるほど勾配の値が極端に小さくなってしまい、入力層付近の重みがほとんど更新されなくなる現象を指す。シグモイド関数の導関数の最大値が0.25であるなど、活性化関数の微分値が1未満の値しか取らない場合に、層を遡るたびに勾配が掛け合わされて指数的に減衰することが主な原因である。ReLU関数の導入や正規化手法（バッチ正規化など）、スキップ結合（ResNet）といった技術により、この問題は大幅に緩和されている。