【E資格】パラメータノルムペナルティー｜L1正則化・L2正則化とweight decay

損失関数に重みの大きさ(ノルム)に応じたペナルティ項を加えることで過剰適合を抑える正則化手法を学ぶ項目です。L1正則化とL2正則化の効き方の違い、およびweight decayとの関係を理解します。

📖 概要

深層学習モデルはパラメータ数が非常に多く、訓練データに過剰適合(オーバーフィッティング)しやすいという課題があります。その対策の代表が、損失関数 L(w) に「パラメータのノルムに応じたペナルティ項 Ω(w)」を加えて、次の目的関数を最小化するパラメータノルムペナルティーです。

J(w) = L(w) + λ * Ω(w)

λ は正則化の強さを決めるハイパーパラメータです。ペナルティにより重みが必要以上に大きくなることが抑えられ、モデルの複雑さが制限されて汎化性能の向上が期待できます。

Ω(w) として重みの絶対値の和(L1ノルム)を使うのが L1正則化、2乗和(L2ノルムの2乗)を使うのが L2正則化 です。両者は「重みを小さく保つ」という目的は共通ですが、解の性質が大きく異なります。L1正則化は多くの重みを厳密にゼロにするスパースな解を生みやすく、L2正則化は重み全体を滑らかに縮小します。またL2正則化は、勾配降下法の更新において重みを毎回一定率で減衰させる weight decay と密接に関係します。

🔍 キーワード解説

L1正則化

L1正則化 は、ペナルティ項として重みの絶対値の和を用いる手法です。

J(w) = L(w) + λ * Σ |w_i|

L1項の勾配(劣勾配)は重みの符号に応じた一定値 λ * sign(w) であり、重みの大小によらず一定の力でゼロへ引き寄せます。このため、損失への寄与が小さい重みは厳密にゼロまで押し込まれ、結果として多くの成分がゼロの解が得られやすくなります。線形回帰にL1正則化を適用したものはLasso回帰と呼ばれ、特徴選択の効果を持つことで知られています。

スパース表現

スパース表現 とは、ベクトルや行列の多くの成分がゼロで、少数の成分だけが非ゼロの値を持つ表現のことです。L1正則化はスパースな重みを誘導する代表的な方法で、実質的に「効いていないパラメータや特徴を自動的に削ぎ落とす」働きをします。スパース性には、重要な特徴が明示されて解釈しやすい、記憶容量や計算量を削減できる(モデル圧縮・枝刈りとの親和性)といった利点があります。

L2正則化

L2正則化 は、ペナルティ項として重みの2乗和を用いる手法です(係数 1/2 は微分を簡潔にするための慣習です)。

J(w) = L(w) + (λ / 2) * Σ w_i^2

L2項の勾配は λ * w であり、重みが大きいほど強くゼロ方向へ引き戻されます。このため重みは完全にはゼロにならず、全体として小さな値に滑らかに縮小されます。線形回帰にL2正則化を適用したものはRidge回帰と呼ばれます。重みが小さく保たれると、入力のわずかな変化に出力が過敏に反応しなくなり、汎化性能の向上につながると解釈できます。

weight decay

weight decay(荷重減衰)は、勾配降下法の更新のたびに重みを一定の比率で減衰させる操作です。

w = (1 - lr * λ) * w - lr * ∇L(w)

通常のSGDでは、L2正則化付き目的関数の勾配降下がちょうどこの形になるため、weight decayとL2正則化は等価とみなせます。ただし、Adamのように勾配をモーメントで加工する適応的最適化手法では、L2ペナルティを損失に足す方法と、更新式で直接減衰させる方法の結果が一致しなくなる点には注意が必要です(この違いを踏まえて減衰を分離した実装が使われることもあります)。

📝 試験でのポイント

📚 まとめ

パラメータノルムペナルティーは、損失関数に重みのノルム項 λΩ(w) を加えて過剰適合を抑える正則化です。L1正則化は絶対値和のペナルティで多くの重みをゼロにし、スパース表現・特徴選択をもたらします。L2正則化は2乗和のペナルティで重み全体を滑らかに縮小し、SGDの下ではweight decayと等価です。式の形と解の性質の違いを対で覚えることが得点の鍵です。