【G検定】リッジ回帰とは？L2正則化で安定した予測を作る回帰手法を解説

変数同士が似たり寄ったりのデータで線形回帰を組むと、係数が不安定に暴れる——この悩みに効くのがリッジ回帰です。L2正則化を回帰に応用した手法として、ラッソ回帰との使い分けまで含めて解説します。

📖 ひと言でいうと

リッジ回帰とは、線形回帰にL2正則化(回帰係数の二乗和へのペナルティ)を組み込んだ回帰手法です。係数が大きくなりすぎるのを抑えてモデルの複雑さを制限し、過学習を防いで未知データに強い汎化されたモデルを作ります。特に説明変数同士が強く相関する「多重共線性」がある場面で有効とされます。

例えるなら、大勢の証言者から事件の状況を推理する探偵が、「特定の証言者だけを極端に重視しない」というルールを自分に課すようなものです。証言者の話が互いに重複していても、誰か一人に全面依存しないので、推理は安定します。厳密には、係数の二乗和を抑えることで、相関し合う変数間で係数が極端な値に引っ張り合う現象を防いでいるのです。

🖼 1枚でわかるリッジ回帰

リッジ回帰 = L2正則化つき回帰で係数の暴走を防ぐ

正体 — 線形回帰＋L2正則化（係数の二乗和にペナルティ）
距離のイメージ — L2はユークリッド距離（直線距離）に対応
効果 — 係数を0に近づけて小さく保ち、過学習を抑制・汎化
得意な場面 — 説明変数間に多重共線性があるとき特に有効
対になる手法 — L1正則化のラッソ回帰（あちらは係数がちょうど0に）

つくもち屋「G検定対策」SUMMARY

📘 公式テキストの説明

線形回帰モデルにおいて過学習を防ぐために、L2正則化を適用した手法。ユークリッド距離を用いてパラメータの大きさに応じて0に近づけることにより、汎化されたモデルを取得することが可能となる。リッジ回帰では、目的関数にパラメータの二乗和を追加することで、パラメータが大きくなりすぎるのを制限し、結果的にモデルの複雑さを抑える効果が得られる。これにより、過学習を抑制しつつ、データに適切にフィットするモデルを構築できる。リッジ回帰は特に、説明変数間の多重共線性が存在する場合に有効な手法とされる。

キーワードの連鎖は「ユークリッド距離=二乗和→L2正則化→係数を0に近づける(0にはしない)→汎化」、そして応用場面として「多重共線性に有効」です。ラッソ回帰の「マンハッタン距離→L1→係数がちょうど0→特徴選択」と対にして覚えると、両方の記憶が安定します。

🔍 しっかり理解する

ユークリッド距離と二乗和のつながり

ユークリッド距離とは、2点をまっすぐ結んだ直線距離のことです。座標間の差を二乗して足し合わせ、平方根をとって計算します。回帰係数を座標とみなすと、係数の二乗和は「原点からのユークリッド距離」に対応します。リッジ回帰は、この距離が大きいモデル、つまり係数がどれか一つでも突出して大きいモデルに重い罰金を科します。

二乗のペナルティは、係数が大きいほど加速度的に高くつきます。係数2の罰金が4なら係数10の罰金は100です。そのため「一つの変数に大きな係数を与える」より「複数の変数に小さな係数を分散させる」方が安上がりになり、リッジ回帰の解は全体的に小さくバランスの取れた係数になります。ただし0に近づくだけで、ちょうど0にはなりません。ここがラッソ回帰との決定的な違いです。

多重共線性になぜ強いのか

多重共線性とは、説明変数同士が強く相関している状態です。たとえば「体重」と「BMI」の両方を説明変数に入れると、2つはほぼ同じ情報を持つため、通常の線形回帰では「体重の係数を+100、BMIの係数を-98にしてもデータへの当てはまりはほぼ同じ」というような不定性が生まれます。結果として係数が異常に大きな値のペアに落ち着いたり、データが少し変わるだけで係数が激変したりする、不安定なモデルになります。

リッジ回帰では係数の二乗和にペナルティがかかるため、「+100と-98」のような極端なペアはコストが高すぎて選ばれません。代わりに「+1と+1」のように、相関する変数へ穏当に役割を分担させた安定な解が選ばれます。これが「多重共線性が存在する場合に有効」とされる理由です。

🅰 リッジ回帰が向く場面

説明変数間に強い相関（多重共線性）がある
多くの変数が少しずつ効いていそう
係数の安定性・予測の頑健さを重視

🅱 ラッソ回帰が向く場面

効く変数はごく一部と考えられる
変数の絞り込み（特徴選択）をしたい
モデルの解釈性・簡潔さを重視

ハイパーパラメータのさじ加減

ペナルティの強さを決める正則化係数は、リッジ回帰でもハイパーパラメータです。強くするほど係数は0へ向かって縮み、モデルは単純で安定になりますが、やりすぎると本来の関係まで潰してしまい学習不足になります。実務では交差検証などで検証誤差が最小になる強さを探すのが定石です。

💡 具体例で考える

経済データの分析が典型例です。ある企業の売上を、GDP・消費者信頼感指数・失業率・株価指数などのマクロ経済指標で説明したいとします。これらの指標は景気という共通の背後要因で動くため互いに強く相関しており、まさに多重共線性の巣窟です。通常の線形回帰では「GDPの係数が異常なプラス、失業率の係数が異常なマイナス」といった経済学的に解釈不能な結果が出がちですが、リッジ回帰なら各指標に穏当な係数が分散され、安定した予測モデルになります。

もう一つの例は気象予測です。近隣の複数観測点の気温は当然よく似た値になりますが、これらを説明変数として翌日の気温を予測する場合も、リッジ回帰は相関だらけの入力を安定的に扱えます。「情報が重複した変数が多い回帰」がリッジ回帰の主戦場です。

⚠️ よくある誤解・紛らわしい用語

💡 ポイント

ラッソ回帰との違い — リッジ回帰はL2正則化(ユークリッド距離・二乗和)で係数を0に近づけますが0にはせず、特徴選択はできません。ラッソ回帰はL1正則化(マンハッタン距離・絶対値の和)で係数をちょうど0にし、特徴選択ができます。「L2⇄リッジ、L1⇄ラッソ」の対応の入れ替えが誤答の定番です
「リッジ回帰は係数を0にして変数を削減する」は誤り — それはラッソ回帰の説明です。リッジは全変数を残したまま係数を小さくします
L2正則化との関係 — L2正則化はペナルティの仕組みの一般名、リッジ回帰はそれを線形回帰に適用した手法名です
多重共線性の「解消」ではなく「悪影響の緩和」 — 変数間の相関自体がなくなるわけではありません。相関があっても係数推定が安定するようになる、というのが正確な理解です

📝 試験でのポイント