【E資格】線形回帰を徹底解説｜最小二乗法・L1/L2正則化・Lasso回帰とRidge回帰

線形回帰は、入力変数の線形結合で連続値を予測する最も基本的な教師あり学習の手法です。最小二乗法によるパラメータ推定と、L1/L2正則化を加えたLasso回帰・Ridge回帰の違いを理解することは、深層学習における正則化を学ぶ土台にもなります。

※この項目はシラバス2026では出題対象外(オプション)ですが、前提知識として重要なため解説します。

📖 概要

線形回帰は、入力ベクトル x と重みベクトル w を用いて y = w^T x + b という形で出力を予測するモデルです。学習では、予測値と正解値のずれ(誤差)を最小にするように重みを決定します。このとき最も広く使われる基準が最小二乗法です。

しかし、モデルが訓練データに対して単純すぎると過少適合、複雑すぎたり特徴量同士の相関が強すぎたりすると過剰適合や推定の不安定化が起こります。これを抑えるために、損失関数に重みのノルム(大きさ)へのペナルティを加える手法が正則化であり、L1正則化を用いるものがLasso回帰、L2正則化を用いるものがRidge回帰と呼ばれます。

この項目では、最小二乗法によるあてはめ、変数間の関係を測る相関係数、推定を不安定にする多重共線性、そして正則化による対処、という一連の流れを見取り図として押さえます。

🔍 キーワード解説

最小二乗法

最小二乗法は、予測値と正解値の差(残差)の二乗和 Σ (y_i - w^T x_i - b)^2 を最小化するように重みを求める方法です。二乗誤差は微分が容易で、線形回帰では解析的に解(正規方程式による解)を求められるという利点があります。深層学習で回帰問題に平均二乗誤差(MSE)を損失関数として使うのも、同じ考え方の延長にあります。

相関係数

相関係数は、2つの変数の間の線形な関係の強さを -1 から +1 の範囲で表す指標です。+1に近いほど強い正の相関、-1に近いほど強い負の相関、0に近いほど線形な関係が弱いことを意味します。ただし相関係数が捉えるのは線形関係のみで、非線形な関係は見逃す点、また相関があっても因果関係があるとは限らない点に注意が必要です。

多重共線性

多重共線性は、説明変数(特徴量)同士に強い相関がある状態を指します。多重共線性があると、最小二乗法による重みの推定値が不安定になり、データのわずかな変化で係数が大きく変動したり、係数の符号が直感に反したりします。対処としては、相関の強い変数の削減、主成分分析などによる次元圧縮、そして後述のRidge回帰のような正則化が用いられることが多いです。

過少適合と過剰適合

過少適合(アンダーフィッティング)は、モデルの表現力が不足して訓練データすら十分にあてはめられない状態です。逆に過剰適合(オーバーフィッティング)は、訓練データのノイズまで学習してしまい、未知のデータに対する性能(汎化性能)が悪化する状態です。線形回帰では、多項式の次数を上げるなどモデルを複雑にするほど過剰適合しやすくなります。正則化は過剰適合を抑える代表的な手段です。

ノルムとL1正則化・L2正則化

ノルムはベクトルの「大きさ」を測る量で、L1ノルムは成分の絶対値の和 ||w||_1 = Σ |w_i|、L2ノルムは成分の二乗和の平方根に対応します(正則化項としては二乗和 Σ w_i^2 の形で使われます)。

L1正則化は損失関数に L1ノルムのペナルティ λ Σ |w_i| を加える手法で、これを用いた線形回帰がLasso回帰です。L1正則化には一部の重みをちょうど0にしやすい性質があり、結果としてスパース(疎)な解が得られ、特徴量選択の効果を持ちます。

L2正則化は損失関数に λ Σ w_i^2 を加える手法で、これを用いた線形回帰がRidge回帰です。重みを全体的に小さく滑らかに縮小させるのが特徴で、重みが完全に0になることは少ない代わりに、多重共線性がある場合でも推定を安定させる効果があります。λ(正則化係数)は正則化の強さを調整するハイパーパラメータで、大きすぎると過少適合、小さすぎると過剰適合に近づきます。

📝 試験でのポイント

📚 まとめ

線形回帰は最小二乗法で重みを推定する基本モデルで、深層学習の出力層・損失設計にも通じる考え方です。過剰適合や多重共線性への対処として、L1正則化(Lasso)はスパースな解と特徴量選択を、L2正則化(Ridge)は重みの縮小と安定化をもたらします。ノルムの定義と正則化の効果の対応を確実に押さえておきましょう。