散らばったデータ点に「最も当てはまる直線」を1本引く——線形回帰は、機械学習のあらゆる回帰手法の出発点です。シンプルですが、正則化を加えたラッソ回帰・リッジ回帰まで含めて、G検定で確実に問われる重要キーワードです。
📖 ひと言でいうと
線形回帰は、数値を予測する回帰問題に用いるシンプルなモデルのひとつで、データの分布に最も当てはまる直線(説明変数が複数なら平面や超平面)を求めて予測に使う手法です。
例えるなら、散布図の上に定規を置いて「全部の点にいちばん寄り添う線」を探す作業です。人間が目分量でやることを、誤差が最小になるよう数学的に決めるのが線形回帰です。一度直線が決まれば、「入力がこの値なら出力はこのくらい」と直線上の値を読むだけで予測ができます。
🖼 1枚でわかる線形回帰
📘 公式テキストの説明
回帰問題に用いる手法でシンプルなモデルの1つ。データ（の分布）があったときに、そのデータに最も当てはまる直線を考える。線形回帰に正則化項を加えた手法として、ラッソ回帰やリッジ回帰などがある。
短い説明ですが、試験で問われる要素が3つ含まれています。①線形回帰は「回帰問題」の手法である(分類問題ではない)。②本質は「データに最も当てはまる直線」を求めること。③発展形として「正則化項を加えた」ラッソ回帰・リッジ回帰がある。特に③は、正則化(過学習を抑える工夫)の代表例として他の章とも結びつく重要ポイントです。
🔍 しっかり理解する
「最も当てはまる」をどう決めるか
直線は y = ax + b の形で表せます(説明変数が複数なら y = a1x1 + a2x2 + … + b)。線形回帰の学習とは、係数aと切片bを決めることです。基準として代表的なのが最小二乗法で、各データ点について「実際の値と直線上の予測値との差(残差)」を二乗して合計し、その合計が最小になる係数を選びます。二乗するのは、プラスとマイナスのズレが打ち消し合わないようにし、大きなズレをより重く罰するためです。
なぜ今も使われ続けるのか
線形回帰の魅力は、シンプルさと解釈のしやすさです。学習した係数を見れば「この変数が1増えると予測値がどれだけ増えるか」が直接読み取れるため、予測だけでなく要因分析にも使えます。計算も高速で、データが少なくても安定します。複雑なモデルを試す前の比較基準(ベースライン)として、実務でも最初に組まれることの多いモデルです。
正則化：ラッソ回帰とリッジ回帰
説明変数が多いと、線形回帰でも訓練データに過剰に合わせた係数(一部だけ極端に大きい係数など)になり、過学習が起こります。これを防ぐのが正則化で、誤差に加えて「係数の大きさ」にもペナルティを課し、係数が暴れないよう抑え込みます。
- 係数の絶対値の和にペナルティ
- 不要な変数の係数がちょうど0になりやすい
- 結果として変数選択(特徴量の絞り込み)ができる
- 係数の二乗の和にペナルティ
- 係数全体を滑らかに小さく縮める
- 係数は0に近づくが完全な0にはなりにくい
「ラッソ=L1=係数が0になり変数選択」「リッジ=L2=係数を全体的に縮める」という対応は、正則化の話題として単独でも出題される頻出ポイントです。
「線形」の意味
「線形」は見た目が直線ということに加え、モデルが「係数の掛け算と足し算だけでできている」ことを指します。だからこそ計算が簡単で性質の解析もしやすいのです。逆に、変数同士の複雑な相互作用や曲線的な関係はそのままでは表現できず、そうした課題が決定木やニューラルネットワークなど非線形モデルの出番につながります。
見方を変えると、線形回帰は機械学習の学習プロセスの縮図でもあります。「モデルの形を決める(直線)→当てはまりの基準を決める(誤差の二乗和)→基準を最小にするパラメータを探す」という流れは、ディープラーニングが損失関数を勾配降下法で最小化する流れとまったく同じ構図です。最も単純な線形回帰でこの構図をつかんでおくと、後の章の理解が一気に楽になります。
💡 具体例で考える
中古マンションの価格予測を考えます。専有面積を説明変数に価格を予測する線形回帰を組むと、たとえば「価格 = 80×面積 + 500(万円)」のような式が得られます。この式は予測に使えるだけでなく、「面積が1平米増えるごとに約80万円高くなる」という市場の相場観として読める点が線形回帰ならではです。さらに築年数・駅からの距離など変数を増やした場合、変数が多すぎて過学習が心配なら、ラッソ回帰を使えば影響の小さい変数の係数が自動的に0になり、効いている変数だけが残ります。
また、機械学習の実務では線形回帰は「ベースライン」としても重要です。高度なモデルを導入する際、まず線形回帰で精度を測っておき、「複雑なモデルはそれをどれだけ上回るか」で導入価値を判断する、という使い方が定着しています。
⚠️ よくある誤解・紛らわしい用語
- ロジスティック回帰との混同 — 名前に「回帰」とありますが、ロジスティック回帰は確率を出力して2値に分ける分類の手法です。「線形回帰=回帰問題、ロジスティック回帰=分類問題」の対応は最頻出の引っかけです。
- ラッソとリッジの取り違え — ラッソ(L1)は係数が0になって変数選択ができる、リッジ(L2)は係数を全体的に小さくする。効果を入れ替えた選択肢に注意してください。
- 単回帰・重回帰との関係 — 説明変数が1つの線形回帰が単回帰分析、複数のものが重回帰分析です。線形回帰はこれらを含む枠組みの名前と捉えると整理できます。
- 「正則化=精度を上げる魔法」ではない — 正則化の目的は過学習の抑制(汎化性能の向上)です。訓練データへの当てはまりはむしろ悪くなります。
📝 試験でのポイント
- 「データに最も当てはまる直線」という表現が定義問題のキーフレーズです。
- 「線形回帰に正則化項を加えた手法」としてラッソ回帰・リッジ回帰を選ばせる問題が典型です。L1/L2、変数選択の可否まで問われることがあります。
- 回帰問題(数値予測)と分類問題の区別を前提に、線形回帰がどちらに属すかを問う問題に注意しましょう。
- 最小二乗法(誤差の二乗和を最小化)という学習基準の名前も押さえておくと安心です。
📚 まとめ
線形回帰は、データに最も当てはまる直線を求めて数値を予測する、回帰問題の最も基本的なモデルです。係数から影響度を読み取れる解釈性の高さが強みで、実務ではベースラインとしても活躍します。過学習対策として正則化項を加えたものがラッソ回帰(L1・変数選択が可能)とリッジ回帰(L2・係数を縮める)です。「回帰」の名を持つロジスティック回帰が分類手法である点も含め、名前と役割の対応を確実にしておきましょう。
