散らばったデータ点に「一番よく当てはまる直線」を引きたい——回帰分析のこの根本問題に答えるのが最小二乗法です。ずれ(残差)を二乗して合計し、それが最小になる直線を選ぶ。線形回帰から機械学習の損失関数まで受け継がれる大原則を、具体的な数値例で解説します。
📖 ひと言でいうと
最小二乗法とは、データと予測モデル(直線など)のずれである「残差」を二乗して合計し、その値が最も小さくなるようにモデルのパラメータ(直線なら傾きと切片)を決める方法です。線形回帰で回帰直線を求める標準的な手段として使われます。
的当てにたとえると、たくさんの矢(データ点)が刺さった的に「矢全体に一番近い1本の線」を引く作業です。各矢から線までのずれを測り、ずれの二乗の合計が最小になる位置に線を置く——「全員の不満の合計が最小になる妥協点」を数学的に見つける方法といえます。
🖼 1枚でわかる最小二乗法
📘 公式テキストの説明
最小二乗法（Least Squares Method）は、与えられたデータの誤差を最小化するための数学的手法です。主に回帰分析に使われ、特に線形回帰では、データの傾向を最も正確に表す直線を求める際に利用されます。この方法では、データとモデルの間に生じる誤差の二乗の合計を最小化するようにパラメータを調整します。例えば、複数のデータ点が与えられている場合、そのデータに最も適合する直線や曲線を求めたいとき、最小二乗法は非常に有効です。最小二乗法は、残差（予測値と実際のデータとの差）の平方和を最小にするという原則に基づいており、この平方和が小さいほどモデルの適合度が高いとされます。基本的な流れとしては、まずデータの平均値を計算し、それぞれのデータ点がどれだけ平均値からずれているか（偏差）を計算します。その後、傾きや切片を導き出し、最終的に回帰直線を得ることができます。これにより、将来のデータを予測したり、データ間の関係を分析する際に役立ちます。
キーワードは「残差の平方和(二乗和)の最小化」です。①残差 = 実際の値 − 予測値、②それを二乗して全データ分合計する、③この合計が最小になる傾きと切片を選ぶ——この3点が最小二乗法のすべてです。傾きと切片は、データの平均や偏差から公式で一発で計算できることが知られています。
🔍 しっかり理解する
手順を流れで見る
なぜ「二乗」するのか
残差をそのまま足すと、プラスのずれとマイナスのずれが打ち消し合い、実際は大きく外れている直線でも合計が0に見えてしまいます。二乗すればすべて正の値になり、この問題が消えます。「絶対値でもよいのでは?」と思うかもしれませんが、二乗には①大きなずれをより重く罰する、②微分が簡単で最小値を数式で一発計算できる、という利点があり、標準の方法になりました。ただし二乗ゆえに外れ値の影響を強く受けるという裏返しの弱点もあります。
数値例——どの直線が「最良」か
勉強時間x(1, 2, 3時間)とテストの点数y(50, 60, 70点)の3人分のデータを考えます。直線y = 10x + 40なら予測は50, 60, 70で残差はすべて0、二乗和も0です。別の候補y = 15x + 30だと予測は45, 60, 75で残差は+5, 0, -5、二乗和は25 + 0 + 25 = 50。二乗和0の前者が小さいので、最小二乗法はy = 10x + 40を選びます。実データでは残差0にはなりませんが、「候補の中で二乗和が最小の直線を選ぶ」という原理は同じです。
機械学習への接続
最小二乗法の「二乗誤差の合計を最小にする」という発想は、機械学習の損失関数である平均二乗誤差(MSE)にそのまま受け継がれています。線形回帰では最適解が公式で一発で求まりますが、ニューラルネットワークのような複雑なモデルでは同じ二乗誤差を勾配降下法で少しずつ減らします。また、誤差が正規分布に従うと仮定した場合、最小二乗法による推定は最尤法による推定と一致することが知られており、統計学と機械学習をつなぐ橋にもなっています。
💡 具体例で考える
広告費と売上の関係分析。過去12か月の「広告費」と「売上」のデータに最小二乗法で回帰直線を当てはめれば、「広告費を1万円増やすと売上が平均何万円増える傾向か」(傾き)が読み取れ、来月の売上予測にも使えます。ビジネスの回帰分析のほとんどは、裏でこの計算が走っています。
測定誤差との闘いから生まれた歴史。最小二乗法は19世紀初頭、天文学の軌道計算で観測誤差を処理する方法として発展しました(ガウスやルジャンドルの研究が有名です)。「誤差を含む多数の観測から最も確からしい答えを導く」という動機は、ノイズだらけのデータから学ぶ現代の機械学習と地続きです。
⚠️ よくある誤解・紛らわしい用語
- 「誤差」と「残差」 — 厳密には、誤差は真の関係からのずれ(観測不能)、残差は推定したモデルと実データのずれ(計算可能)です。最小二乗法で最小化するのは残差の平方和です。
- 「残差そのものの合計を最小化する」ではない — 正負が打ち消し合うため、そのままの合計では当てはまりを測れません。二乗和を使うのがポイントです。
- 「最小二乗法 = 直線専用」ではない — 2次曲線など曲線のパラメータ推定にも使えます。「線形回帰にしか使えない」という選択肢は誤りです。
- 最尤法との混同 — 最小二乗法は「ずれの二乗和最小化」、最尤法は「データが得られる確率(尤度)の最大化」と原理が異なります。ただし誤差に正規分布を仮定すると両者の答えは一致します。
📝 試験でのポイント
- 「残差の二乗和(平方和)を最小にするようにパラメータを決める手法」という定義を選ばせる問題が基本形です。
- 「残差 = 実際の値 − 予測値」の理解を前提に、簡単なデータで残差や二乗和を計算させる問題が想定されます。
- 「なぜ二乗するのか(正負の打ち消しを防ぐため)」という理由の正誤判定に注意しましょう。
- 線形回帰・回帰直線・平均二乗誤差(MSE)とセットで問われやすく、「線形回帰の係数推定に用いられる代表的手法」として結びつけて覚えておきましょう。
📚 まとめ
- 最小二乗法は「残差(実際の値−予測値)の二乗和が最小になる」ようにモデルのパラメータを決める方法。
- 二乗するのは正負の打ち消しを防ぎ、大きなずれを重く扱うため。その分、外れ値には弱い。
- 線形回帰の回帰直線を求める標準手法で、直線以外の曲線にも適用できる。
- 二乗誤差最小化の発想は機械学習のMSE損失に受け継がれ、誤差が正規分布なら最尤法とも一致します。
