平均年齢を計算したら、1人の入力ミス「年齢250歳」のせいで結果が台無しに——データ分析の現場でよくある事故です。他の値から極端に離れた値、それが外れ値です。外れ値はどう見つけるのか、見つけたら消してよいのか、平均値や機械学習モデルにどんな影響を与えるのかを、検出方法(四分位範囲・3σルール)とあわせて解説します。
📖 ひと言でいうと
外れ値とは、データの大部分から極端に離れた位置にある値のことです。入力ミスや測定エラーで生じることもあれば、めったに起きない本物の現象(不正取引・大ヒット商品など)であることもあります。
健康診断にたとえると、身長のデータに「1.7cm」と記録されていたら明らかにおかしい値(おそらく1.7mの入力ミス)ですし、「210cm」なら珍しいけれど実在しうる値です。どちらも統計的には外れ値ですが、意味も対処もまったく違う——ここが外れ値の扱いの難しさであり面白さです。
🖼 1枚でわかる外れ値
📘 公式テキストの説明
外れ値 は本書の章節記事では正式な定義段落が用意されていません。以下は、シラバスの位置づけと関連用語から再構成した補足解説です。
なお、本書では評価指標MAE(平均絶対誤差)の説明の中で外れ値が登場します。MAEは予測値と実測値の差の絶対値を平均する指標で、誤差を2乗するMSEなどと比べて外れ値の影響を受けにくいため、外れ値が多いデータの評価に適している——という文脈です。このように「外れ値に強いか弱いか」は、統計量や手法を選ぶときの重要な判断軸になっています。
🔍 しっかり理解する
代表的な検出方法
外れ値かどうかを目分量で決めるのは危険なので、基準を決めて機械的に検出するのが基本です。代表的な方法が2つあります。
- 四分位範囲(IQR)による方法 — データを4等分する位置の値のうち、下から1/4の点を第1四分位数Q1、3/4の点を第3四分位数Q3とし、IQR = Q3 − Q1とします。「Q1 − 1.5×IQRより小さい値」または「Q3 + 1.5×IQRより大きい値」を外れ値の候補とみなします。箱ひげ図で箱のひげの外に打たれる点がこれです。順位に基づくため、分布の形を仮定しなくてよいのが利点です。
- 3σルール — データが正規分布に近いなら、平均±3σ(標準偏差の3倍)の外に出る値は全体の約0.3%しかありません。そこで±3σを超えた値を外れ値候補とします。正規分布の性質を利用するため、分布が大きく歪んでいる場合には不向きです。
このほか、複数の変数をまとめて考えるときは、変数間の相関を考慮した距離であるマハラノビス距離で「分布の中心からの離れ具合」を測る方法も使われます。
なぜ問題になるのか——平均と最小二乗法は外れ値に弱い
年齢データ「25, 26, 24, 25, 250」を考えます。250は入力ミス(おそらく25)ですが、平均値は(25+26+24+25+250) ÷ 5 = 70歳になってしまいます。一方、中央値は25歳のままです。平均値・分散・標準偏差のように全データの値を足し込む統計量は、たった1つの外れ値で大きく歪みます。
機械学習でも同じことが起きます。誤差の2乗和を最小化する最小二乗法(線形回帰)は、外れ値の誤差が2乗されて非常に大きくなるため、回帰直線が外れ値の方向へ引っ張られます。評価指標でも、2乗を使うMSE・RMSEは外れ値に敏感で、絶対値を使うMAEは比較的頑健——公式テキストがMAEの文脈で外れ値に触れているのはこのためです。
見つけたらどうする——削除の前に原因調査
明らかなミスなら修正または除外します。しかし本物の珍しい現象なら、削除は「都合の悪いデータを捨てる」行為になりかねません。外れ値そのものが分析対象になることもあります(後述の異常検知)。除外せずに影響を抑えたいなら、中央値やMAEのような外れ値に頑健(ロバスト)な統計量・指標を使う、対数変換で桁の差を圧縮する、といった選択肢があります。
💡 具体例で考える
クレジットカードの不正検知では、外れ値は捨てるどころか主役です。普段は近所のスーパーで数千円の利用しかない人のカードで、深夜に海外から高額決済が試みられたら、それは利用パターンから見た外れ値です。機械学習による異常検知システムは、この「正常パターンからの逸脱」を検出して警告を出します。外れ値 = ノイズとは限らない好例です。
センサーデータの前処理は逆に「ミス由来の外れ値」との戦いです。工場の温度センサーが通信エラーで瞬間的に「999.9度」を記録することがあります。これを除去せずに平均や回帰モデルに入れると監視システム全体が狂うため、3σルールや範囲チェックで異常な記録を弾いてから分析する、という前処理が定番になっています。
⚠️ よくある誤解・紛らわしい用語
- 「外れ値 = 誤りだから削除」ではない — 外れ値には測定ミスと本物の希少現象の両方があります。原因を確認せず機械的に削除すると、重要な情報を失ったり、結果を都合よく歪めたりする恐れがあります。
- 異常値との関係 — 慣用的に、外れ値のうち測定ミス・記録ミスなど原因が特定できるものを「異常値」と呼び分けることがあります。文脈によって使い分けが緩いので、定義を確認する癖をつけましょう。
- 欠損値との混同 — 欠損値は「値が記録されていない」データ、外れ値は「値はあるが極端」なデータです。前処理ではどちらも扱いますが別の問題です。
- 「中央値も外れ値に歪む」は誤り — 中央値・四分位数など順位ベースの統計量は外れ値に頑健です。平均値・分散・最小二乗法・MSEが外れ値に弱い側、と整理しましょう。
📝 試験でのポイント
- 「他のデータから大きく外れた値」という定義とともに、平均値が外れ値の影響を受けやすく中央値は受けにくい、という対比が問われる定番想定です。
- 検出方法として「箱ひげ図(四分位範囲の1.5倍基準)」「3σルール」を選ばせる問題に備えましょう。
- 評価指標の文脈で「MAEはMSEより外れ値に頑健」という比較が出題されることがあります。2乗するかどうかが理由です。
- 「外れ値は必ず削除すべきか」を問う正誤問題では、原因調査が先・希少な本物の現象の可能性、が正解の軸になります。
📚 まとめ
- 外れ値はデータの大部分から極端に離れた値。ミス由来と本物の希少現象の両方がある。
- 検出は四分位範囲(1.5×IQR)や3σルールなど、基準を決めて機械的に行う。
- 平均値・分散・最小二乗法・MSEは外れ値に弱く、中央値・MAEは頑健。
- 対処は「削除ありき」ではなく原因調査から。異常検知のように外れ値自体が価値を持つ場面もあります。
