- 最適化に必要な数学基礎知識や微分を理解する
- 機械学習で必要となる統計学基礎を理解する
- 基本的な統計情報を計算できる
1. 最適化に必要な数学基礎知識や微分を理解する
最小二乗法
最小二乗法（Least Squares Method）は、与えられたデータの誤差を最小化するための数学的手法です。主に回帰分析に使われ、特に線形回帰では、データの傾向を最も正確に表す直線を求める際に利用されます。この方法では、データとモデルの間に生じる誤差の二乗の合計を最小化するようにパラメータを調整します。例えば、複数のデータ点が与えられている場合、そのデータに最も適合する直線や曲線を求めたいとき、最小二乗法は非常に有効です。最小二乗法は、残差（予測値と実際のデータとの差）の平方和を最小にするという原則に基づいており、この平方和が小さいほどモデルの適合度が高いとされます。基本的な流れとしては、まずデータの平均値を計算し、それぞれのデータ点がどれだけ平均値からずれているか（偏差）を計算します。その後、傾きや切片を導き出し、最終的に回帰直線を得ることができます。これにより、将来のデータを予測したり、データ間の関係を分析する際に役立ちます。
コサイン類似度
コサイン類似度は、2つのベクトル間の角度を用いて、その類似性を評価する手法です。この手法では、ベクトルの長さではなく、方向性に注目するため、データの大きさに左右されることなく、内容の比較が可能です。このため、特に文章やテキストデータの類似性を計算する際に広く用いられています。例えば、自然言語処理の分野では、文書をベクトルに変換し、それらのコサイン類似度を計算することで、文書間の類似度を測定します。具体的には、文書や単語を数値ベクトルに変換し、そのベクトルがどれだけ同じ方向を向いているか（角度が小さいか）を評価します。角度が0度に近いほど、内容が類似しているとされ、角度が90度に近い場合は関連性が低いと判断されます。コサイン類似度の計算において、テキストデータは一般に「ベクトル化」され、TF-IDFやWord2Vecといった手法で表現されます。これにより、文書同士やクエリとの関連性が効率的に計算でき、例えば検索エンジンでの検索結果のランク付けや、重複する内容の検出などに役立ちます。また、コサイン類似度はレコメンデーションシステムやクラスタリングでも活用され、似た内容のコンテンツをユーザーに提案する際に使われます。ただし、高次元のデータに適用する際には、「次元の呪い」と呼ばれる問題に直面することがあります。次元が増えるほど、計算コストが高くなるだけでなく、ベクトルが直交する可能性が高くなり、関連性を正確に評価することが難しくなる点に注意が必要です。このような場合、次元削減や特徴量選択といった手法を併用することで、効率を改善することが求められます。
ユークリッド距離
ユークリッド距離（Euclidean distance）は、最も基本的な距離の測定方法の一つで、二点間の「直線距離」を計算します。この概念は、古代ギリシャの数学者ユークリッドに由来し、ピタゴラスの定理をもとにした計算方法で知られています。この距離は、二次元や三次元空間だけでなく、多次元空間にも適用されます。計算方法は、各次元の差の2乗を合計し、その平方根を取るというシンプルなものです。ユークリッド距離は、データ分析や機械学習、コンピュータビジョンの分野で広く使用されています。たとえば、クラスタリングでは、データポイント間の距離を測るために使用され、k-最近傍法（k-NN）などのアルゴリズムでは、データ間の類似度を判断するための重要な指標となります。一方、ユークリッド距離にはいくつかの限界もあります。たとえば、データのスケールに敏感であるため、特徴量のスケールが異なる場合、距離の計算結果に偏りが生じることがあります。この問題を解決するために、データの標準化や正規化が行われることが一般的です。
マハラノビス距離
マハラノビス距離は、統計学においてデータ間の相関関係を考慮して距離を測る手法です。この距離は、ユークリッド距離のような通常の距離とは異なり、データの分布や変数間の関係性を反映するため、多次元データに適用されることが特徴です。具体的には、データのばらつきや共分散を含めて計算されるため、異常値の検出やクラス分類、クラスタリングといった応用に効果的です。ユークリッド距離は単純に空間上の2点間の直線距離を計算しますが、マハラノビス距離ではデータがどの程度相関しているかを踏まえた上で、より正確に距離を測ります。例えば、異常検知においては、既知の正常データからのマハラノビス距離が大きければ、それは異常と判断されます。また、マハラノビス距離は特に多変量正規分布のデータに対して効果的ですが、この仮定に基づくため、データが正規分布に従わない場合は、結果が正確でないこともあります。このため、高次元データを扱う際や、多重共線性がある場合には注意が必要です。
| 項目 | ユークリッド距離 | マハラノビス距離 | コサイン類似度 |
|---|---|---|---|
| 概要 | 2点間の直線距離 | 共分散を考慮した距離 | ベクトル間の角度に基づく類似度 |
| 考慮する性質 | 各次元を独立に扱う | 変数間の相関・分散を反映 | 方向のみ評価 (大きさは無視) |
| データの前提 | スケールが揃っていることが望ましい | 多変量正規分布に近いと有効 | ベクトル長の影響を受けにくい |
| 値の範囲 | 0 以上 | 0 以上 | -1 〜 1 (テキストでは 0〜1) |
| 典型的な応用 | k-NN・クラスタリング | 異常検知・多変量分析 | 文書類似度・レコメンド |
| 留意点 | スケールに敏感、標準化が必要 | 共分散行列が必要・正則性に注意 | 高次元では識別力が落ちる場合あり |
偏相関係数
偏相関係数とは、2つの変数間の相関を他の変数の影響を取り除いた状態で計算する指標です。通常の相関係数は、2つの変数間の関連性を単純に示しますが、そこに第三の変数が関与していると、誤った結論を導く可能性があります。偏相関係数は、この第三の変数などの影響を除去した上で、2つの変数がどの程度相関しているのかを評価します。例えば、ある調査で「年齢」「運動量」「血圧」という3つの変数があったとします。年齢が運動量と血圧の両方に影響を与える可能性があるため、運動量と血圧の間に見かけ上の相関が生じるかもしれません。この場合、年齢の影響を除去した状態で運動量と血圧の関係を見るために、偏相関係数を用います。これにより、年齢の影響を排除して、運動量と血圧の「純粋な」相関が明らかになります。偏相関係数の計算では、まず各変数から他の変数の影響を取り除くために「残差」を算出し、それらの残差同士の相関を計算します。また、偏相関係数の値は通常の相関係数と同様に-1から1の範囲を取り、1に近いほど強い正の相関、-1に近いほど強い負の相関を示し、0に近い場合はほとんど相関がないことを意味します。
共分散
共分散とは、2つの変数がどのように一緒に変動するかを示す指標です。たとえば、身長と体重の関係を考えると、身長が高い人ほど体重が重い傾向がある場合、これらのデータには「正の共分散」が見られます。逆に、片方の値が大きくなるともう片方の値が小さくなる傾向がある場合には「負の共分散」となります。共分散の計算は、各変数の平均値からの差を掛け合わせ、その平均を取ることで行われます。正の値が出れば、2つの変数が同じ方向に変動することを示し、負の値は逆方向に変動することを意味します。共分散の値がゼロに近い場合は、変数間に明確な相関がないことを表しますが、これは必ずしも「関係がない」とは言い切れません。ただし、共分散には単位の影響を受ける欠点があり、値が大きいからといって必ずしも強い関係を示すわけではありません。このため、より解釈しやすい指標として、共分散を標準偏差で割った「相関係数」がよく使われます。相関係数は-1から1の範囲で変動し、変数間の関係の強さと方向をより明確に示します。
最尤法
最尤法（Maximum Likelihood Estimation）は、観測データに最も適合するモデルのパラメータを推定する統計的手法です。具体的には、与えられたデータが得られる確率（尤度）を最大化するようなパラメータを求めます。この手法は、機械学習や統計モデリングにおいて広く用いられており、線形回帰やロジスティック回帰、混合ガウスモデルなど、多くのモデルのパラメータ推定の理論的な根拠となっています。最尤法では、まずデータがある確率分布に従って生成されたと仮定し、その分布のパラメータを未知数として尤度関数を定義します。次に、尤度関数（あるいは計算が容易な対数尤度関数）を最大化するパラメータを微分や数値最適化などの手法を用いて求めます。最尤法の利点として、データ量が増えるほど推定値が真の値に近づくという「一致性」や、漸近的に有効な推定量となるといった望ましい統計的性質を持つことが挙げられます。一方で、データ数が少ない場合や、モデルの仮定が現実から大きく外れている場合には、推定の精度が低下する可能性があるため、適切なモデル選択が重要となります。
2. 機械学習で必要となる統計学基礎を理解する
確率分布
確率分布には、大きく分けて「離散型確率分布」と「連続型確率分布」の2つがあります。離散型確率分布は、例えばコインの表裏やサイコロの目のように、結果が限定された特定の値にとどまる場合に用いられます。例えば、コインを投げた際に表が出る確率は1/2であり、このように確率がとびとびの値を取るのが離散型です。サイコロを投げた際の目の出現確率も同様に1/6で表されます。一方、連続型確率分布は、例えば人の身長や体重のように、無限に多くの値を取る可能性がある場合に使用されます。連続型では、特定の値ではなく、ある範囲内に値が収まる確率を考える必要があります。例えば、60kgから80kgの間に身長が収まる確率を求める場合、この連続型確率分布の考え方を使います。
確率変数
確率変数とは、何かしらの試行の結果として得られる値を数値で表現するための変数です。例えば、サイコロを投げると、出る目は1から6の間でランダムに決まります。このとき、サイコロの目を表す変数Xは確率変数となります。試行が行われる前には具体的な値は決まっていませんが、試行が終わるとXに値が割り当てられます。確率変数には「離散型」と「連続型」の2種類があります。離散型確率変数は、取りうる値が数えられるような個別の数である場合を指します。例えば、コインを投げたときに「表が出る＝1」「裏が出る＝0」と数値を対応させると、これが離散型の確率変数になります。また、サイコロの出る目も離散型確率変数の一例です。一方で、連続型確率変数は、特定の範囲内で無限に多くの値を取ることができます。例えば、人の身長や体重は、連続的に値が変化するので連続型確率変数となります。連続型確率変数においては、正確に特定の値を取る確率は0ですが、特定の範囲内に収まる確率を計算することが重要です。
確率密度
確率密度は、ある区間に属する値がどの程度発生しやすいかを表すもので、確率そのものではなく、確率の「密度」を示します。確率密度関数（PDF）は、連続する値を取る確率変数の分布を曲線で表し、その曲線の下の面積が確率に相当します。連続型確率分布では、確率変数が特定の値をとる確率は0であり、重要なのはある範囲内にその変数が収まる確率です。この確率は、確率密度関数を積分することで計算されます。例えば、ある区間 [a, b] に確率変数が存在する確率は、該当区間内での確率密度関数の積分により求められます。この考え方は、身長や体重などの連続的なデータに対して有効です。確率密度関数の代表的な例として、正規分布が挙げられます。正規分布では、平均を中心に左右対称の釣鐘型の曲線が描かれ、標準偏差が確率変数のばらつきを表します。正規分布の性質により、データの約68%は平均値の±1標準偏差以内に、約95%は±2標準偏差以内に収まります。このように、確率密度関数を用いることで、データの分布状況やその特徴を定量的に把握することができます。
期待値
期待値とは、確率変数が取り得る値とその発生確率を重み付けした平均値を指します。これは、将来的に得られる結果の平均的な値を表しており、統計や確率論において基本的な概念です。期待値は、日常生活での平均とは異なり、予測や意思決定において頻繁に使用されます。例えば、投資やゲームにおいて、複数の可能な結果に基づいて得られる「見込みのある値」を計算する際に役立ちます。離散型確率変数の場合、期待値はその変数が取り得るすべての値に、それぞれの発生確率を掛けたものの総和として計算されます。サイコロを例に挙げると、1から6までの出る目それぞれに確率1/6を掛けて合計を求めると、その期待値は3.5になります。一方、連続型確率変数では、積分を用いて期待値が計算されます。確率密度関数を使い、すべての可能な値に確率密度を掛けて積分することで、期待値を導きます。期待値と平均は似ていますが、厳密には異なる概念です。過去のデータから得られる「実際の平均」に対し、期待値は「将来得られるであろう平均」を示します。この違いは、試行前の予測に基づくか、試行後の結果に基づくかという点で明確です。
正規分布
正規分布とは、統計学で頻繁に用いられる確率分布の一つであり、データの多くが平均値付近に集中し、平均から離れるほどデータの出現確率が低くなる特性を持っています。この分布は、グラフにすると左右対称の「ベル型（釣鐘型）」の曲線を描きます。正規分布の代表的な特徴として、平均値、中央値、最頻値がすべて一致している点が挙げられます。これは、正規分布に従うデータの中心部分がこの三つの値で一致することを意味しています。また、データの広がり方は標準偏差によって決まります。標準偏差が大きいほど、分布は平坦で広がり、標準偏差が小さいほど、山が高く鋭くなります。正規分布に従うデータの例としては、身長や体重、テストの点数などが挙げられます。例えば、日本人男性の身長を調べた際、平均が170cm、標準偏差が10cmであれば、正規分布の性質に基づいて、身長が160cmから180cmの範囲に収まる男性は全体の約68%となることが分かります。
二項分布
二項分布は、ベルヌーイ試行と呼ばれる「成功」と「失敗」という二つの結果しかない試行を複数回繰り返した場合に、成功が何回起こるかの確率を示すものです。例えば、コインを10回投げた時に、表が出る回数の分布を考えます。コインを投げるたびに表が出る確率は50%（つまり0.5）です。このとき、コインが3回表になる確率は、二項分布を使って計算できます。二項分布では、試行回数（n）と成功確率（p）が設定され、これに基づいて成功回数が計算されます。具体的には、成功回数がX回になる確率は、次の式を使って求められますが、統計検定3級では、式を暗記する必要はありません。重要なのは、この分布が「成功と失敗が交互に起こる確率を扱う」ものであると理解することです。二項分布を理解する上で、期待値と分散も重要です。期待値は「成功の平均的な回数」を表し、n回の試行における期待される成功回数は「n×p」で計算されます。分散は「結果のばらつき」を示し、「np(1-p)」で計算されます。この期待値と分散が、試行が多くなるにつれて二項分布が正規分布に近似される理由にもつながります。
ポアソン分布
ポアソン分布は、特定の期間内に一定の確率で発生する「稀なイベント」の回数を扱う確率分布です。例えば、特定の交差点での交通事故の発生回数や、一定時間内に電話がかかってくる回数が該当します。この分布は、事象が非常に低い確率で発生し、かつ試行回数が多い状況において有効です。ポアソン分布は次の条件を満たすときに適用できます。まず、試行回数が非常に多いこと、次に個々の試行で事象が発生する確率が非常に小さいこと、そしてその試行の総回数と成功確率の積が一定の値に近づくことです。この積を「λ（ラムダ）」と呼びます。ポアソン分布の特徴的な性質として、期待値と分散がともにλに等しいことが挙げられます。これは、一定の時間内に起こる事象の平均回数がλであり、その変動もλに従うためです。この性質により、ポアソン分布は平均回数に基づく確率モデルとして幅広く使用されています。例えば、1日に1件の電話がかかってくるとした場合、1日に2件、3件と複数の電話がかかる確率は、λを基にポアソン分布を使って計算できます。この場合、λが大きくなるにつれて、発生回数の分布は正規分布に近づくという特徴もあります。ポアソン分布の具体的な例としては、医療での事故率や製品検査における不良品の発生率の計算が挙げられます。また、通信ネットワークにおける通話の到着回数などにも応用されています。
ベルヌーイ分布
ベルヌーイ分布とは、結果が「成功か失敗か」「表か裏か」といった2つのみに分かれる試行において、その結果を0と1で表す確率分布のことです。このような試行を「ベルヌーイ試行」と呼び、ベルヌーイ分布は1回のベルヌーイ試行の結果をモデル化したものです。成功の確率をp、失敗の確率を1–pで表します。ベルヌーイ分布の確率質量関数は、成功確率pと失敗確率1–pを用いて定義されます。確率変数Xが成功（値1）となる確率がp、失敗（値0）となる確率が1-pであると表現されます。この関数を用いると、ベルヌーイ試行の結果が0または1である確率を計算することができます。ベルヌーイ分布の期待値（平均）は成功確率pに等しく、分散はp(1-p)です。期待値がpであることは、ベルヌーイ試行が成功する確率そのものが平均的な結果であることを意味しています。一方、分散はどれほど結果がばらつくかを示しており、これは成功と失敗の確率の組み合わせによって決まります。また、ベルヌーイ分布は二項分布とも関係があります。二項分布はベルヌーイ試行を複数回繰り返した場合の成功回数を表す分布です。一回の試行を表すベルヌーイ分布が基礎となり、これを何度も繰り返した結果をまとめたものが二項分布であるため、両者は密接に関係しています。
帰無仮説
帰無仮説とは、統計学でデータ分析を行う際に最初に立てる仮説のことです。これは「特定の効果や差が存在しない」という前提に基づいており、例えば「新しい薬が従来の薬と効果に差がない」といった内容です。この仮説は、検証を行うための出発点として用いられ、最終的にはデータを基に棄却されるかどうかが判断されます。帰無仮説を検定する際には、通常「対立仮説」とセットで考えられます。対立仮説は、帰無仮説に反する内容、つまり「効果や差がある」というものです。帰無仮説を棄却できれば、対立仮説が有力だと考えられます。検定には「p値」という指標が使われ、これは帰無仮説が正しいと仮定した場合に、得られたデータが偶然である確率を示します。このp値が事前に設定された「有意水準」（通常は0.05など）を下回った場合、帰無仮説は棄却されます。帰無仮説の目的は、科学的なデータ分析において、検証したい内容に対して慎重な結論を導くために用いられるものであり、さまざまな分野で活用されています。たとえば、心理学や経済学、医療の研究でもよく用いられます。
対立仮説
対立仮説は、仮説検定において重要な要素の一つであり、帰無仮説と対をなす存在です。統計的な仮説検定では、まず最初に帰無仮説を立てますが、これは「変化がない」「効果がない」という状況を前提としています。一方、対立仮説は、その逆で「変化がある」「効果がある」という主張を示す仮説です。たとえば、コインが公平かどうかを検証する場合を考えてみましょう。帰無仮説は「コインは公平である（表と裏が出る確率が50%ずつ）」と設定します。この場合の対立仮説は「コインは公平ではない」となります。検定の結果、帰無仮説が棄却された場合、対立仮説が支持されることになります。仮説検定では、帰無仮説が正しいかどうかを検証し、十分な証拠があればその仮説を棄却し、対立仮説が採択されるという流れです。帰無仮説が棄却されるためには、データから得られた結果が偶然ではなく、統計的に有意であることが必要です。その判断基準としてP値や有意水準が使われます。たとえば、P値が設定された有意水準（通常5%など）を下回る場合、帰無仮説を棄却し、対立仮説が正しいとされます。
条件付き確率
条件付き確率とは、ある事象が起きたという条件の下で、別の事象が起きる確率のことです。具体的には、事象Aが起きたときに、事象Bがどのくらいの確率で起こるかを示すものです。一般的な確率は「どのくらいの確率で事象が起きるか」を考えますが、条件付き確率では、「既に何かが起きている」という状況を踏まえた上での確率を計算します。例えば、トランプの山札からカードを1枚引くという場面を考えましょう。最初にスペードのカードを引いたとします。その後、2枚目に引くカードがハートである確率を求めるのが条件付き確率の典型例です。1枚目の結果（スペードを引いたという事実）が既に決まっているので、その情報を元に2枚目の確率を考えることになります。
相互情報量
相互情報量は、情報理論において、2つの確率変数の間の関連性を表す指標です。簡単に言えば、片方の変数を知ることで、もう一方の変数に関する不確実性がどれだけ減るかを示します。例えば、天気予報と傘を持つ人の関係を考えると、天気予報が「雨」となった場合、傘を持っている人が多いことが予想できます。この場合、天気予報の情報が傘を持つかどうかの予測に役立ちます。相互情報量がゼロの場合、2つの変数は完全に独立しており、一方の変数を知ってももう一方の変数に関する情報は得られません。一方、相互情報量が高い場合、2つの変数は強く関連しており、一方の変数を知ることで他方に関する情報が大幅に得られることを意味します。相互情報量は、確率変数間の依存度を定量的に表すだけでなく、エントロピーとも深く関連しています。エントロピーは情報の不確実性や散らばりの度合いを示すもので、相互情報量は、エントロピーからもう一方の変数を知ることでどれだけその不確実性が減るかを測定します。エントロピーが高い場合は、不確実性が大きいことを意味し、相互情報量がその不確実性をどれだけ削減できるかを示す重要な指標です。
3. 基本的な統計情報を計算できる
平均
平均とは、データの値をすべて足し、その合計をデータの個数で割ったものです。例えば、5つのデータがあった場合、その平均は5つの値を合計し、それを5で割ることで計算されます。このような計算を行うことで、データの中心的な傾向を示す値が得られます。
中央値
中央値は、データを小さい順に並べた際に、ちょうど真ん中に位置する値のことを指します。例えば、データが「1, 2, 3, 4, 5」の場合、中央値は「3」です。一方、データの数が偶数である場合、中央に位置する2つの値の平均が中央値となります。例えば、「1, 2, 3, 4, 5, 6」というデータでは、中央の2つの値である「3」と「4」の平均である「3.5」が中央値となります。中央値は、外れ値（極端に大きい値や小さい値）の影響を受けにくい特徴があります。このため、特にデータに極端な値が含まれる場合に、平均値よりもデータの中心をより正確に反映することができます。例えば、家計所得などでは、平均よりも中央値の方が実際の状況を正確に示すことが多いです。なぜなら、一部の非常に高い所得が全体の平均を押し上げることがあるからです。
最頻値
最頻値は、統計学において「データの中で最も頻繁に現れる値」を指します。最頻値は、平均値や中央値と並ぶ代表値の一つで、特にデータのばらつきが大きい場合に、その分布の特徴を示す重要な指標です。例えば、あるクラスのテストの点数が「60, 75, 80, 75, 90, 75, 60, 70, 80, 85」であった場合、最も頻繁に出現する75が最頻値になります。最頻値の特徴として、外れ値の影響を受けにくいことが挙げられます。データに極端な値が含まれていても、最頻値はその分布の中心的な値を把握しやすいという利点があります。一方で、最頻値が複数存在する「二峰性」や「多峰性」のデータもあり、このような場合にはデータの分布の傾向を深く理解するために他の指標と組み合わせて分析することが効果的です。また、最頻値はデータ数が少ない場合や、各値が一度しか現れないような場合には有効ではなく、すべての値が最頻値となることもあります。このため、最頻値が一意に決まらないケースも存在します。最頻値はアンケート結果や品質管理など、データの中で「最も一般的な意見」や「最も頻繁に発生する事象」を知りたいときに特に有用です。平均値や中央値と合わせて使用することで、データ全体の特性をより正確に把握できます。
標準偏差
標準偏差は、データのばらつき具合を示す統計指標の一つであり、データが平均からどの程度散らばっているかを評価するために使用されます。標準偏差は分散の平方根として計算され、英語では「standard deviation」と表記され、略して「SD」とも呼ばれます。標準偏差を計算するには、まずデータの平均を求め、各データからその平均を引き、その差の2乗を計算します。その後、全ての2乗した差の合計をデータ数で割り、最終的にその結果の平方根を取ることで求められます。この計算により、データがどれほど散らばっているかを数値化できるのです。標準偏差が大きい場合、データが広範にばらついていることを示し、小さい場合はデータが平均値の周辺に集中していることを示します。例えば、試験の点数などで標準偏差が大きい場合、得点が大きくばらついていることを意味しますが、標準偏差が小さいと、ほとんどの学生が似たような得点を取っていることがわかります。標準偏差が優れている点は、平均値と同じ単位を持つため、直感的に理解しやすいということです。例えば、身長のデータでは、分散は平方センチメートルといった単位になりますが、標準偏差はセンチメートルのままであり、平均値と比較しやすくなります。
分散
分散とは、データのばらつきを表す統計的な指標の一つです。データがどの程度散らばっているか、つまり平均からの偏差がどれだけあるかを測定するために使われます。まず、データセットの平均値を計算し、各データポイントがその平均からどれだけ離れているかを調べます。この差を「偏差」と呼び、さらにそれを2乗して合計することで、偏差が正負に関わらず大きさとして計算されるようになります。これにより、データが平均に対してどれだけ広がっているかが明確になります。この2乗の和をデータ数で割ることで、分散が求められます。分散が大きいほど、データのばらつきが大きいことを示し、逆に分散が小さい場合は、データが平均の周りに集まっていることを意味します。なお、分散は元のデータの単位の2乗として表されるため、結果として得られる数値の解釈が難しくなることがあります。これを補正するために、分散の平方根を取った「標準偏差」がよく使われます。
相関係数
相関係数は、2つのデータ間の関係の強さを数値で表したもので、データがどの程度関連しているかを示します。この値は、-1から1までの範囲で変動し、1に近いほど「正の相関」が強く、-1に近いほど「負の相関」が強いことを意味します。0に近い場合、データ間に関連性はほとんどない、つまり「無相関」となります。例えば、勉強時間とテストの点数という2つのデータを考えた場合、勉強時間が長いほどテストの点数が高くなる傾向があるとすると、これらのデータ間には正の相関があると言えます。逆に、体脂肪率が高いほど健康状態が悪化する場合は、負の相関が存在します。また、相関関係があることがわかっても、必ずしも原因と結果が明確に示されるわけではありません。たとえば、勉強時間と成績の相関が見られたとしても、「勉強するから成績が上がる」のか「成績が良いから勉強に熱が入る」のかは、このデータからは判断できません。このため、相関係数の解釈には慎重さが求められます。
移動平均
移動平均は、時系列データの変動を滑らかにし、全体的なトレンドを明確にするための統計手法です。例えば、株価や気温、販売データのように時間の経過に伴って変動するデータに適用されます。この手法では、データを一定の期間ごとに区切り、その平均値を計算してトレンドを捉えやすくします。これにより、短期的なノイズを取り除き、長期的な傾向を見やすくする効果があります。移動平均にはいくつかの種類がありますが、最も基本的なのは「単純移動平均（SMA）」です。これは、一定期間のデータの単純な平均値を求め、その期間を次にずらしていく方法です。この手法は計算が簡単で、トレンドの全体像を把握するのに適しています。しかし、急激な変動には対応しづらいという欠点があります。例えば、株価が突然変動した場合、その影響が移動平均に反映されるまでに時間がかかることがあります。もう一つの方法として、「指数移動平均（EMA）」もあります。これは、最近のデータにより強い重みを与えることで、急激な変動にも敏感に反応できるという特徴があります。ただし、データが非常に不安定な場合には誤ったシグナルを出すこともあります。ビジネスでは、移動平均を利用して過去の販売データを分析し、季節的な傾向を捉えて在庫管理を最適化することができます。これにより、過剰在庫や欠品を防ぎ、効率的なビジネス運営が可能になります。また、金融市場では、株価の分析に移動平均を活用してトレンドの転換点を見極め、投資判断に役立てることができます。
外れ値
統計学における「外れ値」とは、他のデータ点と大きく異なる観測値を指します。この値は、データの傾向を歪める可能性があるため、特別な対処が必要です。ただし、外れ値を自動的に削除するのではなく、まずその値が何らかの意味を持つのか、あるいは単なるミスであるのかを判断することが重要です。例えば、測定ミスや入力エラーによって発生した「異常値」と呼ばれるものは、物理的に存在し得ない値であることが多いです（例として「体重が-999kg」など）。このような異常値は単に削除すれば問題ありませんが、本当に観測可能な値が他のデータから大きく外れている場合は、その外れ値が分析に有用であるかもしれません。外れ値の検出方法にはいくつかの手法があります。例えば「箱ひげ図」は、データの範囲を視覚的に示し、四分位範囲（IQR）を基準に外れ値を視覚的に特定するのに役立ちます。具体的には、データの第1四分位数から1.5倍のIQRを引いた値や、第3四分位数に1.5倍のIQRを加えた範囲外にあるデータ点が外れ値と見なされます。また、外れ値を検定する手法として「スミルノフ＝グラブス検定」があります。この検定では、データセットの中で平均値から最も離れた点をまず検定し、その点が外れ値かどうかを確認します。外れ値が見つかった場合は、データから除外し、再度検定を行うというプロセスを繰り返します。外れ値をどう扱うかは、分析の目的次第です。例えば、販売データにおいてセール時期の異常な売上は外れ値になる可能性がありますが、それを予測の際に無視すると誤った結果を招くかもしれません。そのため、単に外れ値を除外するだけでなく、そのデータが有益かどうかを慎重に判断する必要があります。
疑似相関
擬似相関とは、2つの変数間に相関関係があるように見えるが、実際には因果関係が存在しない状況を指します。このような相関は、データ中に見えない「第3の変数」が影響を与えていることが原因である場合が多いです。典型的な例として、アイスクリームの販売量と熱中症の発生件数が挙げられます。どちらも気温が高い時期に増加しますが、アイスクリームが熱中症を引き起こすわけではなく、実際には「気温」という共通の要因が関わっています。擬似相関が生まれる背景には、データの取り扱いや解釈における誤解が多く関与します。特に、サンプルサイズが小さい場合や、データのランダム性を無視した場合に発生しやすくなります。このため、データ分析では単なる相関の結果だけで因果関係を結論付けないよう注意が必要です。また、こうした擬似相関を避けるためには、変数同士の関係を詳細に確認し、第3の要因がないかを調査する必要があります。擬似相関を正しく見抜くためには、統計的手法や検定を用いて、表面的なデータの関連性に惑わされないことが重要です。
度数分布
度数分布とは、データを一定の区間（階級）に分け、それぞれの区間に含まれるデータの数（度数）を集計した表やグラフを指します。これにより、大量のデータの分布の形状や偏りを直感的に把握することが可能となります。度数分布は、ヒストグラムとして可視化されることが多く、データの中心傾向、ばらつき、対称性、外れ値の有無などを視覚的に確認できます。例えば、あるクラスのテストの点数を10点刻みの階級に分けて、各階級に何人いるかを数えれば、それが度数分布です。度数分布表では、階級ごとの度数のほか、相対度数（全体に対する割合）や累積度数（その階級までの度数の合計）も併せて示されることがあります。度数分布は、データを要約する基本的な手段であり、ヒストグラムと組み合わせることで、データが正規分布に近いか、二峰性を持つか、偏っているかといった特徴を一目で確認することができます。データ分析の初期段階で、データの全体像を把握するために広く活用されています。
