次元削減の代表格といえば主成分分析(PCA)です。相関し合う多数の特徴量を、相関のない少数の「主成分」にまとめ直すこの手法は、G検定でも寄与率・次元の呪い・t-SNEとの対比など論点が豊富です。仕組みから順に理解していきましょう。
📖 ひと言でいうと
主成分分析(PCA: Principal Component Analysis)とは、特徴量間の相関を分析してデータの構造をつかみ、相関をもつ多数の特徴量を、相関のない少数の特徴量(主成分)へと変換する線形の次元削減手法です。データのばらつき(分散)が最大になる方向を新しい軸として順に選んでいくのが基本の考え方です。
例えるなら、たくさんの科目の成績表から「総合学力」という1本の物差しを作るイメージです。国語・英語・社会の点数は互いに相関していることが多いので、それらをまとめた新しい軸を作れば、少ない数字で生徒の特徴を表せます。厳密には、PCAはこうした「情報をなるべく失わないまとめ方の軸」を、分散を基準に数学的に求める手法です。
🖼 1枚でわかる主成分分析
📘 公式テキストの説明
データの特徴量間の関係性、相関を分析しデータの構造をつかむ手法。特に特徴量の数が多い場合に用いられ、相関をもつ多数の特徴量から相関のない少数の特徴量へと次元削減することが主たる目的。ここで得られる少数の特徴量を主成分という。線形な次元削減であり、計算量の削減ができ次元の呪いの回避が可能となる。寄与率を調べれば各成分の重要度が把握でき、主成分を調べれば各成分の意味を推測しデータの可視化が可能となる。主成分分析以外には、特異値分解(Singular Value Decomposition、SVD)、多次元尺度構成法(Multi-Dimensional Scaling、MDS)がよく用いられる。可視化によく用いられる次元圧縮の手法は、t-SNE(t-distributed Stochastic Neighbor Embedding)がある。t-SNEのtはt分布のtである。
情報の密度が高い説明なので、要素を分解しましょう。①目的は「相関する多数の特徴量→相関のない少数の特徴量」への次元削減、②その少数の特徴量を「主成分」と呼ぶ、③線形手法なので計算量を減らせ、次元の呪いを回避できる、④「寄与率」で各主成分の重要度が分かる、という4点が本体です。
後半は仲間の手法の列挙です。次元削減にはPCAのほかに特異値分解(SVD)や多次元尺度構成法(MDS)もよく用いられ、可視化目的ではt-SNEが定番である——この手法名と英略称の対応(SVD・MDS・t-SNE)は、それ自体が出題対象になります。
🔍 しっかり理解する
「分散が最大の方向」に軸を取り直す
PCAの核心は、データが最も大きくばらついている方向を見つけることです。ばらつき(分散)が大きい方向ほど、データ同士の違いがよく表れる=情報量が多い、と考えるためです。
最初に見つけた分散最大の方向が「第1主成分」です。次に、第1主成分と直交する(相関しない)方向の中で分散が最大の方向を「第2主成分」として選び、以下同様に続けます。こうして作られた主成分は互いに無相関で、番号が若いほど多くの情報を担います。上位の主成分だけを残して残りを捨てれば、情報の損失を抑えた次元削減が完成します。
寄与率——各主成分の「情報の担当割合」
各主成分がデータ全体のばらつきのうち何%を説明しているかを示す指標が寄与率です。たとえば第1主成分の寄与率が60%、第2主成分が25%なら、上位2つの主成分(累積で85%)だけでデータの大部分を表現できると判断できます。寄与率は「いくつの主成分を残すか」を決める実務上の判断材料であり、公式テキストの「寄与率を調べれば各成分の重要度が把握できる」という一文はこのことを指しています。
また、各主成分がもとのどの特徴量を強く反映しているかを調べれば、「この軸は体格の大きさを表していそうだ」というように成分の意味を推測できます。上位2つの主成分でデータを散布図にすれば、高次元データの可視化にもつながります。
「線形」であることの意味と限界
PCAはもとの特徴量の重み付き合計(線形結合)で新しい軸を作る線形手法です。計算が軽く結果の解釈もしやすい一方、データが曲がった構造(非線形な構造)を持つ場合はうまく捉えられないことがあります。可視化の場面で、非線形な近さの関係まで反映したいときに使われるのがt-SNEです。「基本はPCA、複雑な構造の可視化はt-SNE」という使い分けのイメージを持っておきましょう。
💡 具体例で考える
古典的な例が体格データの分析です。身長・体重・胸囲・座高など多数の計測値は互いに強く相関しています。これらをPCAにかけると、第1主成分として「全体的な体の大きさ」に相当する軸が、第2主成分として「やせ型・がっしり型といった体型の違い」に相当する軸が現れることが知られています。多数の計測値が、意味を解釈できる2本の軸に集約されるわけです。
もう1つの例はワインの品質分析です。アルコール度数・酸度・糖度・色の濃さなど十数項目の化学的特徴量を持つワインのデータをPCAで2次元に落とすと、ブドウ品種ごとのまとまりが平面上に見えてきます。どの特徴量が第1主成分に強く効いているかを調べれば、「品種を分ける主な要因は色素と酸に関わる成分らしい」といった構造の理解も進みます。
⚠️ よくある誤解・紛らわしい用語
- 主成分は「元の特徴量から選んだもの」ではない: 重要な列を選び抜くのではなく、複数の特徴量を合成した新しい軸を作ります。特徴選択(不要な列を捨てる)とは別の操作です。
- t-SNEとの混同: PCAは分散最大の方向を使う線形手法、t-SNEは近さを確率分布で表現して低次元に再現する手法で、主に可視化に使われます。なお「t-SNEのtはt分布のt」です。
- LDA(潜在的ディリクレ配分法)とは無関係: 同じ教師なし学習の節に登場しますが、LDAは文書のトピック推定の手法で、PCAのような次元削減とは目的が異なります。
- 主成分の解釈は自動ではない: 「第1主成分=体の大きさ」のような意味づけは、人間が構成をみて推測するものです。アルゴリズムが意味ラベルまで出してくれるわけではありません。
📝 試験でのポイント
- 「相関をもつ多数の特徴量から相関のない少数の特徴量へ次元削減する手法」という定義文からPCAを選ばせる問題が最有力です。「相関のない」という語がPCAを特定するキーワードです。
- 寄与率の意味(各主成分の重要度・情報の説明割合)を問う出題が想定されます。
- 「線形な次元削減」「次元の呪いの回避」といった性質の正誤判定に備えましょう。
- SVD・MDS・t-SNEとの関係整理も狙われます。特に「可視化によく用いられるのはt-SNE」という対応は要チェックです。
📚 まとめ
主成分分析(PCA)は、分散が最大となる方向を新しい軸として順に選び、相関する多数の特徴量を相関のない少数の主成分に変換する線形の次元削減手法です。計算量の削減や次元の呪いの回避に有効で、寄与率を見れば各主成分の重要度が分かり、主成分の中身から意味の推測や可視化も行えます。仲間の手法であるSVD・MDS、可視化に強いt-SNEとの位置関係まで含めて整理しておきましょう。
