オートエンコーダを何段も重ねて「深い」ネットワークにしたものが積層オートエンコーダです。ディープラーニング初期に「深い構造でも学習できる」ことを示した立役者であり、事前学習・ファインチューニングとセットでG検定に登場する重要キーワードです。
📖 ひと言でいうと
積層オートエンコーダとは、入力データを圧縮・復元して特徴を学ぶオートエンコーダを複数積み重ね、層を経るごとにより抽象的な特徴を捉えられるようにした深層モデルです。
例えるなら、要約の要約を作っていくイメージです。長い文章をまず一度要約し、その要約をさらに要約すると、より本質的なエッセンスだけが残ります。厳密には「要約」にあたるのが各オートエンコーダの隠れ層(潜在表現)で、前の段の隠れ層の出力を次の段の入力として渡すことで、段階的に高次の特徴表現を獲得していきます。
🖼 1枚でわかる積層オートエンコーダ
📘 公式テキストの説明
積層オートエンコーダ（Stacked Autoencoder）は、オートエンコーダを複数層に重ねた深層学習モデルの一種である。基本的なオートエンコーダは、入力データを低次元の潜在空間に圧縮し、再度元の次元に復元することで、データの特徴を学習する。これに対し、積層オートエンコーダは、複数のオートエンコーダを順次重ねることで、より抽象的で高次の特徴を捉えることが可能となる。学習手順としては、最初のオートエンコーダを訓練し、その隠れ層の出力を次のオートエンコーダの入力として用いる。このプロセスを繰り返すことで、各層が異なるレベルの特徴を学習し、最終的に全体のネットワークを微調整（ファインチューニング）する。積層オートエンコーダは、次元削減や特徴抽出、異常検知、ノイズ除去など、多様な応用分野で利用されている。特に、データの高次元性が問題となる場合に有効であり、データの本質的な構造を捉える手法として知られている。
ポイントは2つです。1つめは構造の話で、「圧縮→復元」を行う基本のオートエンコーダを部品として、それを何段も重ねたものが積層オートエンコーダだという点。2つめは学習手順の話で、いきなり全体を学習するのではなく、1段目を訓練→その隠れ層の出力を2段目の入力に→…と順番に積み上げ、最後に全体をファインチューニングするという点です。この「順次学習+仕上げの微調整」という二段構えが試験の急所になります。
🔍 しっかり理解する
学習の流れ:「貪欲な逐次学習」+「仕上げの微調整」
積層オートエンコーダの学習は、各段を独立に、入力に近い側から順に訓練していきます。このやり方は「一度に全部ではなく、目の前の1段だけを最適化する」進め方であることから、貪欲(greedy)な逐次学習と呼ばれることもあります。各段の訓練は入力を復元するだけなので正解ラベルが不要、つまり教師なし学習です。
最後のファインチューニングでは、積み上げたネットワーク全体を通しで微調整します。分類などのタスクに使う場合は、積層した特徴抽出部の上に出力層を追加し、ここで初めてラベル付きデータを使った教師あり学習を行う、という構成が典型です。
なぜ重ねると「高次の特徴」になるのか
1段目のオートエンコーダは、生データに近いレベルの特徴(画像なら明暗の境目のような単純なパターン)を捉えます。2段目はその特徴の組み合わせを入力として受け取るため、より複合的なパターンを学習できます。段を重ねるごとに「特徴の特徴」が積み上がり、データの本質的な構造を表す抽象的な表現に近づいていく——これが深くする意味です。
この方式は、ディープラーニング初期に勾配消失問題を回避して深いネットワークを訓練するための事前学習として重要な役割を果たしました。現在は深いネットワークを直接訓練できるため事前学習としての出番は減りましたが、公式テキストにあるとおり、次元削減・特徴抽出・異常検知・ノイズ除去などの用途では引き続き有用です。
💡 具体例で考える
高次元データの異常検知を考えてみましょう。工場のセンサーが数百項目の計測値を毎秒出力しているとします。積層オートエンコーダに正常時のデータだけを学習させると、モデルは正常データを少ない次元に圧縮してもうまく復元できるようになります。ここに異常なデータが入ってくると、学習した「正常の構造」に当てはまらないため復元誤差が大きくなり、その誤差の大きさで異常を検知できます。数百次元という高次元データの本質的な構造を捉えるという、公式テキストの記述どおりの使い方です。
また、手書き数字画像(28×28ピクセル=784次元)を2次元まで段階的に圧縮して散布図にすると、同じ数字同士が近くに集まる様子を可視化できます。一気に784→2次元へ圧縮するのは難しくても、784→256→64→2のように段階を踏めば無理がない——これが「積層」の直感的なご利益です。
⚠️ よくある誤解・紛らわしい用語
- 「事前学習」との関係——積層オートエンコーダはモデルの構造(オートエンコーダを重ねたもの)の名前、事前学習はその代表的な訓練手続き(1段ずつ教師なしで訓練して初期重みを得る)の名前です。セットで語られますが、指しているものが違います。
- 「最初から全体を一括学習する」は誤り——定義上の学習手順は、1段ずつ順次訓練してから最後に全体をファインチューニングする流れです。「各層を同時に学習する」という選択肢は誤りです。
- 教師なしか教師ありか——各段の訓練は教師なし学習です。ラベルを使うのは、仕上げのファインチューニングや、分類器として使うために出力層を付け足した後の段階です。
- 変分オートエンコーダ(VAE)との混同——積層は「重ね方」の工夫、VAEは「潜在変数を確率分布として扱う」工夫で、方向性がまったく異なります。VAEは生成モデル、積層オートエンコーダは主に特徴抽出・次元削減が目的です。
📝 試験でのポイント
- 学習手順の並べ替え・穴埋えが典型: 「最初のオートエンコーダを訓練→隠れ層の出力を次の入力に→繰り返し→最後にファインチューニング」の流れを正確に。
- 「層を重ねる目的は?」→ より抽象的で高次の特徴を捉えるため、と答えられるように。
- 「各段の学習は教師あり/教師なしのどちらか」を問う出題を想定。各段は教師なし、が正解です。
- 応用分野として次元削減・特徴抽出・異常検知・ノイズ除去が挙げられている点も、正誤問題の材料になります。
📚 まとめ
積層オートエンコーダは、オートエンコーダを複数重ねて深くしたモデルで、隠れ層の出力を次の段の入力として1段ずつ訓練し、最後に全体をファインチューニングします。段を重ねることでより抽象的で高次の特徴を捉えられ、ディープラーニング初期には勾配消失を避ける事前学習の中核を担いました。現在も次元削減・特徴抽出・異常検知などで使われる、歴史と実用を兼ねたキーワードです。
