オートエンコーダは、入力を低次元の潜在表現に圧縮(エンコード)し、そこから元の入力を復元(デコード)するように学習するニューラルネットワークです。この項目では、その発展形であるDenoising Autoencoderと、確率的な生成モデルへ拡張したVAE(変分オートエンコーダ)の仕組みを学びます。
📖 概要
オートエンコーダは、エンコーダ z = f(x) とデコーダ x' = g(z) を組み合わせ、再構成誤差(入力xと出力x'の差、例えば二乗誤差)を最小化するように学習します。潜在変数zの次元を入力より小さくする(ボトルネックを設ける)ことで、データの本質的な特徴を圧縮して捉える表現学習が実現します。教師ラベルを必要としないため、教師なし学習(自己教師あり的な学習)の代表的な枠組みです。
ただし、通常のオートエンコーダは「復元」はできても、潜在空間から新しいデータを生成する仕組みを持ちません。そこで、入力にノイズを加えて頑健な特徴を学ぶDenoising Autoencoderや、潜在変数を確率分布として扱い生成モデル化したVAEが提案されました。VAEでは、対数尤度を直接最大化する代わりに変分下限(ELBO)を最大化し、その学習を可能にする技術がReparameterization Trickです。
🔍 キーワード解説
オートエンコーダの基本
エンコーダで入力を潜在表現に圧縮し、デコーダで復元するという構造により、オートエンコーダは次元削減や特徴抽出に利用できます。恒等写像をそのまま学習してしまっては意味がないため、潜在次元の制限(不完備なオートエンコーダ)や正則化によって、有用な表現の獲得を促します。
Denoising Autoencoder
Denoising autoencoder(デノイジングオートエンコーダ)は、入力xにノイズを加えた破損入力x~をエンコーダに与え、ノイズを加える前の元の入力xを復元するように学習するオートエンコーダです。単なる恒等写像では復元できないため、ネットワークはノイズに埋もれない本質的な特徴・データ分布の構造を学習することを強いられます。これによりノイズに頑健な表現が得られ、表現学習や事前学習として有効に機能します。「損失の比較対象はノイズ付加前のきれいな入力である」点が重要です。
VAE
VAE(Variational Autoencoder、変分オートエンコーダ)は、潜在変数zに事前分布(標準ガウス分布 p(z) = N(0, I) が一般的)を仮定し、デコーダを条件付き分布 p(x|z) とみなす確率的生成モデルです。エンコーダは、xが与えられたときの潜在変数の事後分布を近似する分布 q(z|x)(通常は平均μと分散σ^2を出力するガウス分布)として働きます。学習後は、事前分布からzをサンプリングしてデコーダに通すだけで新しいデータを生成できます。潜在空間が連続的で滑らかに意味が変化しやすい点も特徴です。
変分下限
VAEの目的である対数尤度 log p(x) は直接計算が困難なため、その下界である変分下限(ELBO; Evidence Lower Bound)を最大化します。変分下限は次の2項からなります。
ELBO = E_q(z|x)[log p(x|z)] - KL(q(z|x) || p(z))
第1項は「zから入力をどれだけうまく復元できるか」を表す再構成項、第2項は「近似事後分布q(z|x)を事前分布p(z)に近づける」正則化項(KLダイバージェンス)です。log p(x) と ELBO の差は KL(q(z|x) || p(z|x)) に等しく、これが非負であることから下限であることが保証されます。再構成の忠実さと潜在空間の整った構造のバランスを取る損失、と直感的に理解できます。
Reparameterization Trick
学習では、q(z|x)からzをサンプリングする操作が途中に入りますが、サンプリングは確率的な操作であり、そのままでは勾配を逆伝播できません。Reparameterization Trick(再パラメータ化トリック)は、標準ガウス分布からのノイズ ε ~ N(0, I) を使って
z = μ + σ ⊙ ε
とサンプリングを書き換える手法です(⊙は要素ごとの積)。確率的な部分をεに切り離すことで、zはμとσの決定的な関数となり、エンコーダのパラメータへ勾配を流せるようになります。VAEを誤差逆伝播法で端から端まで学習可能にした鍵となる技術です。
📝 試験でのポイント
- Denoising Autoencoderは「ノイズを加えた入力から、ノイズ付加前の入力を復元する」学習である点を正確に押さえましょう(復元対象を間違えさせる選択肢が典型です)
- VAEの損失が「再構成項 + KLダイバージェンス項」の2項からなること、各項の役割(復元の質/潜在分布の正則化)を説明できるようにしましょう
- 変分下限が log p(x) の下界であること、最大化の対象がELBOであることを確認しておきましょう
- Reparameterization Trickの式 z = μ + σ ⊙ ε と、「サンプリングを微分可能な形に書き換えて勾配を通すための工夫」という目的はほぼ必須知識です
- 通常のオートエンコーダ(決定的・生成不可)とVAE(確率的・生成可能)の違い、GANとの学習方式の違い(尤度ベースか敵対的か)も対比されます
📚 まとめ
オートエンコーダは再構成誤差の最小化により圧縮表現を学ぶ教師なしモデルで、Denoising Autoencoderはノイズ付加によって頑健な特徴学習を促します。VAEは潜在変数を確率分布として扱う生成モデルであり、変分下限(再構成項とKL項)の最大化で学習し、Reparameterization Trickによってサンプリングを含む計算を微分可能にします。式の形と各構成要素の役割をセットで覚えておきましょう。
