制限付きボルツマンマシン
制限付きボルツマンマシン（RBM）は、データの生成過程を支配する確率分布を学習するために使用されるニューラルネットワークの一種です。RBMは二層のニューラルネットワークで構成され、一方の層が観測データを入力として受け取り、もう一方の層がそのデータから隠れ変数または特徴を学習します。このモデルは、特にエネルギーベースモデルの一形態とされ、学習はデータの統計的性質を捉えるようにニューロン間の接続重みが調整されることによって行われます。
RBMの特徴は、そのユニークな構造にあります。ネットワークは、可視層と隠れ層という2つの層から成り立っています。可視層はデータセットからの入力を受け取り、隠れ層は入力データから特徴を抽出します。RBMでは、同一層内のノード間の接続はなく、層間でのみノードが接続されるという「制限」があります。これにより、ネットワークは対称二部グラフとして定義され、可視層の各ノードが隠れ層の各ノードと対になって接続されています。
RBMは、次元削減、分類、協調的フィルタリング、特徴量学習、データマイニングなどに応用可能であり、教師あり学習や教師なし学習にも利用できます。2006年には、制限付きボルツマンマシンを多段に重ねた深層ニューラルネットワークが注目を集め、後のディープラーニングの基礎となりました。
RBMの学習プロセスには、確率的な要素が関わっています。各ノードは確率変数を扱い、エッジは重みを持っています。学習は、対数尤度関数を最大化する最尤推定に基づき行われ、サンプリングにはマルコフ連鎖モンテカルロ(MCMC)法やギブスサンプリング、コントラスティブ・ダイバージェンス(CD)法などが用いられます。
