深層信念ネットワーク
深層信念ネットワークは、ジェフリー・ヒントンによって2006年に提唱された機械学習の手法です。この手法は、複数層のニューラルネットワークを使用し、初めに教師なし学習を用いてデータの特徴をキャッチします。具体的には、制限付きボルツマンマシン(Restricted Boltzmann Machine、RBM)という確率的な生成モデルを使用して、オートエンコーダに相当する層を事前学習します。その後、事前学習した制限付きボルツマンマシンを全て結合し、複数層のネットワークをベースとして、ソフトマックス層などの追加の層を積み重ねます。これによって、分類問題や回帰問題などの教師あり学習タスクに適応させることができます。
深層信念ネットワークの一つの大きな特徴は、深いネットワークの訓練を効率的に行える点です。特に、大量のラベル付きデータが不足している場合に有用です。しかし、近年では、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、トランスフォーマーなどのより高度な手法が普及しており、制限付きボルツマンマシンはやや古い手法とも考えられています。
深層信念ネットワークは、深層ニューラルネットワークの学習を初めて可能にした重要なブレイクスルーとされ、現在の深層学習の基礎を築いたと言えます。
