【G検定】ニューラルネットワークの概要と歴史

ニューラルネットワークの概要

ニューラル ネットワークは、人間の脳の構造と機能に着想を得た一種の機械学習モデルです。これは、レイヤーに編成された人工ニューロンと呼ばれる相互接続された多数の処理ノードで構成されています。ニューラル ネットワークの目標は、ニューロン間の接続の強度を調整することにより、入力データに基づいて予測を行うことを学習することです。

ニューラル ネットワーク内の各ニューロンは、他のいくつかのニューロンから入力を受け取り、この入力に対して簡単な計算を実行し、その結果を次の層の 1 つ以上の他のニューロンに渡します。ニューロンによって実行される計算は、通常、その入力の加重合計であり、その後にモデルに非線形性を導入する非線形活性化関数が続きます。

ニューロン間の接続の重みは、トレーニング プロセス中に学習されるパラメーターです。トレーニング中、ネットワークには多数の入力/出力ペアの例が提示され、ネットワークの予測と実際の出力との間の誤差を最小限に抑えるために重みが更新されます。このプロセスは、トレーニング データに対するネットワークのパフォーマンスが満足できるものになるまで続きます。満足できる時点で、ネットワークを使用して新しい目に見えないデータを予測できます。

ニューラル ネットワークにはさまざまな種類があり、それぞれに長所と短所があります。最も一般的に使用されるタイプには、フィードフォワード ネットワーク、リカレント ネットワーク、畳み込みニューラル ネットワークなどがあります。使用するネットワークのタイプの選択は、入力データの構造、行われる予測のタイプ、およびモデルの目的のプロパティによって異なります。

ニューラルネットワークの歴史

ニューラル ネットワークの歴史は、研究者が人間の認知の生物学的基盤を初めて研究し始めた 1940 年代にさかのぼります。1950 年代と 1960 年代に、パーセプトロンやアダリンなどの初期のニューラル ネットワーク モデルが開発され、人工ニューラル ネットワークの始まりが示されました。

しかし、ニューラル ネットワークの研究の進歩は、バックプロパゲーション アルゴリズムが開発された 1980 年代までは遅々として進まず、多層ニューラル ネットワークのより効率的なトレーニングが可能になりました。これにより、ニューラル ネットワークへの関心が復活し、フィードフォワード ニューラル ネットワークやリカレント ニューラル ネットワークなどの一般的なモデルが開発されました。

1990 年代、ニューラル ネットワークは、音声認識、画像認識、自然言語処理など、幅広いアプリケーションに適用されました。しかし、計算能力の限界と大規模なデータセットの利用可能性により、2000 年代初頭にニューラル ネットワークへの関心が低下しました。

1940 年代〜

生物学的ニューロンの動作をモデル化する方法として、 Warren McCulloch と Walter Pitts によって最初に提案されました。彼らは、入力を受け取って処理し、出力を生成できる、しきい値論理ユニットと呼ばれるニューロンの単純なモデルを作成しました。

1950 年代〜

1958 年に心理学者の Frank Rosenblatt によって、人工ニューラル ネットワークの一種である単純なパーセプトロンが発表された。人工ニューロンの単一層で構成され、各ニューロンは一連の入力から入力を受け取り、加重合計に基づいてバイナリ出力を生成します。それらの入力の。重みは、パーセプトロン学習と呼ばれるプロセスを通じて学習されます。このプロセスでは、パーセプトロンに一連のトレーニング例が提示され、その重みを調整して、予測された出力と目的の出力の差を最小限に抑えます。単純なパーセプトロンは線形分離可能な問題に限定されており、多層パーセプトロンや畳み込みニューラル ネットワークなどのより強力なニューラル ネットワーク アーキテクチャに大きく取って代わられています。

1960 年代〜

1960 年代のニューラル ネットワークの研究は、人工ニューラル ネットワークの基礎理論と数学的基礎の開発に重点が置かれたことで特徴付けられました。人工ニューラル ネットワークは、複雑なシステムをモデル化し、情報を処理するための有望なアプローチと見なされていました。この時期の主な貢献には、Frank Rosenblatt による Perceptron アルゴリズムの開発、Paul Werbos による Backpropagation アルゴリズムの導入、例から学習して一般化するニューラル ネットワークの能力の実証が含まれます。

ネオコグニトロン

日本では1980年に福島邦彦らによって、人間の視覚系の構造と機能に基づくネオコグニトロンというニューラルネットワークが考案されました。

ネオコグニトロンは、視覚パターンを分析および認識する相互接続された処理ユニットのレイヤーで構成されています。このネットワークは、「受容野」と呼ばれるメカニズムを使用して、視覚野が人間の脳内で情報を処理する方法と同様に、さまざまな抽象化レベルで特徴を検出および分類します。

1980 年代に福島が発明したネオコグニトロンは、ディープラーニングの発展に大きく貢献し、画像や音声認識、自然言語処理、ロボット工学などのさまざまなアプリケーションで使用されてきました。