【E資格】第5回:ニューラルネットワークの実装【ゼロから作るDeep Learning】

このシリーズではE資格対策として、書籍「ゼロから作るDeep Learning」を参考に学習に役立つ情報をまとめています。

<参考書籍>

1. ニューラルネットワークの実装
1.1. 3層のニューラルネットワークを実装
1.2. ニューラルネットワークの実装手順
2. ニューラルネットワークにおける出力層の設計
2.1. 恒等関数とソフトマックス関数
2.2. ソフトマックス関数の実装上の注意
3. ソフトマックス関数の特徴
4. 出力層のニューロン数
5. まとめ

ニューラルネットワークの実装

3層のニューラルネットワークを実装

このネットワークは、入力層、隠れ層、および出力層の3つの層から構成されます。各層間の接続は、重みとバイアスというパラメータによって特徴付けられます。

まず、シグモイド関数と恒等関数を定義します。シグモイド関数は、活性化関数として広く使用されており、値の範囲を0から1の間に収めることができます。一方、恒等関数は、入力された値をそのまま返す関数です。

次に、3層ニューラルネットワークの重みとバイアスを初期化する関数を定義します。この関数は、各層の重みとバイアスを格納する辞書を返します。重みとバイアスは、ネットワークの学習過程で最適化されるパラメータです。

順伝播とは、ニューラルネットワークに入力データを与え、出力を計算するプロセスです。順伝播の計算には、定義済みのシグモイド関数や恒等関数を使用します。具体的には、各層の出力を計算し、それを次の層の入力として使用していきます。最終的に出力層で得られた値が、ネットワークの出力となります。

テストとして、ネットワークを初期化し、入力データを与えて順伝播の計算を行い、出力を表示します。これにより、3層ニューラルネットワークが正しく機能していることを確認できます。

今回の例では、簡単な3層ニューラルネットワークを実装しましたが、層の数やノードの数を変更することで、さまざまなニューラルネットワークを構築することができます。また、活性化関数を変更することで、異なる特性を持つニューラルネットワークを作成することも可能です。これらの技術を活用して、実際のデータを使用してモデルを学習させ、予測や分類タスクに取り組むこと

ができます。

ニューラルネットワークの実装手順

ニューラルネットワークを実際の問題に適用する際には、次のステップが必要です。

データの前処理：ニューラルネットワークに適した形式にデータを変換する必要があります。例えば、データの正規化や欠損値の補完などが含まれます。
ネットワークの構造設計：問題に適したニューラルネットワークの構造を設計します。これには、層の数やノードの数、活性化関数の選択が含まれます。
損失関数の定義：ネットワークが最小化すべき損失関数を定義します。損失関数は、ネットワークの出力と目標値との差を評価する指標です。
最適化手法の選択：重みとバイアスを更新するための最適化手法を選択します。例えば、確率的勾配降下法(SGD)やAdamなどがあります。
学習：データを用いてネットワークのパラメータ（重みとバイアス）を最適化するプロセスです。学習率やエポック数などのハイパーパラメータを設定して、最適化手法を使用して損失関数を最小化します。
評価：学習したネットワークの性能を評価します。通常は、トレーニングデータとは別のテストデータを使用して、ネットワークの汎化性能を測定します。
ハイパーパラメータチューニング：ネットワークの性能を向上させるために、ハイパーパラメータの調整を行います。グリッドサーチやランダムサーチなどの手法があります。

これらのステップを繰り返すことで、問題に適したニューラルネットワークの設計と学習が行われます。最終的に得られたネットワークは、予測や分類などのタスクに使用できます。ニューラルネットワークは、その柔軟性と強力な表現力により、多くの実用的な問題に対して高い性能を発揮することができます。

import numpy as np
import matplotlib.pyplot as plt

# シグモイド関数の定義
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 恒等関数の定義
def identity_function(x):
    return x

# 3層ニューラルネットワークの重みとバイアスの初期化
def init_network():
    network = {}
    network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])  # 1層目の重み
    network['b1'] = np.array([0.1, 0.2, 0.3])  # 1層目のバイアス
    network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])  # 2層目の重み
    network['b2'] = np.array([0.1, 0.2])  # 2層目のバイアス
    network['W3'] = np.array([[0.1, 0.3], [0.2, 0.4]])  # 3層目の重み
    network['b3'] = np.array([0.1, 0.2])  # 3層目のバイアス

    return network

# 順伝播の計算
def forward(network, x):
    W1, W2, W3 = network['W1'], network['W2'], network['W3']  # 重み
    b1, b2, b3 = network['b1'], network['b2'], network['b3']  # バイアス

    a1 = np.dot(x, W1) + b1  # 1層目の総入力
    z1 = sigmoid(a1)  # 1層目の出力
    a2 = np.dot(z1, W2) + b2  # 2層目の総入力
    z2 = sigmoid(a2)  # 2層目の出力
    a3 = np.dot(z2, W3) + b3  # 3層目の総入力
    y = identity_function(a3)  # 3層目の出力

    return y

# テスト
network = init_network()  # ネットワークの初期化
x = np.array([1.0, 0.5])  # 入力
y = forward(network, x)  # 順伝播の計算
print(y)  # 出力

実行結果:

[0.31682708 0.69627909]

ニューラルネットワークにおける出力層の設計

ニューラルネットワークにおける出力層は、ネットワーク全体の最後の層であり、その目的は、学習や推論の結果を具体的な予測値やクラスラベルに変換することです。出力層の設計は、主にタスクの種類（回帰、分類、生成モデルなど）とデータセットの特性によって決まります。以下に、出力層の設計に関連する主要な要素をいくつか説明します。

活性化関数: 出力層には、通常、非線形性を導入するための活性化関数が使用されます。活性化関数の選択は、解決する問題のタイプに応じて異なります。回帰タスクでは、恒等関数（変換しない）やReLU関数が使用されることがあります。二値分類タスクでは、シグモイド関数が適しており、多クラス分類タスクでは、ソフトマックス関数がよく使用されます。
出力ユニット数: 出力層のユニット数は、通常、タスクの目的に応じて決定されます。回帰タスクの場合、出力ユニットは1つで、予測される連続値を表します。二値分類タスクでは、出力ユニットは1つ（シグモイド活性化を使用）または2つ（ソフトマックス活性化を使用）です。多クラス分類では、出力ユニットの数はクラス数と同じになります。

恒等関数とソフトマックス関数

恒等関数とソフトマックス関数は、ニューラルネットワークの出力層でよく使用される活性化関数です。それぞれの特徴と使用目的を以下に説明します。

恒等関数（Identity function）:

恒等関数は、入力された値をそのまま出力する線形関数です。数学的には、恒等関数は f(x) = x と表されます。恒等関数は、主に回帰タスクにおいて使用されます。回帰タスクでは、モデルの出力が連続値であり、出力範囲に制約がないため、恒等関数が適切です。恒等関数は非線形性を持たないため、通常は出力層でのみ使用されます。

ソフトマックス関数（Softmax function）:

ソフトマックス関数は、多クラス分類タスクにおいて使用される非線形関数です。ソフトマックス関数は、ネットワークの出力層の各ユニットの出力を、確率分布に変換します。つまり、各クラスに属する確率の合計が1になります。数学的には、ソフトマックス関数は以下の式で表されます。

$$Softmax(x_i) = exp(x_i) / Σ exp(x_j)$$

ソフトマックス関数は、モデルが各クラスに対する確信度を表現する確率を出力することを可能にします。このため、多クラス分類タスクにおいて、ネットワークの予測性能を向上させることができます。

ソフトマックス関数の実装上の注意

ソフトマックス関数を実装する際には、いくつかの注意点があります。特に、数値的な安定性を確保するために注意が必要です。以下に、ソフトマックス関数の実装上の注意点をいくつか説明します。

オーバーフローとアンダーフローの問題: ソフトマックス関数では、指数関数を使用しています。指数関数は入力が大きくなると急速に大きな値になり、オーバーフロー（浮動小数点数の最大値を超える）のリスクがあります。また、入力が非常に小さい場合、指数関数はアンダーフロー（浮動小数点数の最小値未満になる）のリスクがあります。
数値的な安定性の確保: オーバーフローとアンダーフローの問題に対処するために、ソフトマックス関数の入力から定数値を引くことが一般的です。この定数値は、入力値の最大値とすることが多いです。この操作により、入力値が適切な範囲に収まるようになり、数値的な安定性が向上します。
実装の効率: ソフトマックス関数を効率的に計算するために、ベクトル化やブロードキャスティングを使用することが一般的です。これらのテクニックにより、ループを回避し、計算速度を向上させることができます。また、GPUや並列化を活用することで、さらに高速化が可能です。
ロス関数との組み合わせ: ソフトマックス関数は、多クラス分類タスクでよく使用される交差エントロピー損失と組み合わせて使用されます。両者を組み合わせる際には、ソフトマックス関数と交差エントロピー損失の計算を一緒に行うことで、計算効率と数値的安定性を向上させることができます。この組み合わせは、一般に「ソフトマックス交差エントロピー損失」と呼ばれます。

これらの注意点に留意しながら、ソフトマックス関数を実装することで、ニューラルネットワークの出力層で効果的に多クラス分類を実行することができます。数値的な安定性や効率を確保するために、以下のような手順でソフトマックス関数を実装することが推奨されます。

入力の最大値を減算: 入力ベクトルから最大値を減算し、数値的な安定性を確保します。この操作により、指数関数のオーバーフローやアンダーフローのリスクを軽減できます。
指数関数の適用: 減算された入力ベクトルに対して、要素ごとに指数関数を適用します。この操作により、ソフトマックス関数の非線形性が導入されます。
正規化: 指数関数が適用されたベクトルを、その総和で除算し、確率分布に変換します。この操作により、出力ベクトルの各要素が0から1の範囲に収まり、合計が1になります。
効率的な計算: 計算効率を向上させるために、ベクトル化やブロードキャスティングを使用して、ループを回避します。さらに、GPUや並列化を活用して、計算速度を向上させることができます。
ソフトマックス交差エントロピー損失: ソフトマックス関数と交差エントロピー損失を組み合わせて計算することで、計算効率と数値的安定性を向上させることができます。

ソフトマックス関数の特徴

ソフトマックス関数は、ニューラルネットワークの出力層で多クラス分類タスクを扱うために広く使用される活性化関数です。以下に、ソフトマックス関数の主な特徴を挙げます。

確率分布の生成: ソフトマックス関数は、各クラスに対する予測確率を生成します。出力される確率分布は、各要素が0から1の範囲で、合計が1になるため、予測確率として解釈することができます。
多クラス分類に適用: ソフトマックス関数は、多クラス分類問題に適しています。出力層のユニット数をクラス数に等しく設定することで、各クラスに対する確率を得ることができます。
非線形性: ソフトマックス関数は非線形関数であり、ニューラルネットワークの表現力を高める役割があります。ただし、通常は出力層でのみ使用され、隠れ層では他の非線形活性化関数（ReLU、tanh、sigmoidなど）が使用されます。
指数関数の使用: ソフトマックス関数は、指数関数を用いて計算されます。このため、計算過程でオーバーフローまたはアンダーフローが発生する可能性があります。しかし、入力から定数値を引くことで、数値的安定性を確保することができます。
交差エントロピー損失との相性: ソフトマックス関数は、多クラス分類問題でよく使用される交差エントロピー損失と相性が良いです。ソフトマックス関数と交差エントロピー損失を組み合わせることで、効率的かつ数値的に安定な計算が可能になります。
最大値を強調: ソフトマックス関数は、入力ベクトルの最大値に対応する要素を強調します。このため、ニューラルネットワークが最も確信度の高いクラスに重点を置くことができます。

出力層のニューロン数

出力層のニューロン数は、解決しようとするタスクの性質によって異なります。以下に、主なタスクとそれに対応する出力層のニューロン数について説明します。

二値分類: タスクが二値分類の場合、出力層のニューロン数は1または2になります。ニューロン数が1の場合、活性化関数としてシグモイド関数が使用され、出力は0から1の範囲の確率値になります。ニューロン数が2の場合、活性化関数としてソフトマックス関数が使用され、2つのクラスそれぞれに対する確率を得ることができます。
多クラス分類: タスクが多クラス分類の場合、出力層のニューロン数はクラス数に等しく設定されます。この場合、活性化関数としてソフトマックス関数が使用され、各クラスに対する確率分布を得ることができます。
回帰: タスクが回帰の場合、出力層のニューロン数は予測する対象の数に等しく設定されます。例えば、単一の連続値を予測する場合、ニューロン数は1になります。活性化関数として恒等関数が使用されることが一般的で、出力は連続値となります。
多ラベル分類: タスクが多ラベル分類の場合、出力層のニューロン数はラベル数に等しく設定されます。この場合、活性化関数としてシグモイド関数が使用され、各ラベルが独立して0から1の範囲の確率値を出力します。

出力層のニューロン数はタスクの種類や予測する対象の数によって決まります。適切なニューロン数と活性化関数を選択することで、ニューラルネットワークは各タスクに対して効果的な予測を行うことができます。

まとめ

最後までご覧いただきありがとうございました。