【E資格】第14回:AffineレイヤとSoftmaxレイヤ【ゼロから作るDeep Learning】

# Affineクラスを定義します
class Affine:
    # インスタンス化時に重みWとバイアスbを初期化します
    def __init__(self, W, b):
        self.W = W
        self.b = b
        
        # 入力x、元のxの形状、勾配dW、勾配dbを初期化します
        self.x = None
        self.original_x_shape = None
        self.dW = None
        self.db = None

    # 順伝播を実行するforwardメソッドを定義します
    def forward(self, x):
        # 入力xの形状を記憶します
        self.original_x_shape = x.shape
        # 入力xを2次元にリシェイプします（バッチサイズ、特徴量数）
        x = x.reshape(x.shape[0], -1)
        # リシェイプしたxをインスタンス変数に格納します
        self.x = x

        # 順伝播の計算を実行し、出力を返します
        out = np.dot(self.x, self.W) + self.b

        return out

    # 逆伝播を実行するbackwardメソッドを定義します
    def backward(self, dout):
        # 逆伝播の計算を実行し、dxを求めます
        dx = np.dot(dout, self.W.T)
        # 重みの勾配dWを求めます
        self.dW = np.dot(self.x.T, dout)
        # バイアスの勾配dbを求めます
        self.db = np.sum(dout, axis=0)
        
        # dxを元のxの形状にリシェイプし、返します
        dx = dx.reshape(*self.original_x_shape)  
        return dx

import numpy as np

# 入力データ
x = np.array([[1.0, 0.5], [-0.4, 0.3]])

# 重み行列 W とバイアスベクトル b
W = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
b = np.array([0.1, 0.2, 0.3])

# Affine クラスのインスタンス化
affine = Affine(W, b)

# 順伝播
out = affine.forward(x)
print("Forward output:")
print(out)

# 出力の勾配（例として適当な値を使用）
dout = np.array([[1.0, 0.5, -0.2], [0.4, -0.1, 0.2]])

# 逆伝播
dx = affine.backward(dout)
print("Backward dx:")
print(dx)
print("Backward dW:")
print(affine.dW)
print("Backward db:")
print(affine.db)

Forward output:
[[0.3  0.7  1.1 ]
 [0.12 0.2  0.28]]
Backward dx:
[[0.15 0.28]
 [0.11 0.16]]
Backward dW:
[[ 0.84  0.54 -0.28]
 [ 0.62  0.22 -0.04]]
Backward db:
[1.4 0.4 0. ]

# SoftmaxWithLoss クラス: ソフトマックス関数と損失関数（交差エントロピー誤差）を組み合わせたクラス
class SoftmaxWithLoss:
    # コンストラクタ
    def __init__(self):
        self.loss = None    # 損失値
        self.y = None       # ソフトマックス関数の出力
        self.t = None       # 教師データ（正解ラベル）

    # 順伝播メソッド
    def forward(self, x, t):
        self.t = t                      # 教師データをセット
        self.y = softmax(x)             # ソフトマックス関数で計算
        self.loss = cross_entropy_error(self.y, self.t)  # 交差エントロピー誤差で損失を計算
        
        return self.loss                # 損失値を返す

    # 逆伝播メソッド
    def backward(self, dout=1):
        batch_size = self.t.shape[0]    # バッチサイズを取得
        # 教師データがone-hot-vectorの場合
        if self.t.size == self.y.size:  
            dx = (self.y - self.t) / batch_size
        else:
            dx = self.y.copy()
            dx[np.arange(batch_size), self.t] -= 1
            dx = dx / batch_size
        
        return dx  # 勾配を返す