このシリーズではE資格対策として、シラバスの内容を項目別にまとめています。
E資格まとめ
試験概要 ディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する。 １．応用数学 （１）確率・統計 （２）情報理論 ２．機…
つくもちブログ 〜Python&AIまとめ〜 GRUの概要
ゲート付きRNNの概要
リカレントニューラルネットワーク（RNN）は、時系列データの処理に使用されるニューラルネットワークの一種です。時系列データを順番に処理し、過去の情報を現在の入力に組み合わせることで、シーケンス全体のパターンを捉えることができます。
しかし、基本的なRNNは、長いシーケンスを処理する際に勾配消失または勾配爆発の問題が生じることがあります。この問題を解決するために、ゲート付きRNNが開発されました。
ゲート付きRNNは、情報の流れを制御するための特別な構造を持っており、それを「ゲート」と呼びます。ゲートは、各時点でどの情報を記憶し、どの情報を忘れるかを学習します。これにより、シーケンスの中で重要な情報を選択的に記憶することが可能となります。
ゲート付きRNNの主要な2つのタイプは、LSTM（Long Short-Term Memory）とGRU（Gated Recurrent Unit）です。
GRUの概要
GRUはリカレントニューラルネットワーク（RNN）の一種で、時系列データの処理に特化しています。通常のRNNと比較して、GRUはリセットゲートと更新ゲートと呼ばれる2つのゲートを持ちます。これらのゲートは、情報の流れを調整し、長期依存性の問題を解決します。
GRUにはリセットゲートと更新ゲートの2つのゲートがあります。これらのゲートは以下のような役割を果たします。
- リセットゲート: 過去の隠れ状態のどれだけを新しい隠れ状態の計算に使用するかを決定します。リセットゲートが0に近い場合、過去の情報は「忘れられ」、新しい情報に焦点が当てられます。
- 更新ゲート: 新しい隠れ状態の計算にどれだけの候補隠れ状態を採用するかを調整します。更新ゲートが1に近い場合、以前の隠れ状態が保持され、新しい情報の影響が最小限になります。
これらのゲートの役割により、GRUは時系列データの中の重要な特徴を捉え、過去の情報を適切に保持または忘却することが可能となります。通常のRNNは長期依存性の問題に苦しむことが知られています。この問題は、時系列データの中で過去の重要な情報が新しい情報によって上書きされてしまうというものです。GRUはゲート機構によってこの問題を効果的に解決します。LSTMと比較して、GRUはよりシンプルな構造を持っています。セル状態がなく、ゲートの数も少ないため、計算効率が高く、実装も容易です。
GRUは主に以下のような用途で使用されます。
- 時系列予測：株価、気象データなどの時系列データの分析。
- 自然言語処理：文章や文の生成、文章の意味解析など。
- 音声認識：音声信号の解析と変換。
GRUはその効率性とシンプルな構造から、さまざまなタスクで人気があります。LSTMと比べて計算量が少ないため、リソースが限られている場合に特に有用です。
LSTMとGRUの比較
LSTM（Long Short-Term Memory）とGRU（Gated Recurrent Unit）は共にリカレントニューラルネットワークの一種でありますが、そのアーキテクチャには明確な違いがあります。
- LSTM: LSTMは3つのゲート（入力ゲート、忘却ゲート、出力ゲート）を持ち、セル状態と隠れ状態の2つの状態を持っています。
- GRU: GRUは2つのゲート（リセットゲート、更新ゲート）を持ち、セル状態はありません。隠れ状態のみが存在します。
- 計算効率: GRUはゲートの数が少ないため、計算効率が高くなることが一般的です。モデルのサイズと訓練時間が重要な場合、GRUが好まれることがあります。
- 性能: LSTMとGRUの性能はタスクに依存します。一般に、LSTMは複雑なタスクでより良い性能を発揮することがある一方で、GRUはシンプルなタスクや計算リソースが限られている場合に有用です。
- 時系列予測: GRUはシンプルで効率的なため、リソースが限られた状況では有利です。一方、LSTMは複雑なパターンを捉える能力があるため、より複雑な予測に適している場合があります。
- 自然言語処理: 両者とも自然言語処理のタスクに使用されますが、タスクの特性に応じて適切なモデルを選択する必要があります。
選択のガイドラインとしては、まずGRUから始めることを検討し、必要に応じてLSTMに移行するというアプローチが効果的であることが多いです。GRUのシンプルな構造は、モデルの理解とチューニングを容易にし、迅速なプロトタイピングを可能にします。
GRUの実装
以下はGRU（Gated Recurrent Unit）クラスの解説です。このクラスは、リカレントニューラルネットワークの一部として使用されるGRU層を表現しています。
class GRU:
def __init__(self, Wx, Wh, b):
# Wx, Wh, bは、入力、隠れ状態、バイアスの重みパラメータ
self.params = [Wx, Wh, b]
# 各パラメータに対応する勾配をゼロで初期化
self.grads = [np.zeros_like(Wx), np.zeros_like(Wh), np.zeros_like(b)]
# 順伝播の値を一時的に保存するキャッシュ（逆伝播で使用）。
self.cache = None
def forward(self, x, h_prev):
# 重みとバイアスの取り出し
Wx, Wh, b = self.params
# 隠れ層のサイズを取得
H = Wh.shape[0]
# 3つのゲートの重みを分割
Wxz, Wxr, Wxh = Wx[:, :H], Wx[:, H:2 * H], Wx[:, 2 * H:]
Whz, Whr, Whh = Wh[:, :H], Wh[:, H:2 * H], Wh[:, 2 * H:]
bz, br, bh = b[:H], b[H:2 * H], b[2 * H:]
# 更新ゲートの計算
z = sigmoid(np.dot(x, Wxz) + np.dot(h_prev, Whz) + bz)
# リセットゲートの計算
r = sigmoid(np.dot(x, Wxr) + np.dot(h_prev, Whr) + br)
# 候補隠れ状態の計算
h_hat = np.tanh(np.dot(x, Wxh) + np.dot(r*h_prev, Whh) + bh)
# 次の隠れ状態の計算
h_next = (1-z) * h_prev + z * h_hat
# 順伝播の値をキャッシュに保存
self.cache = (x, h_prev, z, r, h_hat)
return h_next
def backward(self, dh_next):
# キャッシュから値を取得
Wx, Wh, b = self.params
H = Wh.shape[0]
Wxz, Wxr, Wxh = Wx[:, :H], Wx[:, H:2 * H], Wx[:, 2 * H:]
Whz, Whr, Whh = Wh[:, :H], Wh[:, H:2 * H], Wh[:, 2 * H:]
x, h_prev, z, r, h_hat = self.cache
# 候補隠れ状態への勾配の計算
dh_hat = dh_next * z
dh_prev = dh_next * (1-z)
# tanhに対する勾配の計算
dt = dh_hat * (1 - h_hat ** 2)
dbh = np.sum(dt, axis=0)
dWhh = np.dot((r * h_prev).T, dt)
dhr = np.dot(dt, Whh.T)
dWxh = np.dot(x.T, dt)
dx = np.dot(dt, Wxh.T)
dh_prev += r * dhr
# 更新ゲートに対する勾配の計算
dz = dh_next * h_hat - dh_next * h_prev
dt = dz * z * (1-z)
dbz = np.sum(dt, axis=0)
dWhz = np.dot(h_prev.T, dt)
dh_prev += np.dot(dt, Whz.T)
dWxz = np.dot(x.T, dt)
dx += np.dot(dt, Wxz.T)
# リセットゲートに対する勾配の計算
dr = dhr * h_prev
dt = dr * r * (1-r)
dbr = np.sum(dt, axis=0)
dWhr = np.dot(h_prev.T, dt)
dh_prev += np.dot(dt, Whr.T)
dWxr = np.dot(x.T, dt)
dx += np.dot(dt, Wxr.T)
# 勾配を結合
self.dWx = np.hstack((dWxz, dWxr, dWxh))
self.dWh = np.hstack((dWhz, dWhr, dWhh))
self.db = np.hstack((dbz, dbr, dbh))
# 勾配を更新
self.grads[0][...] = self.dWx
self.grads[1][...] = self.dWh
self.grads[2][...] = self.db
return dx, dh_prev
class TimeGRU:
def __init__(self, Wx, Wh, b, stateful=False):
# 重みとバイアスの初期化
self.params = [Wx, Wh, b]
# 各パラメータの勾配をゼロで初期化
self.grads = [np.zeros_like(Wx), np.zeros_like(Wh), np.zeros_like(b)]
# GRU層のリスト（各時刻に対応）
self.layers = None
# 隠れ状態とその勾配
self.h, self.dh = None, None
# 状態を保持するかどうかのフラグ
self.stateful = stateful
def forward(self, xs):
Wx, Wh, b = self.params
N, T, D = xs.shape # バッチサイズN, 時系列長T, 入力次元数D
H = Wh.shape[0] # 隠れ状態のサイズ
self.layers = [] # 各時刻のGRU層を保存
hs = np.empty((N, T, H), dtype='f') # 出力を保存
# 隠れ状態の初期化
if not self.stateful or self.h is None:
self.h = np.zeros((N, H), dtype='f')
# 時系列データを処理
for t in range(T):
layer = GRU(*self.params) # GRU層の作成
self.h = layer.forward(xs[:, t, :], self.h) # 順伝播
hs[:, t, :] = self.h # 出力を保存
self.layers.append(layer) # GRU層をリストに追加
return hs
def backward(self, dhs):
Wx, Wh, b = self.params
N, T, H = dhs.shape
D = Wx.shape[0]
dxs = np.empty((N, T, D), dtype='f') # 入力の勾配を保存
dh = 0 # 次の時刻からの勾配
grads = [0, 0, 0] # 各パラメータの勾配を保存
# 時系列データを逆順に処理
for t in reversed(range(T)):
layer = self.layers[t]
dx, dh = layer.backward(dhs[:, t, :] + dh) # 逆伝播
dxs[:, t, :] = dx
# 勾配を累積
for i, grad in enumerate(layer.grads):
grads[i] += grad
# 勾配を更新
for i, grad in enumerate(grads):
self.grads[i][...] = grad
self.dh = dh
return dxs
def set_state(self, h):
# 隠れ状態の設定
self.h = h
def reset_state(self):
# 隠れ状態のリセット
self.h = None
まとめ
最後までご覧いただきありがとうございました。
