このシリーズではE資格対策として、シラバスの内容を項目別にまとめています。
E資格まとめ
試験概要 ディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する。 １．応用数学 （１）確率・統計 （２）情報理論 ２．機…
つくもちブログ 〜Python&AIまとめ〜 CTC
CTCの概要
CTC（Connectionist Temporal Classification）は2006年にGravesらによって提案された音声認識のモデルで、隠れマルコフモデル（HMM）を使わずにディープニューラルネットワーク（DNN）だけで音響モデルを構築するEnd-to-Endの手法として初めて登場しました。従来は音響モデルを3つのモジュールに分割していたのに対し、CTCではこれを一つの連続したプロセスに統合しました。DNNの出力からラベル列の確率への変換を省略することで、より効率的で簡潔なモデルを実現しました。この新しいアプローチは、音声認識のフレームワーク全体を一新する革新的な進展をもたらしました。
このモデルの中で特に注目される発明が、ブランク（blank）と呼ばれるラベルの導入です。このブランクラベルは、時間的なズレを吸収し、音声認識の精度を高めるために使用されます。さらに、前向き・後ろ向きアルゴリズムを用いた学習プロセスは、モデルの性能向上に大いに貢献しています。
CTCの特性
- アライメントの自動化
CTCは各フレームに対応する音素や文字の正解ラベルを用意する必要がないため、アライメントの問題を自動的に解消します。これによって、手動でのアライメント作業が不要となり、学習の手間が減ります。 - 任意のRNNに適用可能
CTCは、特定のRNN構造に限らず、多様なRNNアーキテクチャに適用することができます。これにより、モデルの設計の自由度が高まります。 - 損失関数
学習時には、ラベル系列と音声系列の対数尤度の符号を反転させたCTC損失関数を最小化します。この損失関数は、ネットワークの訓練において重要な役割を果たします。
CTCの動作
拡張ラベル系列
ラベル系列の各文字の前後に特別なブランク記号「_」を配置することで、拡張ラベル系列を作成します。
パスから文字列への変換
特定のルールに基づき、拡張ラベルから最終的な文字列への変換を行います。これにより、連続した同じ文字は1つにまとめられ、ブランクが除外されます。
事後確率と勾配の計算
ラベル系列の事後確率と損失関数の勾配を計算します。これらは、ネットワークの訓練と更新に使用されます。
前向き・後ろ向きアルゴリズム
前向きアルゴリズム
前向きアルゴリズムは、系列の最初から最後までの方向で計算を行い、ある時点までに特定の状態に到達する確率を求めます。具体的には、各時点での観測データと、前の状態から次の状態への遷移確率を用いて、その時点での各状態の確率を計算します。
後ろ向きアルゴリズム
後ろ向きアルゴリズムは、前向きアルゴリズムとは逆に、系列の最後から最初へと計算を行います。このアルゴリズムでは、特定の状態から系列の最後までの確率を計算します。後ろ向きアルゴリズムも、前向きアルゴリズムと同様に、観測データと遷移確率を使用します。
前向き・後ろ向きアルゴリズムの組み合わせ
前向きアルゴリズムと後ろ向きアルゴリズムを組み合わせることで、任意の時点での特定の状態の確率を計算することができます。これにより、隠れた状態系列の最も確からしい推定を行うことが可能となります。この組み合わせは、隠れマルコフモデルのパラメータ推定などにも用いられ、Baum-Welchアルゴリズムなどの学習プロセスの一部として採用されています。
最終的な予測時には、「Best Path Decoding」と呼ばれる方法で、各時刻で最も確率の高いラベルを選び、それらをつなげて予測結果を生成します。
まとめ
最後までご覧いただきありがとうございました。
