音声をニューラルネットワークで扱うための前処理、すなわち音のデジタル化から周波数分析、特徴量抽出までの流れを学ぶ項目です。音声認識・音声合成モデルの入力がどう作られるかの土台になります。
※この項目はシラバス2026では出題対象外(オプション)ですが、前提知識として重要なため解説します。
📖 概要
音は空気の圧力変化という連続的な(アナログの)信号です。これを計算機で扱うには、一定の時間間隔で値を取り出すサンプリング(標本化)によってデジタル信号に変換します。このとき、どれくらい細かくサンプリングすれば元の信号を失わずに済むかを保証するのがサンプリング定理であり、ナイキスト周波数という概念が鍵になります。
デジタル化した音声波形は時間領域の信号ですが、音声の性質(音の高さや音色)は周波数成分に現れます。信号を周波数成分に分解するのがフーリエ変換で、実装上は高速フーリエ変換が使われます。ただし音声の周波数成分は時々刻々変化するため、信号を短い区間に切り出して区間ごとにフーリエ変換する短時間フーリエ変換を行い、時間×周波数の2次元表現(スペクトログラム)を得ます。切り出しの際には窓関数を掛けて区間の端の不連続を抑えます。
さらに、人間の聴覚は低い周波数の違いには敏感で高い周波数の違いには鈍感という非線形な特性を持ちます。これを反映した周波数軸がメル尺度で、スペクトログラムをメル尺度に変換したメルスペクトログラムや、そこからケプストラムの考え方で抽出したMFCCが、音声認識などの特徴量として長く使われてきました。
🔍 キーワード解説
サンプリング定理とナイキスト周波数
サンプリング定理は、「信号に含まれる最高周波数の2倍より高いサンプリング周波数で標本化すれば、元の連続信号を完全に復元できる」という定理です。サンプリング周波数の半分の周波数をナイキスト周波数と呼び、これが記録できる周波数の上限になります。ナイキスト周波数を超える成分が含まれたままサンプリングすると、本来存在しない低い周波数成分として現れるエイリアシング(折り返し雑音)が生じるため、通常はサンプリング前にローパスフィルタで高周波成分を除去します。
高速フーリエ変換と短時間フーリエ変換・窓関数
離散フーリエ変換(DFT)は、離散信号を周波数成分の重ね合わせに分解する変換で、高速フーリエ変換(FFT)はDFTを高速に計算するアルゴリズムです。音声は時間とともに内容が変わる非定常信号なので、信号全体を一度に変換しても「いつどの周波数が鳴っていたか」が分かりません。そこで短時間フーリエ変換(STFT)では、信号を数十ミリ秒程度の短いフレームに区切り、フレームを少しずつずらしながら各フレームにFFTを適用します。得られる時間×周波数の強度の行列がスペクトログラムです。フレームの切り出しでは、区間の端を滑らかに減衰させる窓関数(ハミング窓、ハニング窓など)を掛けます。単純に矩形で切り出すと端の不連続によって本来ない周波数成分(スペクトル漏れ)が生じるため、これを軽減する役割があります。窓の長さには、長くすると周波数分解能が上がり時間分解能が下がるというトレードオフがあります。
メルスペクトログラム
メル尺度は、人間が知覚する音の高さの間隔が等しくなるように定めた周波数の尺度で、低周波域では細かく、高周波域では粗くなる対数的な特性を持ちます。メルスペクトログラムは、STFTで得たスペクトログラムに、メル尺度上で等間隔に並べたメルフィルタバンクを適用して周波数軸を圧縮したものです。人間の聴覚特性に沿った少ない次元で音声の特徴を表せるため、深層学習による音声認識や音声合成の入力・中間表現として広く使われています。
ケプストラムとMFCC
ケプストラムは、スペクトルの対数をさらにフーリエ変換(実用上は逆変換や離散コサイン変換)して得られる表現です。音声のスペクトルは、声帯の振動に由来する細かい周期構造と、声道の形に由来する滑らかな包絡の積として近似でき、対数を取ると両者が和に分離されるため、ケプストラム領域で声道特性(音韻の情報)と音源特性(声の高さ)を分けて取り出せます。MFCC(メル周波数ケプストラム係数)は、メルフィルタバンク出力の対数に離散コサイン変換を適用し、低次の係数を取り出した特徴量です。スペクトル包絡をコンパクトに表現でき、深層学習以前から音声認識の標準的な特徴量として用いられてきました。
📝 試験でのポイント
- サンプリング定理の数値関係(サンプリング周波数はもとの信号の最高周波数の2倍より大きく、ナイキスト周波数=サンプリング周波数の1/2)は計算問題として問われ得ます
- 窓関数の目的(切り出し端の不連続によるスペクトル漏れの軽減)を選ばせる問題に注意しましょう
- STFTの窓長のトレードオフ(時間分解能と周波数分解能は両立しない)は定番の論点です
- 音声特徴量の生成手順「波形→STFT→スペクトログラム→メルフィルタバンク→メルスペクトログラム→対数+DCT→MFCC」の順序を正しく並べられるようにしましょう
- メル尺度が人間の聴覚特性(低域に敏感・高域に鈍感)に基づく点を押さえましょう
📚 まとめ
音声処理の前処理は、サンプリング定理に従ったデジタル化に始まり、窓関数を用いた短時間フーリエ変換で時間×周波数のスペクトログラムを得るという流れです。人間の聴覚特性を反映したメルスペクトログラムや、ケプストラム分析に基づくMFCCは、音声認識・音声合成の代表的な特徴量です。処理の順序と各段階の目的をセットで整理しておきましょう。
