E資格
【E資格】正規化を徹底解説|Batch・Layer・Instance・Group Normalizationの違い

ネットワーク内部の活性を平均0・分散1に整える正規化層は、深いモデルの学習を安定・高速化する基本部品です。Batch・Layer・Instance・Groupの4種類は「どの軸で統計量を計算するか」の違いで整理できます。

続きを読む
E資格
【E資格】データ集合の拡張を徹底解説|画像・自然言語・音声のデータ拡張とMixUp

データ拡張(Data Augmentation)は、手元の訓練データに変換を加えて疑似的にデータ量を増やし、過剰適合を防いで汎化性能を高める技術です。画像・自然言語・音声それぞれの代表的な手法を整理します。

続きを読む
E資格
【E資格】Transformerを徹底解説|Self-AttentionからMulti-Head Attentionまで

Transformerは、再帰構造を使わずアテンション機構だけで系列を処理するモデルです。BERTやGPT、Vision Transformerなど現代の主要モデルの土台であり、E資格でも最重要級の項目です。

続きを読む
E資格
【E資格】系列変換を徹底解説|エンコーダ・デコーダ、seq2seq、アテンション機構

機械翻訳のように「系列を入力して別の系列を出力する」タスクを解く枠組みが系列変換です。エンコーダ・デコーダ構造とseq2seq、そしてTransformerへとつながるアテンション機構の基礎を学ぶ、E資格でも重要度の高い項目です。

続きを読む
E資格
【E資格】LSTMとGRUのゲート機構|忘却・入力・出力ゲートとメモリーセルを解説

単純なRNNが抱える勾配消失問題を、情報の流れを制御する「ゲート」で解決するLSTMとGRUを学ぶ項目です。各ゲートの役割とメモリーセルの働き、LSTMとGRUの構造の違いを整理します。

続きを読む