試験概要
ディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する。
１．応用数学
（１）確率・統計
（２）情報理論
２．機械学習
（１）機械学習の基礎
- 教師あり学習
- 教師なし学習
- 半教師あり学習
- 転移学習
- 能力、過剰適合、過少適合
- 次元の呪い
- ハイパーパラメータ
- 学習データ、検証データ、テストデータ
- ホールドアウト法
- k-分割交差検証法
- 最尤推定（条件付き対数尤度と平均二乗誤差）
（２）実用的な方法論
（３）強化学習
３．深層学習
（１）順伝播型ネットワーク
- 全結合型ニューラルネットワーク
- 損失関数
- 最尤推定による条件付き分布の学習
- 活性化関数（シグモイド関数、Softmax関数、ReLU、Leaky ReLU、tanh）
- 微積分の連鎖率
- 誤差逆伝播のための連鎖律の再起的な適用
- シンボル間の微分
- 一般的な誤差逆伝播法
（２）深層モデルのための正則化
- パラメータノルムペナルティー（L2パラメータ正則化、L1正則化）
- データ集合の拡張（Random Flip・Erase・Crop・Contrast・Brightness・Rotate, MixUp）
- ノイズに対する頑健性（出力目標へのノイズ注入）
- マルチタスク学習
- 早期終了
- スパース表現
- バギングやその他のアンサンブル手法
- ドロップアウト
（３）深層モデルのための最適化
- バッチアルゴリズムとミニバッチアルゴリズム
- 確率的勾配降下法
- モメンタム
- パラメータの初期化戦略
- AdaGrad
- RMSrop
- Adam
- バッチ正規化
- Layer正規化
- Instance正規化
- 教師あり事前学習
（４）畳み込みネットワーク
（５）回帰結合型ニューラルネットワークと再帰的ネットワーク
- 回帰結合型のニューラルネットワーク
- 双方向 RNN
- Encoder-Decoder と Sequence-to-Sequence
- 長期依存性の課題
- LSTM
- GRU
- 長期依存性の最適化（勾配のクリッピング）
- Attention
（６）生成モデル
- 識別モデルと生成モデル
- オートエンコーダ
- VAE
- VQ-VAE
- GAN
- DCGAN
- Conditionnal GAN
（７）深層強化学習
（８）グラフニューラルネットワーク
（９）深層学習の適用方法
- GoogLeNet
- ResNetと WideResNet
- DenseNet
- EfficientNet
- FasterR-CNN
- YOLO
- SSD
- MaskRーCNN
- FCOS
- WordEmbedding
- Transformer
- BERT
- GPT-n
- WaveNet
- サンプリング、短時間フーリエ変換、メル尺度
- CTC
- pix2pix
（１０）距離学習（Metric Learning）
（１１）メタ学習（Meta Learning）
（１２）深層学習の説明性
４．開発・運用環境
（１）ミドルウェア
- 深層学習ライブラリ
（２）エッジコンピューティング
- 軽量なモデル（MobileNet）
- プルーニング
- 蒸留
- 量子化
（３）分散処理
- モデル並列
- データ並列
（４）アクセラレータ
- GPU
（５）環境構築
- コンテナ型仮想化（Docker）