今回の記事ではシラバスをもとにE資格の試験内容について紹介します。

詳細は以下のリンクからご確認ください。

https://www.jdla.org/certificate/engineer/

1.応用数学

(1)確率・統計

①一般的な確率分布

ベルヌーイ分布
多項分布
ガウス分布

②ベイズ則

(2)情報理論

①情報理論

情報量

2.機械学習

(1)機械学習の基礎

①学習アルゴリズム 教師あり学習

教師なし学習
半教師あり学習
転移学習

②機械学習課題

能力、過剰適合、過少適合
次元の呪い

③ハイパーパラメータ

④検証集合

学習データ、検証データ、テストデータ
ホールドアウト法
k-分割交差検証法

⑤最尤推定

条件付き対数尤度と平均二乗誤差

(2)実用的な方法論

①性能指標


②ハイパーパラメータの選択

手動でのハイパーパラメータ調整
グリッドサーチ
ランダムサーチ
モデルに基づくハイパーパラメータの最適化

(3)強化学習

①方策勾配法

②価値反復法

3.深層学習

(1)順伝播型ネットワーク

①全結合型ニューラルネットワーク

②損失関数 最尤推定による条件付き分布の学習

③活性化関数 シグモイド関数
Softmax関数
ReLU, Leaky ReLU
tanh

④誤差逆伝播法およびその他の微分アルゴリズム 計算グラフ

微積分の連鎖率
誤差逆伝播のための連鎖律の再起的な適用
シンボル間の微分
一般的な誤差逆伝播法

(2)深層モデルのための正則化

①パラメータノルムペナルティー

L2パラメータ正則化
L1正則化

②データ集合の拡張

Rnadom Flip・Erase・Crop・Contrast・Brightness・Rotate, MixUp

③ノイズに対する頑健性

出力目標へのノイズ注入

④マルチタスク学習

⑤早期終了

⑥スパース表現

⑦バギングやその他のアンサンブル手法

⑧ドロップアウト

(3)深層モデルのための最適化

①学習と純粋な最適化の差異

バッチアルゴリズムとミニバッチアルゴリズム

②基本的なアルゴリズム

確率的勾配降下法
モメンタム


③パラメータの初期化戦略

④適応的な学習率を持つアルゴリズム

AdaGrad
RMSrop
Adam

⑤最適化戦略とメタアルゴリズム

バッチ正規化
Layer正規化
Instance正規化
教師あり事前学習

(4)畳み込みネットワーク

①畳み込み処理

②プーリング

(5)回帰結合型ニューラルネットワークと再帰的ネットワーク


①回帰結合型のニューラルネットワーク

②双方向 RNN

③Encoder-Decoder と Sequence-to-Sequence

④長期依存性の課題

⑤ゲート付きRNN

LSTM
GRU0

⑥長期依存性の最適化

勾配のクリッピング

⑦Attention

(6)生成モデル


①識別モデルと生成モデル

②オートエンコーダ

VAE
VQ-VAE

③GAN

DCGAN
Conditionnal GAN

(7)深層強化学習


①深層強化学習のモデル

AlphaGo
A3C

(8)グラフニューラルネットワーク


①グラフ畳み込み

(9)深層学習の適用方法


①画像認識

GoogLeNet
ResNet, WideResNet
DenseNet
EfficientNet


②画像の局在化・検知・セグメンテーション

FasterR-CNN
YOLO
SSD
MaskRーCNN
FCOS

③自然言語処理

WordEmbedding
Transformer
BERT
GPT-n


④音声処理

WaveNet
サンプリング、短時間フーリエ変換、メル尺度
CTC
⑤スタイル変換

pix2pix

(10)距離学習(Metric Learning)



①2サンプルによる比較

SiameseNet

②3サンプルによる比較

TripletLoss

(11)メタ学習(Meta Learning)


①初期値の獲得

MAML

(12)深層学習の説明性


①判断根拠の可視化

Grad-CAM

②モデルの近似 LIME

SHAP

4.開発・運用環境

(1)ミドルウェア


①深層学習ライブラリ

(2)エッジコンピューティング


①軽量なモデル MobileNet

②モデルの軽量化 プルーニング
蒸留
量子化

(3)分散処理


①モデル並列
②データ並列

(4)アクセラレータ


①デバイスによる高速化

GPU

(5)環境構築


①コンテナ型仮想化

Docker

まとめ

最後までご覧いただきありがとうございました。