JDLA_全体リスト
機械学習
実用的な方法論
ハイパーパラメータの選択
- 手動でのハイパーパラメータ調整
- グリッドサーチ
- ランダムサーチ
- ベイズ最適化
- モデルに基づくハイパーパラメータの最適化
方法
- 主成分分析、K-NN、K-means
- サポートベクトルマシーン(SVM)
強化学習
①方策勾配法
②価値反復法
深層学習
順伝播型ネットワーク
- 全結合型ニューラルネットワーク
- 損失関数 最尤推定による条件付き分布の学習
- 活性化関数 "シグモイド関数 Softmax関数 ReLU, Leaky ReLUtanh"
- 誤差逆伝播法およびその他の微分アルゴリズム
深層モデルのための正則化
①パラメータノルムペナルティー
L2パラメータ正則化= Ridge正則化 L1正則化=Lasso正則化
②データ集合の拡張
Data Augmentation Random Flip・Erase・Crop・Contrast・Brightness・Rotate, MixUp
③ノイズに対する頑健性 主力目標へのノイズ注入
④マルチタスク学習
⑤早期終了
⑥スパース表現
⑦バギングやその他のアンサンブル手法
⑧ドロップアウト
深層モデルのための最適化
①学習と純粋な最適化の差異
②基本的なアルゴリズム 確率的勾配降下法 （SGD）モメンタム法
③パラメータの初期化戦略
④適応的な学習率を持つアルゴリズム (パラメータ更新の方法) NAG AdaGradRMsrop AdaDelta Adam
⑤最適化戦略とメタアルゴリズ バッチ正規化 Layer正規化 Instance正規化 教師あり事前学習
畳み込みネットワーク
①畳み込み処理
②プーリング
回帰結合型ニューラルネットワークと再帰的ネットワーク
①回帰結合型のニューラルネットワーク
②双方向 RNN
③Encoder-Decoder と Seq2Seq
④長期依存性の課題
⑤ゲート付きRNN LSTM GRU
⑥長期依存性の最適化 勾配のクリッピング
⑦Attention
生成モデル
①識別モデルと生成モデル
②オートエンコーダ（VAE 、VQ-VAE）
③GAN（DCGAN、 Conditionnal GAN）
深層強化学習
強化学習 - ディープランニング E資格
深層強化学習のモデル（AlphaGo A3C）
深層学習の適用方法
画像の局在化・検知・セグメンテーショ
FasterR-CNN YOLO SSD MaskRーCNN FCOS
音声処理
WaveNet サンプリング、短時間フーリエ変換、メル尺度 CTC
様々な深層学習
グラフニューラルネットワーク
グラフ畳み込み GCN
スタイル変換
pix2pix
距離学習 Metric Learning
①2サンプルによる比較 SiameseNet
②3サンプルによる比較 TripletLoss
メタ学習（Meta Learning）
初期値の獲得 MAML
深層学習の説明性
①判断根拠の可視化 Grad-CAM
②モデルの近似 LIME, SHAP
