RNN 双方向 RNN RNN Encoder-Decoder と Seq2Seq 長期依存性の課題 ゲート付きRNN LSTM GRU 長期依存性の最適化 Attention RNN RNNは時系列データ処理に適したNNで、1時刻前のリカレント層の状態を、次の時刻のリカレント層へ伝播する. 特徴：勾配消失や爆発…

AlexNet(2012年) GoogLeNet(2014年) VGG(2014年) YOLO(2016年) SSD(2016年) ResNet(2016年) ResNet WideResNet(2017年) R-CNN, Fast R-CNN, Faster R-CNN R-CNN (2014年) 特徴 課題 Fast R-CNN(2015年) Faster R-CNN(2015年) paper FCN(2015年) 特徴 SegNet(…

応用数学 行列計算 確率・統計 情報理論 機械学習 機械学習の基礎 学習アルゴリズム 機械学習課題 ハイパーパラメータ 検証集合 最尤推定 実用的な方法論 性能指標 (損失関数) ハイパーパラメータの選択 方法 強化学習 深層学習 順伝播型ネットワーク 深層モ…

目次 SGD Momentum Nesterov AdaGrad RMSProp AdaDelta Adam 参考文献 SGD データ1つだけ をサンプルし、最急降下法にランダム性を入れる。 更新式 サンプルコード param[key] -= self.lr * grad[key] lr: 学習率特徴(課題) SGDの非効率な探索経路による。そ…