特徴抽出 特徴選択 フィルタ法 ラッパー法 埋め込み法 性能指標 誤差関数 活性化関数 混同行列 Precision Recall F-measure 線形回帰 ロジスティック回帰 バッチ学習 過学習 ハイパーパラメータの探索 パラメータの最適化 確率的勾配降下法(SGD) Momentum Ne…

畳み込み層 画像の場合、縦、横、チャンネルの3次元のデータをそのまま学習し、次に伝えることができる． →3次元の空間情報も学習できるような層が畳み込み層である． 畳み込み層の演算 入力画像とフィルタとの各要素の積和演算を行う． パディング 畳み込み…

教師あり学習 線形回帰 ロジスティック回帰 教師なし学習 主成分分析 特徴 計算 K-NN 特徴 K-means 特徴 K-means++ 特徴 SVM 特徴 教師あり学習 線形回帰 ロジスティック回帰 ２クラス分類に使用される．シグモイド関数による出力を(0,1)の範囲に制限するこ…

線形計算 行列の固有値分解 Xを対角化することを考える． することでXを対角化したYを求める． Yの式は 行列の特異値分解 条件付き確率 事象 A が起こった条件の下で事象 B が起こる確率のことであり，これ をp(𝐵|𝐴)と表す（B が先に書かれるのは，現在の数…

Word2vec(2013年) 次元の呪いを回避する目的や単語ベクトルの空間に意味を与えるため、単語を分散表現に変換する方法の1つとして、Word2vecである。 埋め込み行列を獲得するため方法として、CBOW(Continuous Bag-of-words)とSkip-gramが用意される． ・CBOW…

識別モデルと生成モデル オートエンコーダ VAE(2013年) Variational AutoEncoder 変分自己符号化器：生成モデルの一つ p(z)：平均ゼロベクトル、分散共分散行列が単位行列であるような多変量標準正規分布の対角成分を出力するNN[VAEの変分下界] 対数尤度logp…

動的計画法(DP法) 1. 方策勾配法 2. 価値反復法 報酬のサンプリング 1. TD法 Sarsa Q学習 A3C 2. モンテカルロ法(MC法) 強化学習アルゴリズム Q学習 DQN Deep Q-Networks(2013年) ①体験再生 ②目標Q-networksの固定 更新式 特徴 SARSA サルサ 更新式 特徴 マ…

RNN 双方向 RNN RNN Encoder-Decoder と Seq2Seq 長期依存性の課題 ゲート付きRNN LSTM GRU 長期依存性の最適化 Attention RNN RNNは時系列データ処理に適したNNで、1時刻前のリカレント層の状態を、次の時刻のリカレント層へ伝播する. 特徴：勾配消失や爆発…

AlexNet(2012年) GoogLeNet(2014年) VGG(2014年) YOLO(2016年) SSD(2016年) ResNet(2016年) ResNet WideResNet(2017年) R-CNN, Fast R-CNN, Faster R-CNN R-CNN (2014年) 特徴 課題 Fast R-CNN(2015年) Faster R-CNN(2015年) paper FCN(2015年) 特徴 SegNet(…

応用数学 行列計算 確率・統計 情報理論 機械学習 機械学習の基礎 学習アルゴリズム 機械学習課題 ハイパーパラメータ 検証集合 最尤推定 実用的な方法論 性能指標 (損失関数) ハイパーパラメータの選択 方法 強化学習 深層学習 順伝播型ネットワーク 深層モ…

目次 SGD Momentum Nesterov AdaGrad RMSProp AdaDelta Adam 参考文献 SGD データ1つだけ をサンプルし、最急降下法にランダム性を入れる。 更新式 サンプルコード param[key] -= self.lr * grad[key] lr: 学習率特徴(課題) SGDの非効率な探索経路による。そ…