まとめ中


AMAZON
の自習メモ


順伝播型ネットワーク (feed forward neural network)

活性化関数 f(u) に何を使うか

何を学習するのか?

勾配降下法 (gradient decent method) による最適化

過適合 (overfitting, overlerning)

重み減衰 (weight decay)

\(E_{t}(w) = \frac{1}{N_{t}} \sum_{n \in D_{t}} E_{n}(w) + \frac{ \lambda }{2} \|w\|^{2} \\ \lambda = 0.01 〜 0.00001 \)

誤差関数に、重みの二乗和の項を追加する
→ 誤差関数が小さくなるように学習を進めるので、より小さな w が選好される

重み上限

\(\sum_i w_{ji}^2 < c \)

各 j 層において、重みの二乗和が、定数 c より小さくなるようにする。

while ( square_sum(w[j]) > c ) {
  for (i = 0; i < size; i++) {
    w[j][i] = w[j][i] * 0.99;
  }
}

ドロップアウト (dropout)


学習のトリック

正規化 (normalization, standardization)

データ拡張 (data augmentation)

モデル平均 (model avaraging)

学習係数

\(w^{(t+1)} = w^{(t)} - \varepsilon \bigtriangledown E \)

モメンタム (momentum)

サンプルの順序を工夫する

誤差逆伝播法 (back-propagation)

[はじめに] bias の取り扱い方について

考え方

backpropagation.png

計算方法


各層の活性化関数の f'(u)

出力層の誤差 δ(L)

\(\frac{\partial E}{\partial w_{ji}}\) の検算方法

勾配消失問題

重みの初期値

乱数で決定する

主成分分析

データの白色化

自己符号化

スパース正則化

デノイジング

denoiseing.png

畳込みニューラルネット (Convolution Neural Network)

畳み込み層 (Convolution)

convolution_calc.png

プーリング層

pooling.png

正規化層(LCN)

コントラスト正規化入力画像 (1,2,...,N) のコントラストを正規化して学習しやすくする
局所コントラスト正規化画像認識のネットワークに組み込む。畳込みやプーリングで輝度が飽和するのを防ぐ
減算正規化(i,j)の画素値を(i,j)周辺の重み付き平均にする
除算正規化(i,j)の画素値を(i,j)周辺の重み付き分散で割る。変化の少ない箇所の濃淡を強調する処理を行う

勾配の計算方法


続く>

今宵はここまで


Culture, Random Memorandum 2015Q3


*1 正規化後の領域Pの画素値の合計を同じにする
*2 変換する画素(i,j)を重視する
*3 正規化後の領域Pの画素値の合計を同じにする
*4 変換する画素(i,j)を重視する

添付ファイル: filelcn.png 51件 [詳細] filepooling.png 136件 [詳細] filergb_convolution.png 128件 [詳細] fileconvolution_calc.png 99件 [詳細] fileconvolution_network.png 111件 [詳細] fileconvolution.png 129件 [詳細] filedenoiseing.png 82件 [詳細] fileself_encode2.png 113件 [詳細] fileself_encode.png 128件 [詳細] fileprincipal_analysis.png 149件 [詳細] filefloat.png 81件 [詳細] filedouble.png 85件 [詳細] filebackpropagation.png 148件 [詳細] filemomentum2.png 176件 [詳細] filemomentum1.png 162件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS   sitemap
Last-modified: 2016-08-12 (金) 22:36:47 (112d)
ISBN10
ISBN13
9784061426061