けの〜のブログ

ガッキーでディープラーニングして教育界に革命を起こす

2017-11-10から1日間の記事一覧

学習を上手く行うために　どのように学習を見守るか　Babysitting the learning process , Hyper parameter optimization

CNN CS231n Convolutional Neural Network DeepLearning Stanford ディープラーニング データサイエンス 人工知能 ハイパーパラメーター

まず学習を行う手順を確認しよう 1.Input data が Zero-Centeredになるように前処理 preprocessingを行う 2.CNNの構造を決定する 畳み込み層は何層にするかなど 3.Softmaxなどの損失関数で得られた値が妥当性のある値かチェックする この時reguralizationは…

学習を上手く行うために　Batch Normalization

CNN CS231n Convolutional Neural Network Stanford ディープラーニング 人工知能 正規化

Batch Normalizationについて Batch NormalizationはConv層やFully Connected層の後に用いられ、W*Xで出力された値を正規化し、無理やり正規分布になるよう値を調整する、それを次の層へ出力する これによりネットワークの傾きの流れが良くなり Learning rat…

学習を上手く行うために　重みの初期設定　Weight Initializationについて

CNN CS231n Convolutional Neural Network Datascience DeepLearning Stanford ディープラーニング 人工知能 重み

重みの初期設定 Weight Initializationについて 最初の重みが統一されていると、つまり重みフィルターw0~wnまで同じ値だと重みフィルターをいくつも用意する意味がない（ただ同じ値が計算されていくだけだから） なので重みフィルターの値は異ならないといけ…