RNN Recurrent Neural Networkについて

RNN Recurrent Neural Networkについて深層学習 (岡谷貴之著)によると、再帰型ニューラルネット（Recurrent Neural Network）とは再帰型ニューラルネット(RNN )は、音声や言語、動画像といった系列データを扱うニューラルネットです。これらのデータは、一…

2017-11-15

Deep Learning Frame work TensorFlowとPytorch

CNN CS231n Convolutional Neural Network DeepLearning Stanford 人工知能ディープラーニング Deep Learning Frame work

TensorFlowとPytorchについて書き留めたいと思う。 Deep learningでは大量の行列の計算を行う。そのためGPUでの計算が実用上早いとされるため、Deep LearningにはGPUの設備が必要になってくる。 GPU上でプログラムを実行するにはGPU専用の言語があるため、N…

2017-11-14

学習を上手く行うために　Transfer Learning

CNN CS231n Convolutional Neural Network DeepLearning 転移学習 Transfer Learning 人工知能ディープラーニング Stanford

学習を上手く行うために Transfer Learning Transfer Learning In practice, very few people train an entire Convolutional Network from scratch (with random initialization), because it is relatively rare to have a dataset of sufficient size. In…

2017-11-14

学習を上手く行うために　Regularization　Drop out　Data augmentation

CNN CS231n Convolutional Neural Network DeepLearning Stanford ディープラーニング人工知能 Regularization Drop out Data augmentation

学習を上手く行うために Regularization Regularization とはNeural networkの能力を制限して、過学習を防ぐ方法である。 L2 regularization is perhaps the most common form of regularization. It can be implemented by penalizing the squared magnitud…

2017-11-14

学習を上手く行うために　Optimization

CNN CS231n Convolutional Neural Network DeepLearning Stanford ディープラーニング人工知能 Optimization

学習を行う際、重みwの傾きから損失関数を減らす方向に重みを調整していくが重みが何次元もあると local minima（極小値)やsaddle point（鞍点)と呼ばれる、重みの傾きが局所的に0になってしまうところが生じてしまい上手く学習が進まない場合があるこの場…

2017-11-10

学習を上手く行うために　どのように学習を見守るか　Babysitting the learning process , Hyper parameter optimization

CNN CS231n Convolutional Neural Network DeepLearning Stanford ディープラーニングデータサイエンス人工知能ハイパーパラメーター

まず学習を行う手順を確認しよう 1.Input data が Zero-Centeredになるように前処理 preprocessingを行う 2.CNNの構造を決定する畳み込み層は何層にするかなど 3.Softmaxなどの損失関数で得られた値が妥当性のある値かチェックするこの時reguralizationは…

2017-11-10

学習を上手く行うために　Batch Normalization

CNN CS231n Convolutional Neural Network Stanford ディープラーニング人工知能正規化

Batch Normalizationについて Batch NormalizationはConv層やFully Connected層の後に用いられ、W*Xで出力された値を正規化し、無理やり正規分布になるよう値を調整する、それを次の層へ出力するこれによりネットワークの傾きの流れが良くなり Learning rat…

2017-11-10

学習を上手く行うために　重みの初期設定　Weight Initializationについて

CNN CS231n Convolutional Neural Network Datascience DeepLearning Stanford ディープラーニング人工知能重み

重みの初期設定 Weight Initializationについて最初の重みが統一されていると、つまり重みフィルターw0~wnまで同じ値だと重みフィルターをいくつも用意する意味がない（ただ同じ値が計算されていくだけだから）なので重みフィルターの値は異ならないといけ…

2017-11-09

学習を上手く行うために　data preprocessingについて

CNN CS231n Convolutional Neural Network Datascience DeepLearning Stanford ディープラーニング人工知能前処理

特に画像データに関してはzero-centeringの処理のみ行う機械学習においてそれぞれの特徴量が同じように影響し合う（元々の数値の大きさに左右されないために）正規化という処理を施すが、画像データでは行わない。それは隣り合うピクセルは相対的な違いを…

2017-11-07

活性化関数の働きについて　学習を上手く行うために

CNN CS231n Convolutional Neural Network DeepLearning Stanford ディープラーニング人工知能活性化関数

活性化関数について Sigmoid関数が避けられるのは、 1.大きな値、小さすぎる値には1か0を出力するために、傾きが殺されてしまうということ 2.正の値のみし返さないため、inputの値であるxが正の時はwは正の値しか与えられず負の場合にはwは負の値になるため…

2017-11-06

CNNについて　⑤　CNNの構造全体についてのまとめ　ConvNet Architectures

CNN CS231n Convolutional Neural Network DeepLearning Stanford ディープラーニング人工知能

今までの総括としてCNNの全体としての構成を見ていきたいと思う。 Layer Patterns The most common form of a ConvNet architecture stacks a few CONV-RELU layers, follows them with POOL layers, and repeats this pattern until the image has been mer…