CNNについて ④ 正規化層について How does Normalization Layer work
今回は正規化層 Normalization Layerについて書き留めようと思う。
岡谷貴之著の深層学習によると
自然画像を入力とする画像認識の問題では、入力画像の全体的な明るさやコントラストの違いをうまく吸収する必要があります。
画像がカメラで撮影される時カメラの露出(シャッタースピード、絞り及びイメージセンサのゲインなど)や環境の照明次第で画像全体の明るさやコントラストは大きく変化するからです。
我々人間は画像の明るさやコントラストの違いにさほど気をとられることなく、画像に映るものに意識を向けることができます。
生物の視覚系にはこれらの違いをうまく調整する機能があるからです。これに対応して、画像の濃淡を何らかの方法で正規化することが必要です。
このような工夫がなされる正規化層だが最近の研究だと実用上重要性がなくなっているようだ
Normalization Layer
Many types of normalization layers have been proposed for use in ConvNet architectures, sometimes with the intentions of implementing inhibition schemes observed in the biological brain. However, these layers have since fallen out of favor because in practice their contribution has been shown to be minimal, if any. For various types of normalizations, see the discussion in Alex Krizhevsky’s cuda-convnet library API.
