応用モデル

・MobileNets：resnetの簡素化バージョンで精度がほとんど変わらない。Depthwise ConvolutionとPointwise Convolutionの組み合わせで軽量化を実現した。

・Depthwise Convolution：入力チャネルと関係なく、フィルターのチャネルが1

・Pointwise Convolution：1 x 1 convとも呼ばれる（正確には1 x 1 x c）もので通常の畳み込みと変わらないが、サイズが1 x 1だけ。

・DenseNet：ResnetにDenseBlockで組換えたもの、resnetでは残差が一つでだったが、DenseBlockは前の残差も保留して使う。

・Batch Norm：ミニバッチに含まれるsampleの同一チャネルが同一分布に従うよう正規化

・Layer Norm：それぞれのsampleの全てのpixelsが同一分布に従うよう正規化

・Instance Nrom：さらにchannelも同一分布に従うよう正規化

・Wavenet：音声生成モデル、時系列データに対してDilated Convolutionを行う。

・Dilated Convolution：

考察

・MobileNetも驚異な精度を出したが、現在ではefficientNetが非常に注目されている。efficientNetは特殊な層を入れずにただ層の配置を効率化することで軽量と高精度を同時に達成できた。つまりニューラルネットワークのアーキテクチャーはまだまだ改善できる余地があるといえる。そしていまのディープランニングはこれらのモデルをバックボーンとして使い、さらなる構造化が進んでいる。