ResNetやDenseNetのShortcutは勾配消失問題以外でも役立ってるかも
ResNetとDenseNetとはResNetとは2015年に考案された機械学習モデルの一つです。
最大の特徴はタイトルにもあるShortcut Connectionの存在です。
下図のように、あるinputに対して畳み込みを行ったあとの状態とinputをaddします。これによって元の重みをゴリゴリ後ろまで伝えていけるので、層を深くすることで起こる諸々の問題を解決出来ちゃうというわけです。
引用:http://torch.ch/blog/2016/02/04/resnets