分類AIの進化史㉕その後のViT系モデル

前回は、「その後のCNN系モデル」と称して、以前に紹介したCNN系のモデルの後継バージョンの紹介をしました。これまでのモデルをベースにしているので、知識の積み重ねがあることで、理解しやすくなりました。

今回は、「その後のViT系モデル」として以前に紹介したViT（ビジョン・トランスフォーマー）系のモデルであるSwin Transformer（Microsoft、2021年）とMobileViT（Apple、2021年）のバージョン２を紹介します。

この二つのモデルは、それぞれ異なる理由でアテンション機構を改造しています。両方とも一年以内のバージョンアップですが、何がそんなに変わったのでしょうか。