マルチモーダルモデルOtter、GoogleのVertex AI【AIニュースまとめ】

【2023/06/12(月)配信】 AIニュース

Otter/MIMIC-IT：マルチモーダルモデル

【重要度】★★
Otterは、OpenFlamingo（DeepMindのFlamingoをオープンソースで開発したもの）をベースとしたマルチモーダルモデル。Openflamingoをベースに、MI-Modal In-Context Instruction Tuning (MIMIC-IT)のチューニングを施したものが、Otter。画像や映像理解することができるLLM。
例えば↓

Ask Otter🦦 how to fly ✈️ pic.twitter.com/zrOC1oqrbv

— Jingkang Yang (@JingkangY) June 9, 2023

このツイートのように、飛行している状態の映像を見せて、どうやって着陸してよいかOtterに聞くと、
どのように飛行機を操作すればよいか指示してくれる。
こんな感じで色んな例が↓の動画にのっています。

MIMIC-IT: Multi-Modal In-Context Instruction Tuning