見出し画像

【論文瞬読】xGen-MM (BLIP-3): 次世代のマルチモーダルAIモデルが登場！

AI Nest

こんにちは！株式会社AI Nestです。今回は、最近公開された画期的な研究論文「xGen-MM (BLIP-3): A Family of Open Large Multimodal Models」について深掘りしていきます。この論文は、画像と言語を同時に理解できる次世代AIモデルの開発について詳しく説明しています。さあ、一緒にAIの最前線を覗いてみましょう！

タイトル：xGen-MM (BLIP-3): A Family of Open Large Multimodal Models
URL：https://arxiv.org/abs/2408.08872
所属：Salesforce AI Research、University of Washington
著者：Le Xue, Manli Shu, Anas Awadalla, Jun Wang, An Yan, Senthil Purushwalkam, Honglu Zhou, Viraj Prabhu, Yutong Dai, Michael S Ryoo, Shrikant Kendre, Jieyu Zhang, Can Qin, Shu Zhang, Chia-Chih Chen, Ning Yu, Juntao Tan, Tulika Manoj Awalgaonkar, Shelby Heinecke, Huan Wang, Yejin Choi, Ludwig Schmidt, Zeyuan Chen, Silvio Savarese, Juan Carlos Niebles, Caiming Xiong, Ran Xu

1. xGen-MM (BLIP-3)とは？

xGen-MM (BLIP-3)は、画像と言語を同時に処理できる大規模マルチモーダルモデル（LMM）のフレームワークです。簡単に言えば、画像を見て、それについて会話ができるAIです。でも、これは単なるチャットボットではありません。

Figure1, 大規模マルチモーダルモデル(LMM)開発のためのフレームワーク(b)であるxGen-MM(BLIP-3)を紹介する。本フレームワークはBLIP-2(a) [1]を改良し、(1)学習データの豊富さ、スケール、多様性を向上させ、(2)Q-Former層をよりスケーラブルなビジョントークンサンプラーに置き換え、(3)学習目的を統一することで学習プロセスを簡素化し、全ての学習段階において単一の損失で済むようにした。その結果、LMMは様々な視覚言語タスクを実行することができ、ベンチマークにおいて競争力のある性能を達成した。

上の図1は、xGen-MM (BLIP-3)のフレームワーク（b）と、その前身であるBLIP-2（a）を比較しています。xGen-MMは以下のような特徴を持っています：

  • 大規模で多様なデータセットを使用

  • 効率的な学習方法（単一の学習目的に統一）

  • 革新的なモデル構造（Scalable Vision Token Sampler）

  • 様々なタスクに対応できる柔軟性

特筆すべきは、このモデルが「マルチモーダルな文脈内学習」という能力を持っていること。つまり、新しい状況や課題に対して、過去の学習内容を応用できるんです。まるで人間のように！

2. なぜxGen-MM (BLIP-3)が画期的なの？

AIの世界では、「より大きく、より賢く」が常にモットーです。でも、xGen-MMの開発者たちは、単に既存のモデルを大きくするだけでなく、賢くする方法を考えました。

2.1 データの質と量にこだわる

Figure3, xGen-MM（BLIP-3）事前学習データセットの概要

xGen-MMは、図3に示すように、様々なデータセットを組み合わせて使用しています。これらのデータセットは、単なる画像とキャプションの組み合わせではありません。例えば：

  • MINT-1Tは、全体の32.5%を占める1兆トークン規模の多様なマルチモーダルデータ

  • BLIP3-OCR-200M（5%）は、テキストを含む画像の理解に特化

  • BLIP3-GROUNDING-50M（5%）は、画像内のオブジェクトの位置情報を含む

このようなデータの多様性が、モデルの幅広い理解力につながっているんです。

2.2 シンプルで効率的なアーキテクチャ

xGen-MMは、前モデルのBLIP-2で使用されていた複雑なQ-Formerを、よりシンプルな「vision token sampler」に置き換えました。これにより、モデルの学習がより効率的になり、大規模な訓練が可能になりました。

また、学習目的も単純化。複数の目的関数ではなく、単一の「次のトークンを予測する」というタスクに集中することで、学習プロセスがスムーズになりました。

3. xGen-MM (BLIP-3)は何ができるの？

xGen-MMの能力は多岐にわたります。主な特徴は以下の通りです：

  1. 一般的なVQA（Visual Question Answering）: 画像に関する質問に答えられます。

  2. OCR能力: 画像内のテキストを読み取り、理解できます。

  3. 視覚的知覚: 画像の細かい特徴や構造を理解できます。

  4. ドメイン知識: 特定分野（例：科学や数学）に関する質問に答えられます。

  5. 複数画像の理解: 複数の画像を同時に処理し、関連性を理解できます。

Table2, phi-3-vision∗とVILA-1.5-3B∗は、公正な比較のため、当社の評価コード2でテストされています。また、GPT-4V (gpt-4-1106-preview)の性能（評価コードベースから提供）も1行目に参考として記載しています。

表2は、xGen-MMと他の主要なモデルの性能比較を示しています。特に注目すべきは、xGen-MM-instruct-interleaveモデルが、ほとんどのベンチマークで最高性能を示していることです。例えば、SEED-IMG、SEED-v2、MMBench (dev)などの一般的なVQAタスクで他のモデルを上回っています。

さらに、複数画像の理解能力も優れています。

Table3, マルチイメージベンチマークでの評価。VILA-1.5-3B∗の結果は、我々のモデルと同じ評価コードを使用して得られたものです。1行目には参考値としてGPT-4Vの性能を記載しています。

表3は、複数画像に関するベンチマークでのxGen-MMの性能を示しています。xGen-MM-instruct-interleaveモデルは、BLINK、QBench-2、Mantis-evalの全てのタスクで、他のオープンソースモデルを大きく上回る性能を示しています。

4. 安全性への取り組み

AI開発で常に問題となるのが、モデルの安全性です。xGen-MMの開発者たちは、この点にも細心の注意を払っています。

  1. DPO（Direct Preference Optimization）: モデルの出力をより人間の好みに近づけるための手法です。

  2. 安全性微調整: 有害な出力を減らし、安全性を向上させるための特別な訓練を行っています。

Table4, トレーニング後の結果 トレーニング後の安全性ベンチマークと幻覚ベンチマークの結果と、対照として4つの有用性ベンチマークの結果を報告する。事後トレーニングは、有用性を損なうことなく、無害性を向上させる。

表4は、これらの安全性向上の取り組みの効果を示しています。DPOと安全性微調整を適用することで、VLGuardベンチマークでの攻撃成功率（ASR）が大幅に低下し、同時にHallucinationBenchやPOPEなどの幻覚（誤った情報生成）に関するベンチマークでも性能が向上しています。さらに、これらの改善が一般的な理解力（SEED-IMG、MMB-dev、MME、MMStarなど）を損なうことなく達成されている点が重要です。

5. オープンソースの意義

xGen-MM (BLIP-3)の最も画期的な点の一つは、モデル、データセット、そして訓練コードまでもがオープンソースとして公開されていることです。これは、AI研究の民主化と加速につながる重要な取り組みです。

研究者やデベロッパーは、このリソースを活用して：

  • モデルの挙動を詳細に分析できる

  • 独自の改良や拡張を行える

  • 新しいアプリケーションを開発できる

オープンソース化によって、AIの発展がより速く、より広範囲に及ぶことが期待されます。

6. 今後の展望と課題

xGen-MM (BLIP-3)は確かに画期的なモデルですが、まだ改善の余地があります。今後の研究課題としては：

  1. より効果的なinstruction-aware vision token samplingの開発

  2. マルチモーダルデータの更なる活用方法の探求

  3. モデルの解釈可能性の向上

  4. 実世界のアプリケーションへの適用と検証

また、このような高度なAIモデルの普及に伴い、倫理的・社会的な影響についても継続的な議論が必要です。

まとめ

xGen-MM (BLIP-3)は、AIの新時代を切り開く可能性を秘めたモデルです。画像と言語を深く理解し、柔軟に対応できるこのモデルは、様々な分野での応用が期待されます。

オープンソースとして公開されたことで、多くの研究者や開発者がこの技術にアクセスできるようになりました。これは、AIの民主化と技術革新の加速につながるでしょう。

一方で、こうした強力なAI技術の発展には責任ある利用と継続的な ethical considerations が不可欠です。xGen-MM (BLIP-3)の登場は、技術の進歩と同時に、私たちがAIとどのように向き合っていくべきかを考えるきっかけにもなるのではないでしょうか。

AIの未来は、ますます興味深いものになりそうです。これからもxGen-MM (BLIP-3)の発展に注目していきましょう！