DreamLLM : マルチモーダルの理解と創造の相互作用を備えたマルチモーダルLLM
※投稿者はこの分野の専門家ではなく、特別な知識を持っているわけではありません。したがって、理解や内容に誤りがあるかもしれませんが、ご理解いただければ幸いです。
最近、GPT-4のビジョンバージョン（GPT-4v）がリリースされ、GoogleのGeminiのリリースが噂されている中で、マルチモーダル大規模言語モデル（MLLM）への関心が高まり続けています。この背景の中で、言語モデルが画像をどのように認識し解釈するのか、そのメカニズムを理解することが重要になってきました。
今回は、異なるモダリティである画像とテキストを統合し、理解し、そして創造する新しいフレームワーク、DreamLLMに焦点を当てています。DreamLLMは、マルチモーダルコンテンツの理解と創造の間の学習相互作用を可能にする包括的なフレームワークを提示しています。
本記事では論文の一部を紹介しますので、詳細は以下より、論文を参照してください。
DreamLLMの特徴:
インターリーブド構造の学習: DREAMLLMは、テキストと画像が交互に配置されたインターリーブドドキュメントの構造を学習します。これにより、テキストと画像の関係をより良く理解し、それらを適切に組み合わせることができます。
条件付き合成: DREAMLLMは、特定のテキストに基づいて画像を合成することができます。この合成は、学習可能なドリームクエリと条件付き埋め込みを使用して行われ、これによりモデルはテキストの内容に基づいて関連する画像を生成することができます。
エンドツーエンドの学習: DREAMLLMは、エンドツーエンドの学習アプローチを採用しており、このアプローチはテキストと画像の両方のモダリティを統合して学習し、生成を行います。
多段階の学習手順: DREAMLLMの学習は、複数の段階を含む。最初に、マルチモーダル入力の適応を容易にするためのアラインメントトレーニングが行われ、次に、I-GPTプレトレーニングが行われ、最終的には、指示に従ったコンテンツの作成やマルチモーダル理解のタスクを行うための監視された微調整が行われます。
高性能: DREAMLLMは、いくつかのベンチマークテストにおいて優れた性能を示し、特にマルチモーダル理解とテキスト条件付き画像合成のタスクにおいて高い精度を達成しました。
DREAMLLMは、テキストと画像の間の相互作用をより深く理解し、マルチモーダルコンテンツの自動生成を向上させるための有望なステップを提供しています。
視覚言語(VL)の基盤モデルの概念的な比較
(d) DREAMLLMは、言語と画像の入力を統一された自己回帰的な方法で生成し、これによりインターリーブド（テキストと画像の内容が交互に配置された）ドキュメントの生成が自然に可能になります。他のモデルは主に言語の出力だけを提供し、または画像生成に追加の調整が必要であり、または中間的な空間で視覚的な出力を整理します。しかし、DREAMLLMはテキストと画像を交互に配置することで、より直接的かつ効果的にマルチモーダルなコンテンツを扱うことができます。
インターリーブドコンテンツ作成の例
各画像はDREAMLLMによって決定された位置で自動的に作成され、その後、次のコンテンツ生成のためのマルチモーダル理解入力としてフィードバックされます。
DreamLLMのフレームワーク
https://dreamllm.github.io/assets/images/framework.mp4
インターリーブド（テキストと画像の内容が交互に配置された）ドキュメントが入力として提供され、出力を生成するためにデコードされます。テキストと画像の両方が、MLLM入力のための連続的で離散的なトークン埋め込みにエンコードされます。特別な<dream>トークンは、画像を生成する位置を予測します。その後、一連のdreamクエリがMLLMにフィードされ、全体的な歴史的セマンティクスをキャプチャします。画像は、クエリされたセマンティクスに基づいてSD画像デコーダによって合成されます。合成された画像は、その後の理解のためにMLLMにフィードバックされます。
DreamLLMの評価
評価は、画像からテキストへのキャプショニング、一般的なVQA（視覚質問応答）、テキスト関連のVQA、および包括的なベンチマークに対して行われています。
DREAMLLM-7Bは、これらのタスクの多くで優れたパフォーマンスを示しており、特に理解と創造性の両方に対応するMLLMsの中で最も高いスコアを獲得しています。これは、DREAMLLMが画像とテキストの両方をエンコードし、互いに関連付ける能力を持っていることを示しています。