BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys

https://arxiv.org/abs/2310.10765

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は、バイオメディカルイメージのカウンターファクトな生成です。具体的には、バイオメディカル画像において、特定の状態の変化があった場合に、イメージがどのように変化するのかを生成することを目指しています。この問いによって、バイオメディカル画像の解釈や病気の進行モデリングをより説明可能で堅牢にすることが期待されます。

2. 本研究の目的は、バイオメディカル画像のカウンターファクトな生成を実現することです。これにより、病気の進行に関する情報を自然言語で表現したり、画像変化の因果関係や偶発的相関を明らかにすることができます。また、研究の独自性と創造性は、バイオメディカル領域において画像生成モデルを応用することや、多様なデータソースからの学習を可能にするヘテロジニアスなデータの活用にあります。

3. 本研究の着想に至った経緯や関連する国内外の研究動向との位置づけは、画像編集における自然言語指示の応用とバイオメディカル画像生成に関する先行研究から得られました。具体的には、自然言語指示による画像編集の進展やRoentGenというバイオメディカル画像生成モデルの登場があります。しかし、これらのモデルはバイオメディカル領域では使用に適しておらず、実際の病的画像の生成には不十分であるという問題がありました。そのため、本研究ではバイオメディカル領域に特化したカウンターファクトな画像生成手法を提案しています。

4. 本研究では、いくつかの貢献を明らかにしました。まず、私たちはBiomedJourneyという新しい手法を提案しました。これは、バイオメディカル画像のカウンターファクトな生成を実現するためのものであり、病気の進行に関する自然言語の説明に応じて高品質の画像を生成することができます。また、GPT-4を使用して多様なデータソースからの学習を可能にし、バイオメディカル領域のデータに対しても適用する方法を提案しました。さらに、病理学、人種、年齢、空間的整列など、さまざまな要素を評価するためのテストを実施しました。

5. 本研究の有効性は、MIMIC-CXRデータセットを使用して実験を行うことで検証しました。カウンターファクトなバイオメディカル画像生成に関する一連のテストで、BiomedJourneyはInstructPix2PixやRoentGenなどの先行研究手法を大幅に上回る性能を示しました。これにより、本研究の手法がバイオメディカル画像生成において有望であることが示されました。