Few-shot medical image classification with simple shape and texture text descriptors using vision-language models
本研究の学術的背景，研究課題の核心をなす学術的「問い」は？
本研究は、ビジョン・ランゲージ・モデル（VLM）および大規模言語モデルを使用して、医療画像のバイナリフューショット分類の有用性を調査することを目的としています。具体的には、GPT-4モデルを使用して、医療画像の形状やテクスチャ特徴を表すテキストデスクリプタを生成し、これらのデスクリプタを使用して肺胸部X線写真と乳房超音波画像の分類を試みることを目的としています。
本研究の目的及び学術的独自性と創造性は？
本研究の目的は、ビジョン・ランゲージ・モデルや大規模言語モデルの医療画像分析への応用の可能性を示すことです。GPT-4モデルを使用して医療画像のテキストデスクリプタを生成し、これを使用して医療画像を分類する方法を詳細に調査し、その有用性を示しました。
本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？
近年は、ビジョン・ランゲージ・モデルを使用した医療画像分析の研究が進んでいます。本研究は、GPT-4のテキスト生成力を生かして医療画像の形状やテクスチャを表すテキストデスクリプタを生成し、ビジョン・ランゲージ・モデルを用いて医療画像を分類する方法など、画期的な研究として位置づけられます。
本研究で何をどのように、どこまで明らかにした？
本研究では、GPT-4モデルを使用して、肺胸部X線写真や乳房超音波画像のファインショット分類を行うためのテキストデスクリプタを生成し、VLMを用いてこれらの画像の分類を行うことの有効性を示しました。また、VLMが、乳房の腫瘍の形状特徴の評価にどの程度適用できるかを評価し、GPT-4によって生成されたテキストデスクリプタの変動度について調べました。
本研究の有効性はどのように検証した？
本研究では、GPT-4モデルを使用して生成されたテキストデスクリプタをVLMで使用することで、医療画像の分類を行うことができることを示しました。VLMが、乳房の腫瘍の形状特徴の評価にどの程度適用できるかを評価し、GPT-4によって生成されたテキストデスクリプタの変動度について調べた結果、医療画像分析においてVLMの有用性が示されました。