General-Purpose vs. Domain-Adapted Large Language Models for Extraction of Data from Thoracic Radiology Reports

General-Purpose vs. Domain-Adapted Large Language Models for Extraction of Data from Thoracic Radiology Reports

以下は、上記の論文のアブストラクトをChatGPTに解釈させたものです。解釈の正確性について保証はいたしません。

【論文タイプ】
この論文は研究論文（Research and Applications）です。掲載誌やジャーナルについては言及されていません。

【本研究の背景と関連研究】
本研究では、放射線科のレポートからデータを抽出するための一般的な言語モデルと特定のドメインに適応させた大規模な言語モデルの性能を比較します。放射線科医が作成するレポートには、診断情報や予後指標などの重要な情報が含まれていますが、これらのデータは一般には構造化されておらず、機械が読み取ることができません。関連研究では、放射線学共通データ要素（CDE）を用いて放射線学的所見の属性の説明や許容される値の標準化が行われており、自然言語処理モデル（BERT、RadBERT、PubMedBERT、ClinicalRadioBERTなど）が放射線科レポートからの情報の抽出に使用されています。

【本研究の目的とその重要性】
本研究の目的は、放射線科の専門用語や文脈を適切に解釈できるドメイン固有の言語モデル（RadLing）と一般的な言語モデル（GPT-4）を比較し、放射線科レポートからの共通データ要素（CDE）の抽出性能を評価することです。放射線科レポートからのデータ抽出は、臨床ケアにおいて重要な役割を果たす可能性がありますが、一般的な言語モデルでは特殊な専門用語や文脈を適切に処理することが難しい場合があります。本研究では、RadLingというドメイン固有の言語モデルが一般的な言語モデルよりも優れた性能を持つことを示すことで、放射線科レポートのデータ抽出の有用性を高めることを目指しています。

【本研究で用いた材料やデータの詳細】
本研究では、1300件の胸部X線検査と胸部CT検査の匿名化されたレポートを使用しました。このデータセットは、900件のトレーニングセットと400件のテストセットに分割され、3人の放射線科医が21の共通データ要素（CDE）にアノテーションを付けました。

【本研究で何をどのように，どこまで明らかにした？】
本研究では、RadLingシステムとGPT-4システムの性能を比較しました。その結果、RadLingシステムはGPT-4システムよりも高い性能を示しました。RadLingシステムはCDEの特定と値の割り当てにおいて高い精度を実現し、ローカルでの展開やランタイムコストの低減という操作上の利点も提供しています。

【本研究の有効性はどのように検証した？】
本研究では、RadLingシステムとGPT-4システムの性能比較により、本研究の有効性を検証しました。具体的には、RadLingシステムはCDEの特定において95%の感度を示し、値の割り当てにおいては95.4%の精度を達成しました。一方、GPT-4システムは71%の感度と95.0%の精度を示しました。また、異なる切り捨て値やアプローチを比較することで、両システムの性能にさまざまな影響を与える要素を明らかにしました。さらに、具体例を分析することで、両システムの限界を示しました。