Large Language Models to Identify Social Determinants of Health in Electronic Health Records

Large Language Models to Identify Social Determinants of Health in Electronic Health Records

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？
   　患者の健康に影響を与える社会的な要因（SDoH）は重要であるにも関わらず、電子健康記録からの収集が不十分な状況があります。そこで本研究の主要な問いとなるのが、「大規模な言語モデルを用いて、電子健康記録の自由記述からSDoH情報を抽出することは可能か、そして合成テキストを用いた改良によりその抽出能力は向上するか」です。

2. 本研究の目的及び学術的独自性と創造性は？
   　目的となるのは、SDoH情報の抽出能力を向上させ、それにより患者が必要とする社会的支援をより効果的に特定することができるようにすることです。創造性や独自性とは、フラン-T5という具体的なモデルを評価し、合成データ生成とその微調整効果を検討し、モデルのアルゴリズムにおけるバイアスを評価した点にあります。

3. 本研究の着想に至った経緯や，関連する国内外の研究動向と本研究の位置づけは？
   　健康に関わる社会的な要因（SDoH）は患者の健康結果にとって重要ですが、これらの情報は一般的に十分に電子健康記録（EHR）から収集されていません。世界的にみても、これらの情報抽出のための言語モデルの開発や合成テキストの活用は活発に研究されています。本研究は、その中で、具体的なモデル評価や合成データによる微調整といった具体的なアプローチを提供することで、有益な貢献を行っています。

4. 本研究で何をどのように，どこまで明らかにした？
   本研究では、800の患者ノートにSDoHカテゴリの注釈を付け、その結果を用いていくつかのトランスフォーマーベースのモデル（Flan-T5 XL、Flan-T5 XXLなど）を評価しました。合成データを用いて微調整することでモデルの性能が向上することを確認しましたが、その効果はモデルのアーキテクチャやサイズにより異なったこと、また、病院システムのデータセットでの性能は良好だが、MIMIC-IIIデータセットでの性能は劣ること、などを明らかにしました。

5. 本研究の有効性はどのように検証した？
   自分たちが作成したモデルの性能を事前学習済みの拡張GPT（ChatGPT）と比較して検証しました。また、一部のデータに人種や性別を示す記述を追加した際の予測の変化を見ることで、アルゴリズムのバイアスを評価しました。さらに、患者レベルでは、モデルがSDoHの不利な暗示を持つ患者の93.8%を特定できることを示し、これはICD-10コードが2.0%しか捉えられなかったことと比較して非常に高いパフォーマンスであることが確認されました。