DRG-LLaMA : Tuning LLaMA Model to Predict Diagnosis-related Group for Hospitalized Patients
https://arxiv.org/abs/2309.12625
本研究の学術的背景，研究課題の核心をなす学術的「問い」は？
アメリカの入院患者の治療費は、仮診断群（Diagnosis-Related Group：DRG）という制度に基づいて決まります。しかし、現在のDRGの割り当てプロセスは時間がかかるため、より効率的に割り当てられる方法はないかという問いが本研究の中心的な課題です。
本研究の目的及び学術的独自性と創造性は？
本研究の目的は、大規模言語モデル（LLM）を使って病院の記録や診療内容から直接DRGを予測する「DRG-LLaMA」というシステムを開発することです。このシステムは、診療内容（病名、治療方法など）を自動的に読み取り、それをもとに患者のDRGコードを予測します。このシステムが存在することで、病院のスタッフがDRGコードを手動で割り当てる手間をかなり省くことができます。それが本研究の独自性と創造性と言えます。
本研究の着想に至った経緯や，関連する国内外の研究動向と本研究の位置づけは？
病院の運営は複雑で、その中でも患者の診療費の計算は特に重要な役割を果たしています。その中心にあるのがDRGシステムですが、これは手作業で行うことが多く、時間とコストがかかっていました。その一方で、最近のテクノロジーの進歩により、自然言語処理（NLP）テクノロジーが急速に進化し、大規模言語モデル（LLM）が登場。これによりテキストを自動的に解析し、それに基づいて予測を行うことが可能になりました。本研究では、このLLMをDRGシステムに適用することを試みており、その先駆け的な試みと言えます。
本研究で何をどのように，どこまで明らかにした？
本研究では、開発したシステム「DRG-LLaMA」により、実際の病院データを使ってDRGの予測を行い、その結果を評価しました。その結果、「DRG-LLaMA」の平均的な予測精度（F1スコア）は0.327で、予測の精度（Top-1 prediction accuracy）は52.0%でした。これは、今までのモデルを大きく上回る結果で、特にClinicalBERTと比較して40.3%、CAMLと比較して35.7%の改善を達成しました。さらに、DRGの基本コードと合併症や重篤な合併症（CC/MCC）の両方を予測する場合、それぞれ67.8%、67.5%の精度を達成しました。
本研究の有効性はどのように検証した？
本研究の有効性は、予測精度の評価により検証しました。これは、実際の病院データを使ってDRG-LLaMAがDRGをどれだけ正しく予測できるかを検証したもので、予測の精度はF1スコアやTop-1 prediction accuracyなどの指標で評価しました。また、予測精度を他のモデルと比較することで、DRG-LLaMAの優れた性能を示しました。