An evaluation of GPT models for phenotype concept recognition

An evaluation of GPT models for phenotype concept recognition

1. 本研究の学術的背景は、臨床深層表現型解析、つまり、異常な物理的特性や特性を計算機が扱える形で包括的に文書化することです。これは、希少疾患の患者の診断とケア調整計画の作成の両方で重要な役割を果たします。研究課題の核心をなす学術的「問い」は、「最新の生成型事前学習トランスフォーマーモデル（GPT）が臨床深層表現型解析にどれほど効果的に機能するか」です。

2. 本研究の目的は、チャットGPTを支える最新のGPTモデルの性能を、臨床深層表現型解析で評価することです。学術的な独自性と創造性は、ここで提示される最新のGPTモデルが、既存の黄金標準である表現型認識に対する従来の手法と比較してどのようにパフォーマンスを発揮するかを評価するという点にあります。

3. この研究の着想は、臨床深層表現型解析が希少疾患の診断やケア計画の作成に不可欠である一方、手動での表現型プロファイルの作成が困難であるという現状から来ています。関連する国内外の研究動向としては、最近、機械学習方法が表現型認識タスクを支援するために広く利用されており、特に自然言語処理(NLP)を用いた方法が一般的になってきました。そして、診断などの複雑なタスクを支えるこれらの技術が、大規模な言語モデル（LLMs）へとシフトする中で、本研究はその動向を捉え、LLMsの実用性について評価を行っています。

4. 本研究では、最新のGPTモデル（gpt-3.5とgpt-4.0）の能力を評価し、特定のプロンプトとの間で一貫性がなく、結果が非決定的であるという問題点を明らかにしました。具体的には、最良の実行結果でも0.41のF1スコアに留まり、現行の最良ツールが達成した0.62のF1スコアには及ばなかったことを示しました。

5. 本研究の有効性は、既存の最良の表現型認識ツールと比較して最新のGPTモデルの性能を評価することで検証しました。その結果、現状のGPTモデルはまだ最高水準のパフォーマンスを達成していないことが明らかになりました。