Can ChatGPT provide intelligent diagnoses? A comparative study between predictive models and ChatGPT to define a new medical diagnostic bot

https://www.sciencedirect.com/science/article/pii/S0957417423016883

**1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？**
AI技術により、患者データや医療情報の分析から可能な診断を提供するインテリジェント診断プロセスが注目されています。大量のデータの効率的な分析と医師が見落とす可能性のあるパターンの発見に、AIツールは賢明な選択となり得ます。新たな大規模言語モデル(LLMs)、たとえばChatGPTやGoogle BARDは、インテリジェント診断を含むいくつかの領域で顕著な能力を示しています。本研究の課題は、「症状のみに基づいて低リスクと中リスクの疾患を診断するためのChatGPTと従来の機械学習モデルの性能をどう比較するか？」という問いにあります。

**2. 本研究の目的及び学術的独自性と創造性は？**
本研究の目的は、ChatGPTと従来の機械学習モデルの性能比較を通じて、最も高い診断結果を提供するモデルを特定することです。また、新たなプロンプトエンジニアリング手法を導入し、ChatGPTのエンジンの性能を評価します。さらに、Google BARDや2つの領域固有の自然言語処理モデルとの比較結果も提供します。学術的独自性と創造性は、各モデルの性能評価と新手法の導入を図ったこと、そして最終的に最も性能の良いモデルに基づく新しい対話型ボットの提案にあります。

**3. 本研究の着想に至った経緯や，関連する国内外の研究動向と本研究の位置づけは？**
近年のAIと大規模言語モデルの進歩から着想を得ています。特に、ChatGPTやGoogle BARDなどのツールが、医療診断における複雑な病状や症状の理解に資する可能性を示しており、そこから発展した具体的な対応策を見つける目指した研究です。

**4. 本研究で何をどのように，どこまで明らかにした？**
ChatGPT及び従来の機械学習モデルを使用して疾患の診断を試み、その性能を比較しました。病状予測のための2つの医療データセットを使用し、100以上の症状といくつかの診断と関連付けられる情報を基に、異なるChatGPTエンジンとそれぞれのモデルのパフォーマンスを評価しました。最も高い性能を発揮したモデルに基づいて、新しい対話型ボットを提案します。

**5. 本研究の有効性はどのように検証した？**
疾病予測のための2つの医療データセットを用いて、各モデルの精度を評価しました。これにより、各モデルが提供する診断結果の精度と効率性の違いを定量的に比較し、その結果を基に最適なモデルを選択した。