Navigating the Landscape of Personalized Medicine: The Relevance of ChatGPT, BingChat, and Bard AI in Nephrology Literature Searches
1 本研究の学術的背景、研究課題の核心をなする学術的「問い」は、「腎臓学の文献引用において、AIモデル(ChatGPT、Bing Chat、Bard AI)の引用の正確さをどの程度評価できるか」です。
2 本研究の目的は、腎臓学分野における学術研究の参考文献の抽出と検証のために、ChatGPT、Bing Chat、Bard AIといったAIモデルの引用精度を評価することです。学術的独自性と創造性は、これらのAIモデルが腎臓学分野でどの程度正確な引用を提供できるかを個別に評価するという手法にあります。
3 本研究の着想は、AIモデルが文献レビューの助けとなる可能性があるという認識から生まれました。医療の分野では、情報量が増えるほど、関連する知識を効率的に抽出するためのツールが必要となっています。医師や研究者は、PubMedだけでも3000万以上の論文を参照しなければならず、その数は毎年増え続けています。
4 本研究では、腎臓学の12のトピックごとに20の参考文献をVancouverスタイルで引用するようにChatGPT、Bing Chat、Bard AIに指示を出し、得られた参考文献の存在と精度をPubMed、Google Scholar、Web of Scienceを用いて確認しました。結果は、ChatGPTが最も多くの正確な参照を提供し、以降、Bing Chat、Bard AIと続きました。
5 本研究の有効性は、提供された各参考文献の存在と正確さをPubMed、Google Scholar、Web of Scienceを用いて確認することにより検証しました。また、提供された参考文献は不完全なもの、捏造されたもの、不正確なもの、正確なものの4つのカテゴリーに分けて検証を行いました。