Ethical and Professional Decision-Making Capabilities of Artificial Intelligence Chatbots: Evaluating ChatGPT’s Professional Competencies in Medicine
下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。
論文タイプ：この論文は「ショートコミュニケーション」という形式です。掲載誌は「Medical Science Educator」です。
本研究の背景と関連研究：本研究の背景は、OpenAIのChatGPTが人間のようなコミュニケーションと推論が可能であることです。GPT-3.5とGPT-4のモデルは、米国医師免許試験のステップ試験などの臨床知識と認知能力のテストで合格点を取ることができることが示されています。しかし、これらのモデルの倫理的および専門的な意思決定能力についてはまだ分かっていません。また、2022年にはアメリカ医学大学協会（AAMC）がPREviewというオンラインの状況判断テスト（SJT）を設計し、医学部志願者の前職業的能力を評価しています。SJTは認知能力、学業成績、臨床知識のテストよりも臨床および専門的なパフォーマンスの予測に優れていることが検証されていますが、ChatGPTはPREviewなどのオンライン試験の信頼性にリスクをもたらす可能性があります。しかし、2023年5月のPubMed/Embaseの検索に基づいて、SJTや倫理学の試験におけるチャットボットのパフォーマンスについての研究はまだ行われていません。
本研究の目的とその重要性：本研究の目的は、GPT-3.5とGPT-4のパフォーマンスをAAMCのPREview Practice Examで評価することです。これにより、医療のトレーニングや意思決定におけるチャットボットの潜在能力が示され、オンライン評価の提供に伴うリスクが明らかにされます。この研究の重要性は、医学部志願者の前職業的能力を評価するためのオンライン試験におけるチャットボットの有用性と信頼性を明らかにすることにあります。
本研究で用いた材料やデータの詳細：本研究では、AAMCのPREview Practice Examの186の質問を使用しました。これらの質問は、ChatGPTに入力され、ChatGPTに対して複数のシナリオに対するいくつかの応答の効果を「非常に効果的」「効果的」「非効果的」「非常に非効果的」のいずれかで評価するように指示しました。
本研究で何をどのように、どこまで明らかにした？：本研究では、GPT-3.5とGPT-4のパフォーマンスをAAMCのPREview Practice Examで評価しました。結果として、GPT-3.5は9点中6点（76パーセンタイル）、GPT-4は9点中7点（92パーセンタイル）を獲得し、医学部志願者の平均得点である5点（56パーセンタイル）よりも高いスコアを記録しました。また、両モデルともに95％以上の質問に正しく回答しました。
本研究の有効性はどのように検証した？：本研究では、GPT-3.5とGPT-4のパフォーマンスをAAMCのPREview Practice Examで評価することにより、チャットボットの医療トレーニングや意思決定における潜在能力を示しました。また、オンライン評価の提供に伴うリスクも明らかにしました。
効果的なキーワードの提案：
この記事が気に入ったらサポートをしてみませんか？