見出し画像

認知症“16の神話”に対するChatGPTの回答能力

Super Human | 理学療法士／保健学博士 Ph.D.

📖 文献情報 と 抄録和訳

ファクトチェック：アルツハイマー病の神話に対するChatGPTの反応を評価する

📕Huang, Sean S., et al. "Fact Check: Assessing the Response of ChatGPT to Alzheimer's Disease Myths." Journal of the American Medical Directors Association 25.10 (2024): 105178. https://doi.org/10.1016/j.jamda.2024.105178
🔗 DOI, PubMed, Google Scholar 🌲MORE⤴ >>> Connected Papers
※ Connected Papersとは？ >>> note.

[背景・目的] はじめにアルツハイマー病（Alzheimer's disease, AD）に関する多くの神話がインターネット上で出回っており、それぞれに程度の差こそあれ、正確性、不正確性、誤情報が含まれている。ChatGPTのような大規模言語モデルは、これらの神話の正確性と不正確性を評価する上で役立つ貴重なツールとなり得るが、誤情報の誘発にもなり得る。目的：本研究では、信頼性の高い情報に基づいてADの神話を特定し、対処するChatGPTの能力を評価する。

[方法] 老年医学の臨床医が、16の選択したアルツハイマー病の神話に対するChatGPT（GPT 4.0）の回答を評価する横断的研究を実施した。各神話についてChatGPTに意見を述べさせ、臨床医がChatGPTの説明の正確さにどの程度同意しているかを判断するために、REDCapを使用して調査を実施した。また、ChatGPTの回答に同意できない場合の説明も収集した。各評価の観点における臨床医の同意を数値化するために、-2から2までのスコアを持つ5段階のリッカート尺度を使用した。

✅ ChatGPTへのプロンプト作成プロセス
・各神話に対してChatGPT（GPT-4）に意見を述べるよう促すプロンプトを作成した。
・プロンプト例: 「AD患者は死が近いという主張について、あなたの意見を教えてください。」
・ChatGPTは、それぞれの神話について説明と評価を行う回答を生成した。

[結果] 臨床医（n = 10）は、ChatGPTの説明に概ね満足していた。16の神話のうち、臨床医は概ねこれらの説明に満足しており、[平均（SD）スコアは。ほとんどの臨床医は、各ステートメントに対して「同意する」または「強く同意する」を選択した。一部のステートメントでは、「同意しない」という回答が少数得られた。「強く同意しない」という回答はなかった。

[結論] 調査対象となったほとんどの医療従事者は、ADの誤った情報を緩和するChatGPTの潜在的な価値を認めたが、疾患のメカニズムや治療法について、より洗練された詳細な説明が必要であることが強調された。

🌱 So What?：何が面白いと感じたか？

人工知能を触れる上で、「ハルシネーション」というものに注意が必要である。
ハルシネーションとは、人工知能が誤った情報や事実とは異なる情報を生成する現象。
AIが幻覚を見ているかのように、もっともらしい嘘（事実とは異なる内容）を出力するため、この名称が使われている。
この原因として、以下のようなことが考えられる。
・学習させるデータに問題がある
・学習した情報が古く、最新の情報を把握していない
・十分なデータを学習できていない

今回の抄読研究は、アルツハイマー病のある程度極端な「16の神話」に対して、概ね妥当な回答を返した。
しかも、そのプロンプトはほぼゼロショット（何も指示内容に工夫を加えていない）で。
この研究自体はChatGPT4.0で行われており、現在はさらに機能改善していると思われる。
ハルシネーションのリスクは、随分と下がってきているのかもしれない。
次第に、生成系AIでファクトチェックする、なんてこともできるようになるかもしれない（Perplexityなどは既にその機能が期待されているが）。

⬇︎ 関連 note & 𝕏での投稿✨

○●━━━━━━━━━━━・・・‥ ‥ ‥ ‥
良質なリハ医学関連・英論文抄読『アリ：ARI』
こちらから♪

↓↓↓

‥ ‥ ‥ ‥・・・━━━━━━━━━━━●
#️⃣ #理学療法 #臨床研究 #研究 #リハビリテーション #英論文 #文献抄読 #英文抄読 #エビデンス #サイエンス #毎日更新 #最近の学び

この記事が参加している募集

#最近の学び

189,442件