ChatGPTは医師に取って代わることはできるのか？
Lancet Infectious Diseasesに掲載されたレター（ChatGPT and antimicrobial advice: the end of the consulting infection doctor?）を紹介した論文記事をもとにnoteを作りました。
「ChatGPT」が抗生物質を正しく処方できるか8つのシナリオで検証
リバプール大学の研究です。彼らはGenerative artificial intelligenceである「ChatGPT」について、患者に抗生物質を処方する際に意思決定を正しく行えるのか、臨床医がChatGPTにアドバイスを求めるという状況設定で「8つの感染症シナリオ」をもとに検証しています。
シナリオの例としては…
第一選択薬に反応しない蜂窩織炎（ほうかしきえん）
腹腔内感染症に対する治療期間延長の要請（入院患者が自宅に戻るので、抗生物質の計画を聞くという設定）
原因不明の感染症で、複数の薬剤が禁忌（きんき）である場合
などです。
ChatGPT を臨床現場で実装する際の最大の障壁は？
ChatGPTは、複雑なシナリオや重要な情報が明示的に提供されていない場合、安全ではないアドバイスするようです。
他にも色々とありますが、「状況認識、推論、および一貫性の不足」がChatGPT を臨床現場で実装する際の最大の障壁と結論づけています。
これらの欠点が「患者の安全性を脅かす可能性がある」と研究者らは考えています。
ChatGPTが満たすべき10のこと
ChatGPTのようなLLM（a large language model）が医療現場で活用されるようになるには、以下の10のことを気をつけるべきであるとしています。
タスクの生成方法（シナリオ/会話は実際の患者記録から作成されているか、それとも人工的に作成されているか。回答はそのままの形で扱われるのか。それとも何らかの加工が施されるのか）
評価プロセス（結果はどのように評価されるのか。専門家評価やあらかじめ決められた回答テンプレートなど）
採点方法（個々の回答はどのように採点されるのか）
盲検化処理（AIによる回答と人間の回答の混在があるのか。専門家と会話しているのかAIと会話しているのか、それは盲検化はされているのか）
反復評価（同じ質問を繰り返した時に異なる回答をする恐れがあるが、同じ質問の繰り返しに対する評価は行われているか）
会話の構造（アセスメントは会話として行われ、フォローアップの質問や対話的なやり取りがあるのか）
コア・クエスチョン・スコア（回答は核となる質問に対応しているか）
補助的なアドバイス（回答はコア・クエスチョンに関連する患者管理の他の重要な側面にも触れられているか）
反復への傾向（アルゴリズムに対して同じ質問を繰り返し行った際に、実質的に異なる回答が得られるか）
回答全体のスコア（回答に対する総合点をつけるために、合意されたスコアリング方法を使用する必要がある）
【龍成メモ】
「ChatGPTが満たすべき10のこと」の「1」と「4」と「5」については、ちょっと理解しきれませんでした。
いずれにしてもChatGPTは流暢に嘘をつくので本当に慎重に使うべき道具だと思います（もちろん使い方によっては有用だと思います）。
いいなと思ったら応援しよう！
