ジャーナルクラブにClaude 3を使用してみたら・・・その言語処理能力がヤバい！！第3回 診断研究の論文要約
主な対象者
本記事では、ジャーナルクラブの準備でどうしたらいいだろう？と迷われたり、時間がない！と思われている医師(研修医や専攻医を含む)をサポートするプロンプトを紹介しています。
ノーコードで出来る内容を扱っています。
ただ、今回取り上げる診断法に関する研究論文の要約については、初期研修医はまだ触れる機会が限られているかもしれません。専攻医など、より年長の医師には適していると思います。
#ジャーナルクラブ #抄読会 #Claude #プロンプト #診断法 #専攻医 #EBM
本記事の画像はAdobe Fireflyを用いて生成しました。
はじめに
早いもので、Claude 3を用いた臨床医学論文の要約プロンプトのnoteも第3回となりました。生成AIのアップデートの速さは凄まじいものがありますが、現時点では本連載への影響は少ないと考えています。
今回は、このClaude 3のSonnetモデルに指示する、診断法に関する論文要約のプロンプトを作成してみました。
プロンプトの前に ファイルの添付
ファイルの添付はプロンプトを書く前でも後でも良いですが、その際の注意点です。
添付できるファイルにはサイズの上限があり、1個あたり10Mbまで(あるいは20万トークンまで)ですが、余程図の多いものでなければ大丈夫でしょう。ファイル名が長過ぎたり、ファイル名にセミコロン(;)が付いていても添付できないようです。ファイル名をバンクーバー方式(PubMedで記載されている「ジャーナル名．出版年；巻(号)：ページ」の方式)で保存している方は変更して添付する必要があります。
以下、これまでと同様に3段階のプロンプトを紹介します。
プロンプト① 役割付与と導入
(ここから)
＃あなたは臨床経験豊富で教育能力にも優れた専門医です。論文査読にも優れています。
＃添付したファイルの内容を、教育効果を最大化する目的でまとめてください。
＃以下の指示を実行して下さい。
タイトルと抄録を日本語に翻訳してください。
この論文の研究デザインと対象者について簡潔にまとめてください。
診断の基準や方法について、以下の点を要約して下さい。
使用された診断基準や方法の詳細
診断の感度、特異度、陽性的中率、陰性的中率
診断法の実用性や費用対効果
既存の診断法との比較
(ここまで)
まずはAIに役割を与えます。ここでは「臨床経験豊富で教育能力にも優れた専門医」で「論文査読にも優れてい」ると規定します。こうすることで頼れる専門医として振る舞ってくれます。
タイトルと抄録の日本語訳は定番ですね。
診断法を検討した研究論文においては、検討された診断基準や診断法がどのようなもので、それが既存のものと比べてどのように優れているか、またその実用性や費用対効果が読者のセッティングでどうかという点が重要になります。RCTの時と同様のPICO要約のプロンプトで「I(介入)：新たな診断法、C(対象)：既存の診断法、O(アウトカム)：診断率や、その後の治療成績など」とすることも出来ないことはありませんが、上記のように詳細を記述した方が質の高い回答が得られるのでこのようにしました。
次のプロンプトに進みます。
プロンプト② 内容の中核に踏み込む
(ここから)
＃続けて、以下の指示も実行してください。
論文のテーマについて、以下の内容を要約して下さい。
これまでに分かっていること
この論文が付け加えたこと
将来への示唆
この論文の対象や方法に関する強み
この論文の対象や方法に関する限界
私の施設でこの結果を適用するとどのような影響がありますか？私の施設は日本の(都市部, 郊外, 農村部, 離島 etc.)にある(高度急性期, 一般急性期, 亜急性期・回復期, 慢性期, etc.)を担当する(大学病院, 市中病院, 診療所, etc.)で、(自施設や診療科の特徴、多い患者層など)です。
(括弧内には、当てはまる医療機関の特徴を入力する)
(ここまで)
ここは第1回のRCTの論文要約とほぼ同じです。プロンプト①で方法について詳しくまとめてもらったので、「方法の要点」のみ削除しています。
2つめの1.の括弧内には、当てはまる医療機関の特徴を入力します。
この部分は、EBMの5つのステップの4番目である「この情報を自分の患者に適用できるか？」を踏まえたもので、医療機関のセッティングにより代用しています。1.が2つ続いてしまっていますが、誤作動などは起きないので大丈夫です。
これまでにも書いた注意点について繰り返しますが、生成AIには一般的に個人情報や企業情報をそのまま入力すると学習材料として利用されてしまう恐れがあります。生成AIによっては学習しないよう指示する方法もありますが、Claude 3では利用されるかどうかは明示されていません。上記のような一般的な表現に留めた方が良いでしょう。
それでは3つ目(最後)のプロンプトです。
プロンプト③ Take Home Messageを得る
(ここから)
＃続けて、以下の指示も実行してください。
特に持ち帰るべき学びのポイントを3,4個の箇条書きにまとめてください。
この論文のキーワードを5つ、ハッシュタグをつけて提示してください。
更に学びたい人へ、引用文献の中でおすすめの論文を3～5個挙げてください。挙げた論文一つひとつに対して、特徴を一文で記載してください。半分以上の論文を、本論文の発表から５年以内のものから選択してください。バンクーバー方式でお願いします。
この論文は、診療ガイドラインの推奨を変える可能性がありますか？GRADEシステムに基づいて検討してください。
この論文をデータベースに保存したいです。バンクーバー方式で記載してください。
(ここまで)
この部分は、第1回のRCTの論文要約の時と同じです。
結局、このジャーナルから何を学べるのか？更に学びたい人におすすめの引用文献はどれか？次の診療ガイドラインにはこの論文の内容が反映される可能性はどうか？そして、ジャーナルクラブで用いた論文をデータベースに登録するフォーマットを作成したい、という訳です。
このプロンプト③は、今後公開していく予定の他のプロンプトでも大きな変更はなさそうと現時点では考えています。
おまけ——Perplexity ProでClaudeを使うと最強なのか？
最近、Web検索も出来る生成AIとしてPerplexityが注目されており、このProプランだとAIモデルとしてClaude 3のSonnetやOpus、および他のAIモデル(Perplexity独自のもの、GPT-4 Turbo、Mistral Large)が使用できます。Claude 3の言語処理能力とPerplexityのWeb検索機能を組み合わせると最強！という紹介が様々なサイトで行われていますが、本noteで取り扱っている臨床医学の論文要約でも最強なのか試みてみました。
Perplexity Proプランは月額20ドル、年額200ドルかかるので、無料で出来るという本noteの範囲を超えてしまうのですが、引用はされていないが更に学ぶに際のおすすめ文献を紹介してもらえる期待があります。
ProプランでAIモデルをClaude 3 Sonnetに設定して、さぁ引用外のおすすめ文献を紹介してください！と試みたのですが、日本語で同じプロンプトを貼り付けても上手くいきませんでした。
ですが、プロンプトをDeepLで英訳して順番に貼り付けると、これはバッチリ上手くいきました！
Perplexityは論文要約に限らず日本語で指示すると(プロンプト、と改まった感じでなく、普通に質問文で検索する場合でも)、英語の場合と比べて精度がかなり落ちるのですが、AIモデルをPerplexity独自のものからClaudeに変えてもその格差が前面に出てしまったようです。
ただ、この目的(臨床疑問をAIに投げかけて答えてもらう)であれば、他のAIも一部機能は無料で使用することが出来ます。有名なところではSciSpace, Consensus, Elicitなどがあります。適宜使い分けが出来るとなお良いと思います。
終わりに
ここまでのプロンプトを用いることで、ものの数分でジャーナルクラブの発表の骨格が出来上がります。あとは細かい部分の原文との整合性の確認をやったり、必要な図表を用意するなどすれば十分でしょう。Claude 3の言語処理能力は大変優れており添付のPDFファイルの要約という条件なら概ね信頼できるのですが、最後の確認は人間が行う必要があります。その点は忘れないようにしてください。
なお、3つのプロンプトを1つにまとめて一発で要約を作成することも可能です。ですが、(1)個々の記載のクオリティが低下する場合がある、(2)回答が長くなると途中で途切れてしまうことがある、という問題があります。そのため上記のように①〜③のステップ・バイ・ステップとしました。この方法はチェーンプロンプトと言ってClaudeの公式サイトでも推奨されています。
最後までお読みいただき、ありがとうございました。
今後とも有益な情報を発信していきますので、応援よろしくお願い致します。
本連載はまだまだ継続する予定です。