生成AIとジャーナルクラブ 「ググる」の逆襲 (Gemini 1.5)編：第4回 介入研究の論文要約
主な対象者
本記事では、ジャーナルクラブの準備でどうしたらいいだろう？と迷われたり、時間がない！と思われている医師(研修医や専攻医を含む)をサポートするプロンプトを紹介しています。
ノーコードで出来る内容を扱っています。
#ジャーナルクラブ #抄読会 #GEMINI #ググる #プロンプト #RCT #研修医 #EBM
本記事の画像はAdobe Fireflyを用いて生成しました。
はじめに——生成AIとジャーナルクラブ
2024年4月から5月上旬にかけて、Claude 3を用いたジャーナルクラブの準備での使用を念頭に、論文の内容や研究デザインに分けて内容を抽出するプロンプトの試みを公開してきました。
そのうち最初期に公開した介入研究の論文要約を、Gemini 1.5 Proで行ってみました。
UpToDateの要約で力を発揮したGemini 1.5 Proですが、果たしてこの介入研究の論文要約ではどうか？
今回試みた範囲での到達点は以下の通りです。
とにかく速い。これは間違いない。
タイトルと抄録の翻訳は信頼できる。
論文のテーマの解説(これまでに分かっていること、この論文が付け加えたことetc.)は、記載が短く粗くなりがち。
図表を読み取って解釈を加えるのは得意。AppendixやSupplementの図表紹介も的を得ていてハルシネーションもない。
おすすめの論文紹介ではハルシネーションが多く実用性が乏しい。全く違う論文だったり、そもそも存在しない論文を提示することもある。GRADEシステムについての回答も内容が不安定。
Claude 3 Sonnetとの比較で言うと、
1と4はGemini 1.5の方が優れている。4はClaude 3 Sonnetでハルシネーションが多かった。
3と5はClaude 3の方が優れている。ただし、Claude 3はWeb検索ができず、引用文献に挙げられている範囲に限定される。
2は同等。
といった感触です。
ChatGPT-4oはClaude 3 SonnetよりはGemini 1.5に近いですが、
1と2は同等
3はChatGPT-4oの方が優れている。
4はAppendixやSupplementの拾い上げがやや劣る。
5はハルシネーションは非常に起こりにくく安定している。
という点が違います。
以下、これまでと同様プロンプトを紹介していきます。
Googleアカウントを持っていれば、上記のサイトから、中央の「Google AI Studioにログイン」のアイコンをクリック、次の画面で左側のサイドバーにある'Create new prompt'→'Chat Prompt'の順に進めていくと、フリーテキストでプロンプトの入力ができます。
開始時に、ファイルを添付する(この時、Googleドライブを使用します)か、URLのリンクを貼り、Shift+Enterとして、次のプロンプトを入力します。
プロンプト①——Systemic Instruction
上記の手順で'Chat Prompt'を選択すると、中央の列の上段に'System Instructions'という項目があります。まずはここに、以下の内容を入力して役割を付与します。
(ここから)
＃あなたは臨床経験豊富で教育能力にも優れた専門医です。論文査読にも優れています。
＃添付したファイルの内容を、教育効果を最大化する目的でプレゼンテーションしてください。
(ここまで)
まずはAIに役割を与えます。ここでは「臨床経験豊富で教育能力にも優れた専門医」で「論文査読にも優れてい」ると規定します。こうすることで頼れる専門医として振る舞ってくれます。
タイトルと抄録の日本語訳は定番ですね。
プロンプト②——タイトルと抄録〜論文のテーマ
(ここから)
＃以下の指示を実行して下さい。
タイトルと抄録を日本語に翻訳してください。
この論文のPICO(またはPECO)を簡潔にまとめてください。P：対象、I(またはE)：介入(または曝露)、C：比較対象、O：アウトカムを示します。
論文のテーマについて、以下の内容を要約して下さい。
これまでに分かっていること
この論文が付け加えたこと
将来への示唆
方法の要点
この論文の対象や方法に関する強み
この論文の対象や方法に関する限界
私の施設でこの結果を適用するとどのような影響がありますか？私の施設は日本の(都市部, 郊外, 農村部, 離島 etc.)にある(高度急性期, 一般急性期, 亜急性期・回復期, 慢性期, etc.)を担当する(大学病院, 市中病院, 診療所, etc.)で、(自施設や診療科の特徴、多い患者層など)です。
(括弧内には、当てはまる医療機関の特徴を入力する)
(ここまで)
ここまで一気に進めることはできます。この範囲で分割してもさほど質は上がらない印象です。
最後の「私の施設で〜」の部分は、EBMの5つのステップの4番目である「この情報を自分の患者に適用できるか？」を踏まえたもので、医療機関のセッティングにより代用しています。
以前にも書いた注意点を繰り返しますが、生成AIには一般的に個人情報や企業情報をそのまま入力すると学習材料として利用されてしまう恐れがあります。上記のような一般的な表現に留めた方が良いでしょう。
プロンプト③——図表の解説
今までは分割して紹介していましたが、今回はここで掲載します。
この図表の解説はGeminiは比較的安定しています。表→図の順で掲載しますが、順不同です。
(表の解説；ここから)
＃続けて、以下の指示も実行してください。
本文中の表について1つずつ、以下の点を教えてください。
タイトルを日本語に翻訳してください。
この表が示している事柄は何ですか？
この表の内容について、本文との関連で重要な点を3個まで教えてください。
この表の内容について、抄録から分からず、表自体に注意しないと発見できないことがあれば教えてください。
本文中でAppendixやSupplementの表が紹介されていれば、本文から読み取れる範囲でその内容について1つの表につき1行で説明してください。
(ここまで)
(図の解説；ここから)
＃続けて、以下の指示も実行してください。
本文中の図について1つずつ、以下の点を教えてください。
タイトルを日本語に翻訳してください。
この図が示している事柄は何ですか？
この図の内容について、本文との関連で重要な点を3個まで教えてください。
図がグラフである場合、グラフの作成に用いられている統計学的手法と、その手法に関連した限界について教えてください。
本文中でAppendixやSupplementの図が紹介されていれば、本文から読み取れる範囲でその内容について1つの図につき1行で説明してください。
(ここまで)
最後の部分も掲載しますが、おすすめの論文にハルシネーションが多く、GRADEシステムについても回答が不安定なので、これまでと比べて大きく内容を削っています。
プロンプト④——Take Home Messageを得る
(ここから)
＃続けて、以下の指示も実行してください。
特に持ち帰るべき学びのポイントを3,4個の箇条書きにまとめてください。
この論文のキーワードを5つ、ハッシュタグをつけて提示してください。
この論文をデータベースに保存したいです。バンクーバー方式で記載してください。
(ここまで)
結局、このジャーナルから何を学べるのか？それをまずは箇条書きでまとめてもらいます。続いて、キーワードを挙げてもらいます。
終わりに
ここまでのプロンプトを用いることで、ものの数分でジャーナルクラブの発表の骨格が出来上がります。あとは細かい部分の原文との整合性の確認をやったり、必要な図表を用意するなどすれば十分でしょう。
今回の用途ではGemini 1.5はChatGPT-4oやClaude 3 Sonnetと比べると見劣りする点も見られ、やや使いにくい印象です。いずれのAIを使用するにしても、最後の確認は人間が行う必要があります。その点は忘れないようにしてください。
最後までお読みいただき、ありがとうございました。
今後とも有益な情報を発信していきますので、応援よろしくお願い致します。
この記事が気に入ったらサポートをしてみませんか？