ChatGPTでPubmedの検索式を作ってみる

この記事を読みChatGPTを練習しているところですが、先日のnoteのイベントがlogmiで読めるようになっていました。

あなたの仕事が劇的に変わる!? チャットAI使いこなし最前線

この記事を参考にChatGPTでpubmedの検索式を作成してみました。更にChatGPTでその検索式の改善案も提案してもらいました。

Elicitで十分ですって！？そんなこと言わんといて下さい笑

ちなみに使ったのはChatGPT Mar 14 Version. Free Research Preview.です。

プロンプト案

深津式プロンプト・システムを丸パクリさせて頂きました。

# Ordering:
You are a physical therapist. You are looking for medical articles.
Please output a "pubmed search formula" based on the following constraints.

# Constraints:
	・The output must be in English.
	・I want to find a treatment plan for the patient in the input.
	・The search formula should use tiab and mesh tags.
	・There are many different names for stroke. Please make your search comprehensive so that we can respond to many of them.

# Input sentence:
Patients: 脳卒中
Intervention: トレッドミル
Outcome: 歩行速度

# pubmed search formula:

自分なりに考えてみたのは以下の部分です。日本語をDeepLで英訳したものなのでそもそもの改善案はありそうです。

• 自分は理学療法士なのでphysical therapistとしていますが単純にDoctorでも良いと思います。

• pubmedの検索式なので出力は英語

• tiabとmeshタグを使わせる

• 例えば脳卒中と言っても被殻出血とかラクナ梗塞など引っかからないことも考慮して（基本的にはmeshでいけると思うけど）、 There are many different names for stroke. Please make your search comprehensive so that we can respond to many of them. を追加した

出力

((("Stroke"[Mesh] OR cerebrovascular accident*[tiab] OR cerebrovascular infarct*[tiab] OR cerebral infarct*[tiab] OR brain attack*[tiab] OR intracranial hemorrhage*[tiab] OR subarachnoid hemorrhage*[tiab] OR subdural hemorrhage*[tiab]) AND ("Treadmill Exercise"[Mesh] OR treadmill*[tiab])) AND ("Gait Velocity"[Mesh] OR walking speed*[tiab]))

何も言わずにワイルドカードを使ってくれましたが、これはプロンプトに入れても良さそうです。

改善案をChatGPTに聞き直す

ここから更に改善案を提案させます。目的は検索漏れを減らすことにしました。

# Ordering 
I am a physical therapist.
I am trying to come up with a search formula to do a systematic review.
Please suggest improvements to the search formula for input sentences based on the following constraints

# Constraints
Output is only in English
Output the improved pubmed search formula and the reason for it
Propose improvements to minimize search omissions.
Use tiab and mesh tags

# Input Sentences
((("Stroke"[Mesh] OR cerebrovascular accident*[tiab] OR cerebrovascular infarct*[tiab] OR cerebral infarct*[tiab] OR brain attack*[tiab] OR intracranial hemorrhage*[tiab] OR subarachnoid hemorrhage*[tiab] OR subdural hemorrhage*[tiab]) AND ("Treadmill Exercise"[Mesh] OR treadmill*[tiab])) AND ("Gait Velocity"[Mesh] OR walking speed*[tiab]))

# Output statement
Search formula for pubmed:


Reason :

• 検索漏れを減らすという目的で命令文にsystematic reviewを入れたり、制約条件に "Propose improvements to minimize search omissions." という文章を明示しました。

• Input Sentencesは先ほど出力された結果をコピペです。

• Output statement（sentencesでよかった？）は検索式とその理由の2つを出力するようにしてみました。

検索結果

最初の検索式：145件

修正した検索式：252件

100件増えました

注意点

ChatGPTの使用上毎回結果が異なるのでChatGPT自体の結果の再現性は求められません。良い感じの時もあればイマイチな時もありました。

また一件もヒットしないワードが散見されます。そのワードは違う言葉に置き換えないと検索漏れする可能性もあるかもしれないなと感じました。

改善案に関しては何度かしていると意図していない改善案を出してくることもあります。（アウトカムは歩行速度としてあるのに「自立度も大事なのでアウトカムに追加しました！」的な提案をされた）

Systematic Reviewは再現性が大事なので、あくまでも検索式を作る過程のアシスタントとして利用しながら、自分で適宜修正するのが良いのかなと思いました。できた検索式は再現性がありますので（検索日などはあるけど…）。

個人的に考えるChatGPT & pubmedの使い所

• 英語での検索ワードがわからない時の参考に使う

• 類義語に慣れる

• meshに慣れる

• 自分が見落としそうな癖に気づく

ChatGPTを使いながら検索式の改善案を提案してもらうことで自分の気づきを増やすのも1つの使い方かなと思いました。

まとめ

今回はChatGPTを使ってpubmedの検索式を作成してみました。
結果の再現性や質の保証はできないと思いますが、論文検索慣れていない人（自分とか）が論文に触れるハードルが下がれば良いのかなと思います。
そもそもGPT-4を使えばまた変わる可能性もあるかなと思っています。

改善案などあればコメントいただければ幸いです。