レビューに適当な文献数は？レビューの検索ではどのくらいの精度があればいい？
Carrieさんの #FiveMinuteFriday を拝聴して忘れないうちにメモします。
レビューに適当な文献数は？
これは、文献検索に関してよく話題に挙がるトピックと感じます。先日お話しさせて頂いた講座でも「検索語（関連語）はいくつあげたら十分ですか？」「何件くらいの結果だったら適当ですか？」といったご質問を受けました。（私の回答は、「ケースバイケース。レビュー担当者とご相談しながら落としどころを検討することが多いです」と言う内容を返した気がします。）
システマティックレビューやそのほかEvidence Synthesisにおいて、検索で取得する適当な文献数は、正解はない。扱うトピックによるし、レビューチームのキャパシティによる。と動画の中でも解説されています（と理解しました）
2.レビューの検索ではどのくらいの精度があればいい？
動画の中では、2011年のSampsonさんらの調査をご紹介なさっています。
今回の健康関連のシステマティックレビューでは、約3％の検索精度が一般的であった。この知見は、システマティックレビューチームがレビューリソースのニーズを評価する際や、情報専門家が検索を評価する際に役立つ。
精度3％は100件の文献をcriteriaに基づいてスクリーニングしたら3件が組み入れとなる。ということです。
この記事を読んでくださっている皆さんはこれを聞いてどのようにお感じになりますか？
経験的には妥当な印象です。が、これもリサーチクエスチョンや検索トピックによる気がします。
一般的に介入に関するSRではRCTを検索の対象とすることが多く、まだ新しいトピックの場合、報告されたRCTも限られていたりすると、比較的精度は高くなる可能性があります。
一方で、もうすでにたくさんの研究が行われていたり、使用したデータベースでシソーラスが使えない（索引が構造的に行われていない）などというような特性があると、ノイズが多くなってしまい精度が下がってしまう。ということもあるのではないでしょうか。
ヘルスケア関連のシステマティックレビューでは検索の精度に関する指標は公表されておらず、介入研究に関するcochrane handbookでは「検索は高感度を目指すべきであるが、相対的に精度が低くなる可能性がある。」と記載されています。（Cite this chapter as: Lefebvre C, Glanville J, Briscoe S, Featherstone R, Littlewood A, Metzendorf M-I, Noel-Storr A, Paynter R, Rader T, Thomas J, Wieland LS. Chapter 4: Searching for and selecting studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.4 (updated October 2023). Cochrane, 2023. Available from www.training.cochrane.org/handbook.）
一方で、精度が過度に低いと、システマティックレビューの作業（スクリーニング）が大幅に増え、レビュアーの負担が増え、結果的に関連する研究の見逃してしまうことにもなりかねません。
逆に精度が過度に高い検索結果は、過度に制限された検索戦略が取られ、関連する可能性がある研究を拾い逃しているのかもしれません。
データベースや研究デザインによっては、検索フィルター（hedge）の使用により高い精度を得ることが出来るが、エビデンスの網羅性を重視するシステマティックレビューでは、複数のデータベースを検索対象とするため、あるデータベースでは除外できた無関係な文献が、他のデータベースから取得されてしまう可能性がある。これによって、結果として全体の検索精度は下がってしまうということがあります。
系統的レビューを実施する際には、これらのトレードオフを踏まえ、レビュー担当者と検索担当者間で情報共有や議論を行いながら検索とスクリーニングのプロセスを慎重に設計することが重要ではないかと考えます。
結論としては、一般的には約3%という報告があるが、これもケースバイケースで正解はない。と個人的には考えています。
よくお見かけするターゲット論文だけ拾えばよくて、なるべくスクリーニング労力は減らすべく、検索をコントロールしていますみたいな「結果ありき」の検索。はライブラリアンやinformation specialistからみると一目瞭然だったりします。
そうでなくて、もし本当に検索語やシソーラスがわからない。という方はぜひお近くの図書館（ご所属の）スタッフまでご相談いただければ、よりよいレビューになると思いますので、ぜひライブラリアンを頼って頂きたいです。
下記3番目に挙げたMargaretさんのお話では1％という風にも仰っていました
参考・引用文献
1.Carrie Price. How Many Results Should Be Relevant? | Systematic Review | Five Minute Friday. https://www.youtube.com/watch?v=-Phztl8Ecvw
2.Sampson M, Tetzlaff J, Urquhart C. Precision of healthcare systematic review searches in a cross-sectional sample. Research Synthesis Methods. 2011;2(2):119-25. doi: https://doi.org/10.1002/jrsm.42.
3.Margaret Foster. Piecing Together Systematic Reviews. Phase 3: Production. https://www.youtube.com/watch?v=Qb7gt4ctHsg&t=11s