見出し画像

New Rayyanの使い方(自分メモ)

【追記】2024/10/07 先週(9/30ごろ)月曜日からlegacyへのリンクが無限ループ(legacyへ切り替わらない)し、接続できない状況でしたが、Rayyanはlegacyバージョンをクローズしたそうです。

https://help.rayyan.ai/hc/en-us/categories/21833792715665-Rayyan-Legacy


個別に(legacyで実装されていたけど現行にはない機能など)リクエストや相談をすると対応してくれることもあるようですので、お困りの点は直接フォームからご連絡した方が良いかもしれません。




Rayyan気がついたら2024年6月に着々とスクリーニングが1レビューで出来る仕様に変更されていました
Introducing the All New Rayyan with Major Enhancements and Exclusive Features
現時点でバグなのか仕様なのか不明ですが分かりにくい点もあり、レビュー作る度にどうだっけとなっているので自分メモです

Legacyはそのうちにリタイアすると(公式には未表明?ですが)代理店のユサコさまより教えて頂きました。
新しい機能の追加はNew バージョンのみが対象となる(legacyには実装されない)そうです

使い方

1.Rayyanでレビューを作成します(ここは見た目は変わりましたがlegacyと同じ内容ですので迷わない気がします)

画面左のCreate New Reviewをクリックして作成したいレビューの名前ほか必要事項を入力する

2.Reviewに書誌情報を(データベースの検索結果など)からアップロードする
SRなどでは複数のデータベースを検索するため、ヒットした文献に重複が発生します。
重複除去作業はRayyanでも機能として持っていますが、私はEndNote(desktop版)で重複を除去した後、データベースごとにフィアルを分けてアップロードしています

書誌ファイルアップロードの画面例

3.念のためもう一度Rayyanでも重複を確認します(任意)
画面左のDetect Duplicatesをクリックし、重複候補と判断された文献について、確認の上、重複を解決する
*detect duplicatesの機能は書誌ファイルをアップロードしたユーザしか使えないようです。(他のユーザがアップしたファイルに対してこの機能を使おうとしても、重複チェックの結果が表示されないように見えます)

画面左側の Detect Duplicateをクリックすると自動で重複を判断してくれる
確認画面が表示されるのでProceedをクリック
Got Itをクリック
重複チェックの結果が真ん中ペインに表示さえれる

3.1. 新しいRayyanの重複比較の画面は並列に重複候補の文献を見比べることが出来るようになり、(個人的には)見やすくなったと思います
重複と判断できる場合、残したい方の文献情報のKeep XXX articleをクリック、重複でないと判断した場合、右上の Keep Both Articlesをクリック

重複の判断画面(新しいRayyanでは並列で表示されるようになりました)

4.(スクリーニングは2名以上で独立して行う必要があるので)レビュアーを招待する
レビュー画面(メニュー部分)レビュー名下の Overviewのタブを選択し、Review Membersの部分で右側のヒトマークのアイコン(Invite Members)をクリックし、招待したい方のメールアドレスや権限設定を選びinvite
**招待したい方にもRayyanアカウントをご作成いただく必要があります

Overview画面からレビュアーを招待
Review member invite画面(collaborator,reviewerなど役割により使える機能が異なる)

5.BlindをONにして、レビューで設定した包括/除外基準に基づいて、論題、抄録(文献により抄録のない文献、またはデータベースに抄録情報が登録されていない文献の場合は原則論題とシソーラス情報のみをもとに)の情報を確認し、1stスクリーニングを行う
レビュアー同士ですべてのdecisionがつけ終わったらBlindをOFFにしてconflictを確認

Blindの切り替えはownerのみが可能
レビュー画面(screeningのタブ)で、真ん中ペインのAll Articlesのプルダウンからconflictを選ぶとコンフリクト(意見が異なっている文献が確認できる)

6.コンフリクトの調整(どちらにそろえるか、そろえる方のreviewerはdecisionを変更する必要があります)が済んだら、2nd スクリーニングに進める文献(1次でincludeとなった文献等)をFull text Screeningの画面に取り込む
Full Text Screeningのタブをクリックし、2次に取り込む文献を選択し、画面右下のAddをクリック

Full Text Screening画面に取り込む文献を選択(ここでは1次でincludeとした文献を指定)し、Addをクリック


7. Full Text Screeningの画面に書誌情報が取り込まれるので、2次スクリーニング対象文献のフルテキストを入手し(PDF),RayyanのUpload機能を用いてPDFを文献に添付する
フルテキストを添付したい文献情報をクリックし、Uploadのアイコンをクリックすると添付画面が表示されるので、添付したいPDFを選択し、Uploadをクリック

Full Text 添付画面、PDFを選んだら右下のUploadをクリック

8.すべてのPDFを添付し終わったら、レビューで設定した包括/除外基準に基づいて、フルテキストの情報を確認し、2次スクリーニングをBlind ONの状態で行う。
添付したPDFをクリックすると本文が表示され、合わせて画面内にdecisionが表示されるのでinclude,exclude,maybeなどを選択
2ndスクリーニングの除外文献については除外の理由の報告が必要となるため、Reasonのメニューより除外理由を選択*
除外理由が複数ある場合、cochrane handbookでは除外理由の優先順位に応じてより上位設定している該当理由を選ぶと記載があります

2次スクリーニングの文献情報画面


PDFをクリックするとフルテキストが表示され、decisionも表示される


Exclude文献についてはReasonのプルダウンをクリックして除外理由を選ぶ


メニューにない理由を振りたい場合は、Reasonのフィールドに理由を入力し、右上のapplyをクリックすると個別の理由を追加可能

*

cochrane handbookの記載

9.すべての文献についてレビュアーのdecisionがつけ終わったらblindをOFFに切り替え、conflictを確認
コンフリクトについて相談して(相談で決まらない場合第3者判断など)解決する。

その他メモ

  • フィルター機能:これまでLegacyでは左側に表示されていたfilterは右側のフィルターっぽいアイコンをクリックしないと表示されません

フィルターは右上のアイコンをクリック
legacyではデフォルトで表示されていました
  • スクリーニング結果のエクスポート:フィルターマークの左側[…]をクリックし、Exportを選びファイル形式を指定してエクスポート(登録しているメールアドレスにダウンロードリンクが送信される)できます

スクリーニング結果のエクスポート


  • System IDからの検索も可能に:legacyではSystem IDでは検索ができませんでしたが、NewバージョンではSystem IDからの検索も可能になっていると教えていただきました

  • 1次スクリーニングと2次スクリーニングの過程が一続きになったことで、1次で文献につけたnoteやLabelが2次にも引き継がれるようになりました

  • legacyに表示されていた(書誌取り込み時の)noteフィールドが新しいバージョンのArticle Customizations:というフィールドが新設され、そちらに格納して表示されていました。PMIDなどを入れて登録するとフルテキストスクリーニング前のフルテキストverify作業に便利です

Article Customizations:フィールドが表示されるようになっています

Q & A
Q1.検索ボックスに論題を入力して検索しましたがヒットしません
A1.検索キーワードは英語でしょうか?現状は日本語などの検索には対応していないそうです。日本語の書誌を検索したい場合、Systeme IDや英語表記の情報を検索キーワードに選んで検索するとヒットします

Q2.フルテキスト(2次スクリーニング、上記6番目)へ書誌の取り込みができません
A2.2名以上のレビュアーで1次スクリーニングを行っていますか?現状では2名以上のレビュアーのdecisionがついた状態のデータでないと2次に進めることができない仕様に見えます
(2024.7.25)1名のみのdesicionでも2次に書誌をとりこめるようになっていました!

Q3. detect duplicateをクリックしたのに、反応がありません(重複除去ができません)
A3. すでに1回重複除去機能を使われていますか?新しいRayyanでは同一書誌には1回しかチェック機能を使えないとのことだそうです。。。。
もう一度書誌をアップし直してやり直すか、追加で(でも追加で何かアップしないと再び重複チェックをしない。という仕様がおかしいと個人的には感じますが)書誌をアップしたのちに、detect duplicateをクリックしてください。ユーザの皆さんのご意見が募れば仕様が変わるかもしれません。ぜひご要望を出しましょう


2024.7.14時点で気づいている不具合

?は、以下などです(代理店へ共有済み)
・PDFをアップロードしても、スクリーニング画面にアップしたPDFが添付されている状況が確認できるまでには(数分程度)タイムラグがあります
・続けて複数のPDFをそれぞれの文献に添付する作業をした場合、意図しないファイルが(間違って)添付されてしまう
・フィルターを使った際、Newでは(存在するのに)表示されないデータが出てきていることを確認しています
例)Year でフィルタリングした際、1993年出版の文献が(存在しているが)1993年のタブが表示されない←スクリーニングをYearでフィルタリングしながら進めている際、一部データはスクリーニングで表示されないので漏れてしまう

そのため、私は作業はlegacyに戻って行っています

EndNoteを使用した重複除去方法
WM, Giustini D, de Jonge GB, Holland L, Bekhuis T. De‐duplication of database search results for systematic reviews in EndNote. Journal of the Medical Library Association : JMLA. 2016;104(3):240‐243. doi:10.3163/1536‐5050.104.3.014
上記Bramer methodをベースにした方法で重複除去をした後、データベースごとにファイルを分けてRIS形式でEndNoteからExport出力し、Rayyanに取り込んでいます

・不具合にはいるのかは判断分かれますが、医中誌Webなど日本語の研究も対象にしてRayyanで重複除去をした際のノイズ
全然違うじゃん(一致可能性が表示されますが、チェックをかけると上がってきて判断しなくてはいけないので手間)っていうものも重複候補として上がってきます。現時点で日本語への弱さはとても感じており、開発元へフィードバックしてはいます。ユーザの皆さんもぜひフィードバックを

重複候補で上がってきた書誌の例


これは同じ論題で発表することの問題でもありますが

Auto resolversolver機能使った事ないのですが、うっかり使った場合
どのくらいの文献がfalese positiveで削除されるのでしょう。。。という怖さはあります(新しい機能のRayyanで評価した調査はまだ見かけたことがないです)
Sandra M, Mir ZM. Considerations for conducting systematic reviews: A follow-up study to evaluate the performance of various automated methods for reference de-duplication. Res Syn Meth. 2024; 1-9. doi:10.1002/jrsm.1736

いいなと思ったら応援しよう!