【研究のススメかた】避けるべき論文の見分け方

1. 記事の狙いと想定読者層

研究を進めるうえでのTIPSをまとめていくシリーズです。大学や大学院等における研究活動に関して、お読みいただいている皆さまになにかしら示唆をご提供できればという思いで書いています。

読者層としては、大学院等の研究機関で研究活動に取り組む方々を想定しています。今回テーマとして取り上げるのは、「避けるべき論文」、すなわちハゲタカジャーナルに掲載されている論文の見分け方。

2. 「避けるべき論文」とは？なぜ避ける必要があるのか？

このテーマで記事を書こうと思った背景がいくつかありまして、最大の要因はいわゆるハゲタカジャーナル（英語だと、Predatory Journal。ハゲタカだからってVulture journalとは言いません）の氾濫猖獗。以前、別記事「先行研究レビューの実作業のやりかた」でも触れましたが、世の中には一見学術誌の体裁をとりつつ、じつは粗悪な著作物であってもカネさえ払えば掲載するという商業出版媒体が存在します。

「ハゲタカジャーナルと呼ばれるそれらの媒体は一見学術誌っぽい見た目で、一見まともな論文っぽい著作物を載せていますが、中身は科学的妥当性に欠けるものがほとんどです。しかし、さまざまなプレイヤーのさまざまな思惑が相まって、今まさにこの瞬間にもハゲタカジャーナルの「掲載論文」の数は増え続けています。畢竟、ふつうに論文検索をするとそれらのハゲタカ掲載論文もヒットしてしまうので、きちんとフィルタリングして避ける必要があります。

ちなみに、言うまでもないことかもしれませんが、ハゲタカ掲載論文を一本でも参照/引用してしまうと、あなたの研究に対する信用は失墜します。

上述の通り、ハゲタカジャーナルではまともな査読をしたりしません（それが見分けるポイントにもなります。詳しくは後述）。再現性が担保されていようがいまいが、内容が破綻していようがいまいが、著者が数百ドル～数千ドルの「出版手数料」を支払いさえすれば掲載されます。あなたがそんなものを参考文献として仮説を構築したり、考察を述べたりすれば、当然あなたの研究も同等のものとみなされます。

（今回、非常に強い論調でハゲタカジャーナルを評しているので心理的抵抗感を覚える方もおられるかもしれません。しかし、科学研究というのは一つひとつの研究が再現性や妥当性を真っ当に検証されたうえで積み重ねられていくという前提のもとに行われる営みであり、ハゲタカジャーナルはその前提を喰いものにしているという意味であらゆる研究者の敵なんです。その点に鑑み、本記事の論調についてはご理解いただければ幸いです。）

3. 「生成AI検索」という、ハゲタカジャーナルにとっての恵みの雨

なぜ今「避けるべき論文の見分け方」に関する記事を書こうと思ったかというと、生成AIの普及による影響が大きくなってきたためです。2022年11月末のOpenAI社によるChatGPT公開から１年半経った本記事執筆時点（2024年6月）では、一般ユーザーが論文検索に使える生成AIサービスが少なくとも１ダース以上存在します。

あなたにも、「◯◯に関連する論文を探して」といったプロンプトで生成AIに論文を検索させた経験があったりしませんか？

生成AIを用いた論文検索自体は、先行研究レビュー作業を効率化するために有効な手筋であり、必ずしも問題というわけではありません。ただし、入力するプロンプトにちょっと工夫をしないと（これも後述します）、生成AIはハゲタカ掲載論文も「効率的に」集めてきてしまいます。

というのも、ほとんどの生成AIは情報量が多い参照先を優先する傾向があるからです。その場合何が起こるかというと、多くの学術誌が掲載論文の公開範囲を限定している一方で、ハゲタカジャーナルの大半は掲載した著作物をフルテキスト閲覧・DL可能な状態で全文公開している（そうすることで、「オープンアクセス化のためのシステムの構築保守等に必要」という口実で著者に出版手数料を請求している）ため、デフォルト状態だと生成AIはハゲタカ掲載論文を拾いやすくなります。

こうした構造を意識せずに生成AIに情報探索をさせると、検索結果にはハゲタカ掲載論文が紛れ込みやすくなります。もちろんGoogle Scholarなど他の検索ツールを使ってもハゲタカ掲載論文を拾ってしまうことはありますが、現時点での生成AI検索は特にそのリスクが高く、注意喚起が必要だと思ったのが、本記事を執筆しようと思ったもう一つの理由です。

ちなみに、「とはいえ便利だし、やっぱり生成AIで論文検索はしたい」というのはあるかと思います。分かります。実際、僕もたまに使います。
　
そこで、ご参考までにハゲタカ掲載論文をフィルタリングするために僕がどうやっているかを合わせてご紹介します。
　
１．プロンプトを工夫する
上述の通り、デフォルト状態のままで「◯◯に関する論文を探して」とやってしまうと生成AIはハゲタカ掲載論文を拾ってくる可能性が大きいです。そこで、入力するプロンプトの中で、
「論文を探すときは、（学術出版大手である）Science、Sage、Springer Nature、Talor&Francis、Routledge、Elsevier、McGraw-Hill、Wileyから出版されている査読付きジャーナルに掲載されたものを優先して」
「当該論文の参照先リンクを必ず添付して」
と、条件を指定します。これで、検索結果の精度はかなり向上します。
　
２．ChatGPTじゃなくて、Perplexity.aiを使う
生成AIには、それぞれ個性があります。ChatGPTは一番有名でユーザー数もダントツなので使われている方も多いかと思いますが、こと論文検索に関していうとPerplexity.aiというサービスのほうが本記事執筆時点では優れているかなと僕は思います。Perplexityは情報収集や検索に特化したAIで、入力したプロンプト（たとえば、「◯◯に関する論文を探して」など）に対して、回答をいきなり返す前に検索精度を上げるために追加の質問（たとえば「あなたが特に興味を持っているのは、◯◯に関するサブテーマのうち、△△ですか、◇◇ですか、それとも☆☆ですか？」など）をしてきたり、検索結果には必ず参照先リンクをつけてくれたりと、質の高い情報収集が行えるようにする工夫が組み込まれています。
　
３．ヒットした論文は必ずダブルチェックする
Perplexityを使ったとしても、ハゲタカ掲載論文がヒットするのをゼロにはできません。なので、生成AI検索で面白そうな論文がヒットしたら、必ずそのタイトル名をGoogle Scholarで再度検索したりして「本当にその論文が存在するか」「その論文は真っ当なジャーナルに掲載されたものか」をダブルチェックするようにしています。手間がかかるように思われるかもしれませんが、ダブルチェックのためのマウス操作やクリックに要する時間はせいぜい数十秒。そもそも生成AIで検索プロセス自体効率化しているわけなので、これくらいのコストは（信用失墜を防ぐための）保険料と思うのが良きかと僕は考えます。
　
繰り返しになってしまいますが、生成AI検索自体は単なる手段です。手段に振りまわされてあなたの研究に対する信用を失墜させることのないよう、以上の手筋がご参考となるようでしたら幸甚です。

4. 「避けるべき論文」を、すばやく効率的に見抜くための３つのポイント

ここまで、「避けるべき論文」とは何か、なぜそれを意識する必要があるのかを生成AIの勃興という状況要因も交えながらご説明しました。ここからは、実際に検索結果に含まれる論文が避けるべきハゲタカ掲載論文なのかどうかをすばやく、効率的に見抜くために、僕がチェックしているポイントをご紹介します。

なお、ここで「すばやく、効率的に」としているのが一つ重要な点です。

というのも、ある程度修練を積んだ研究者（博士課程の大学院生含む想定。修士課程だとまだ厳しいかな？）であれば、ある論文がハゲタカ掲載論文かどうかは「読みこめば分かる」ものだからです。ハゲタカジャーナルはまともな査読をしないので、真っ当なジャーナルに掲載された論文と比べると、論理展開がおかしい、データ分析の仕方が支離滅裂であるなど、明らかに質が低い。なので、ハゲタカ掲載論文を避けるうえでのシンプルな解決策は、「検索してヒットした論文は一旦全部読み込んで、ハゲタカ掲載論文だと分かったものは選り分ける」ということになります。

しかし、現実的にはこの「しらみつぶしに読み込んで、ハゲタカ論文だと分かったら捨てる」戦略はほぼ役に立ちません。

先行研究レビューを一度でもやったことがある人なら分かると思いますが、研究のために参考文献を読むのは、複数のフェーズから成る段階的なプロセスです。具体的には、研究テーマに関連しそうなキーワードで検索をかけ、ヒットしたものの中からタイトルや被引用件数等でアタリをつけ、アブストラクトをざっと読んで、よさそうならそこで初めて本文に目を通す…といった具合に、少しずつ絞り込みの網の範囲を狭めながら進めていきます。キーワード検索でヒットする論文は（テーマにもよりますが）数十万～数百万本にのぼるため、めぼしそうなものだけでも「すべて本文に目を通す」は物理的に不可能です。つまり、「ハゲタカ掲載論文を避けたい」と思ったときには、つねに「参考文献をなるべく効率的に探したい」というもう一つのニーズも同時に満たす必要があるわけです（下図参照）。

理想としては検索結果を一瞥しただけで真贋見極めがつけばいいんですが、残念ながらそこまでの秘技を僕は持ち合わせません。それでも、以下の３つのポイントを押さえることで、じゅうぶん効率的にハゲタカ掲載論文を見分けることはできます。

① ジャーナル名をチェックする

ハゲタカ掲載論文はハゲタカジャーナルに掲載されているので、「あっ、これハゲタカジャーナルだ」という見極めができれば、論文の中身やアブストラクトに目を通さずとも「避けるべき論文」の判別ができます。

もちろんハゲタカジャーナルは何百とあるので、すべてのジャーナル名を暗記することはできません（そんなことに脳のメモリを使いたくもないですし）。しかし、ハゲタカジャーナルをまとめてくれている『Beall's List』というサイトがあるので、こちらでジャーナル名がリストアップされていればビンゴです。ブックマークしておいて、ちょっとでも怪しそうであれば呼吸するように「Beallでチェック」するクセをつけましょう。

また、ハゲタカジャーナルは「なぜそれらが一緒に!?」と思うような整合性のないタイトルになっていたり、逆にどんな分野の研究でも対象になりそうなくらいめちゃくちゃ抽象的なジャーナル名がつけられていたりします。Beall's Listに載っているものから拾うと、前者なら「Academic Research in Science, Engineering, Art, and Management」、後者だと「Academy of Science and Social Science」とか。ハゲタカジャーナルはとにかく誰でもいいから著作物を受けつけたい（そうすることで収益機会を最大化できる）ので、こういう無闇矢鱈に間口が広いジャーナル名をつけるんだと思われますが、見抜く側としてはそれが一つの手がかりになるというわけです。

② 受付から掲載決定までの期間をチェックする

２つめのポイントは、チェックしたい論文の１ページめに記載されている「初回投稿受付（Received）」から「掲載決定（Accepted）」までの期間です。

ジャーナルに投稿された論文は匿名のレフェリーに送られて査読を受け、レフェリーから寄せられた批評をもとに著者が書き直しをして再投稿し、ふたたび査読を受け…というキャッチボールを何度も繰り返して、最終的にジャーナルで公開してよいという掲載決定にいたります。論文の質やジャンルによっても変わってきますが、ふつう最初の投稿が受けつけられてから掲載決定にいたるまでには短くても１年弱、長いと何年にも及ぶものです。

しかし、ハゲタカジャーナルは受けつけた著作物をさっさと掲載して著者から手数料をとりたいので、まともな査読をしません。最初の受付から１～２週間で、形だけのコメントとともに「Congratulations！あなたの論文は栄えある我がジャーナルでの掲載が決定しました！」というメールを送ってきます。

論文の１ページめには、「初回投稿受付（Received）」と「掲載決定（Accepted）」の日付が記載されていますので、それらの間が異様に短い場合にはハゲタカジャーナルの可能性大と判断します。

③ 論文の体裁/フォーマットをチェックする

１ページめに「投稿受付」と「掲載決定」の日付が記載されていないときは、論文の体裁やフォーマットをチェックしましょう。

学術論文には、”Style”と呼ばれる、定式化されたフォーマットがあります。心理学系であればAmerican Psychological Association（APA）Style、経済学やマネジメント系ならChicago StyleないしはHarvard Styleなど、いくつかの流派に分かれはしますが、博士課程の大学院生または博士号取得済みの研究者の方であれば、だいたいご自分の分野ではコレというフォーマットをご存知だし、ふだんから使っているかと思います。

ハゲタカジャーナルはまともな査読をしないので、こうした定式化されたフォーマットに沿っていない著作物でも平気でそのまま掲載しています。なので、これはどっちかなぁ…と迷う論文があったら、ざざっと全体に目を通して、体裁やフォーマットに違和感を覚えないかをチェックするようにすれば、詳細を読み込んだあげくにハゲタカ掲載論文だと判明して時間をムダにする、という悲しみを予防できます。

5. まとめ

長文にお目通しいただき、ありがとうございます。今回は、研究活動において「避けるべき論文」、すなわちハゲタカジャーナル掲載論文をいかにすばやく、効率的に見分けるかというテーマについてご説明しました。

ハゲタカジャーナルは営利目的で運営されており、マーケティングにも長けています。生成AIにうまく拾ってもらえるようにチューニングもしていたりする節があり、ただ「気をつける」だけだとなにかの拍子にハゲタカ掲載論文があなたの研究の参考文献リストに紛れ込むリスクを抑えることができません。しかし、かといって検索してヒットした論文すべてを仔細に読み込んでハゲタカ掲載論文かどうかを一つひとつ選り分けていくというのも現実的ではありません。

このトレードオフを解決するために、本記事では「ジャーナル名」「受付から掲載決定までの期間」「体裁/フォーマット」という３つのチェックすべきポイントをご紹介しました。皆さんが研究活動を行われるうえで、本記事がなにかのご参考となるようでしたら、幸いです。