DORA私的雑感
山形方人（JAAS理事）
このほど、JAASでは、その研究環境改善ワーキンググループの有志の間で議論し、科学振興の立場から、学術の健全で多様な発展を支持し、多様な観点で研究内容の評価を行うことを、社会全体で共有すべき価値観と考え、DORAの署名を通じて表明することとなりました。DORAは、American Association for the Advancement of Science（AAAS、Science誌を発行）などのJAASが参考にしている欧米の機関も署名しています。
JAASによるDORAの署名を通じて、「DORA（ドーラ）って何？」ということで、多くの方にDORAについて知っていただく機会となればと思います。
このエッセイでは、DORAや研究評価について、多くの皆様に考えていただきたいことを「私的」な雑感としてまとめてみました。
インパクトファクターとDORAの知名度
数年前、民放のあるテレビドラマで、２人の医学部教授が人事に有利になるように、より高い数値の「インパクトファクター」の獲得を目指して競い合うという場面がありました。そのドラマでは、そもそも「インパクトファクター」の概念が理解されておらず、研究者の間では単なるエンターテイメントで終わってしまいましたが、DORAは「インパクトファクター」を競い合いに利用してはならないというのが趣旨です。現実社会でも、国立大学法人の人事公募の応募書類にインパクトファクターを記入させるというようなことも、しばしば行われているのです。プレスリリースに発表論文のインパクトファクターをわざわざ添付するというようなことも行われています。テレビドラマでも、「インパクトファクター」だけでなく、DORAについても取り上げて欲しかったです。
ということで、インパクトファクターは研究者でない一般の方にもお馴染みになっているほど知名度があるのですが、研究者でもDORAを知らない方がおられるので驚くこともあります。インパクトファクターを知っている人と同じくらいDORAについて知っている人がいて欲しいと願うのですが、DORAがどの程度、研究者や社会に知られているのか、というのは興味のあるところです。
参考文献
科学者をまどわす魔法の数字、インパクト・ファクターの正体---誤用の悪影響と賢い使い方を考える（麻生一枝、2021、日本評論社）
被引用回数では真の研究評価はできない
雑誌のインパクトファクターではなく、個々の論文の被引用回数ならば健全な評価ができるのではないか、という主張もあります。これには、いくつかの注意点があると思います。
論文の被引用はその研究分野や研究テーマの規模（研究者人口や論文数）に依存しているので、研究者が多く、活発な分野ほど、被引用回数は上昇します。例えば、医学分野で「がん」「免疫」といったことに関係した分野はそのようなものに相当すると思われます。これはこうした分野がその時には大切だと考えられている証拠でもあると思いますが、一方で被引用回数を、他の分野の研究論文と比較するのは非常に危険です。
論文の被引用には研究内容とは関係ないバイアスがかかっていることが知られています。有名な著者や機関の論文の方が、そうでない論文よりも引用されやすい傾向があります。最近では、論文の被引用の傾向に、発表した研究者のジェンダー、年齢、人種、国籍など、研究内容そのものとは関係ない因子が相関しているという分析や考察が多数発表されています。
論文の被引用には時間的な経過で評価が変化することが考慮されていません。画期的な論文や独創的な論文は、発表当初はあまり引用されないことがありますが、突然評価され始めることがあります。既存の研究成果を踏襲した論文は発表直後から多く引用されやすいです。発表直後には一時的に大きく評価され引用されたのに、短期間で評価が急激に低下することもあります。
論文の被引用にはさまざまな理由があります。論文の内容に同意している場合、批判的に引用している場合、誤解して引用している場合、自分で自分の論文を必然性なく多数引用する場合、著者同士の個人的な関係で引用している場合（「被引用カルテル」）など、引用の仕方にはさまざまな種類があり、その一部には不正とも見なされる引用もあります。
論文の種類によって被引用の傾向が異なります。例えば、総説や方法論についての論文は、一般の研究論文より引用されやすいです。多くの分野では英語で書かれた論文の方が、他の言語で書かれた論文よりも引用されます。
論文が引用されるうちはまだ本物ではないというように、誰もが常識と認めるような研究成果になると、論文は引用されなくなります。
被引用回数をもとにした研究評価には弊害も多いことは認識されるべきでしょう。被引用回数を重視するあまり、研究の質よりも被引用回数を増やすことに重点を置いた研究活動が行われる可能性があります（ハッキング）。また、被引用回数が重視されることで、斬新なアイデアや独創的な研究テーマよりも、既存の研究の流れに沿った研究テーマの方が評価されやすくなります。その結果、研究の多様性が失われ、科学の発展が阻害される可能性があります。論文や研究を評価する際には、被引用回数以外にも様々な要素を考慮し、総合的な判断を行う必要があります。
下がりつつある日本発の論文の注目度
近年、日本発の論文の注目度が低下しつつあることが、さまざまな数値的分析で明らかになってきています。これは、多くの研究者が感覚的にも実感していることだと思います。
そこで、このような状況に対処するために、「インパクトファクター」の高い雑誌に研究を多く発表する必要があり、そういったインセンティブを人事や研究助成に反映させようという意見が当然のようにでてくるわけです。これは大学などの国際的な研究機関のランキング、更には日本国内の「選択と集中」型の助成のあり方とも関わってきます。極端な場合、「インパクトファクター」の高い雑誌に論文を発表する研究者が、なんらクリティカルな判断を受けることなく各種の研究費の総取りというような状況になってしまうこともしばしば観察されます。
逆に言えば、世界がDORAの趣旨を理解し、多様で健全な研究評価をしていないから、日本政府の施策や諸機関の運営がそれに踊らされているという見方もできると思います。その意味でも、日本の研究機関や助成機関が、DORAの趣旨に沿った雑誌のインパクトファクターや表面的な数値ベースでない独自の評価を積極的に行い、そのような研究を支援し世界に発信していくことが重要になると思います。研究評価を掲載雑誌のインパクトファクターに頼らないといけないのは、裏返せば研究評価力が低いということの証拠でもあります。日本の研究者の独自の研究評価力を高める必要があります（日本の研究評価力を向上する方法については、別の機会にまとめてみたいと思います）。
DORAをためらう背景
これは競争の激しい分野でよくあると思うのですが、DORAの理念について、「そういうのは嫉妬やルサンチマンから来ているのだ。君はインパクトファクターの高い雑誌に発表してから、文句を言ったらどうか。」「Natureに論文も発表したことないくせに、偉そうなことを言うな。」とか、そういう教員もいるのではないか、と思うのです（私のまわりにも現実にそのような教員がいました）。実際に、そう言われるから、インパクトファクターの高い雑誌に発表した経験がない若手の研究者もDORAに賛同できずに、賛同しようという意見が抑えられてしまうということは結構あるのではないか、と想像しています。
これとも関係しているのですが、研究機関でも上位とされる大規模な研究機関がDORAに最初に署名するということが実際に起こっているように感じます。インパクトファクターの高い雑誌に出してきた実績のある研究機関だから堂々と署名できるということです。一方、実績の乏しい小規模な研究機関がDORAに署名するというのは、語弊がある言い方かもしれませんが、厳しい世間の目が向けられるリスクということもあるように思います。
しかし、健全な研究評価とは、掲載雑誌といったメトリクス的な要素を排除し、さまざまな研究を評価することができるということです。小規模の研究機関こそ、日本の科学技術を支える多様な研究の担い手として、積極的にDORA理念の誇りある実践に取り組んでいただきたいと感じます。
DORAの誤用？
インパクトファクターの誤用はよく言われることですが、一方、これとは逆に、DORAの趣旨を言い訳にして、研究評価を歪めるというような姿勢も、一部の研究者の間に見られることがあります。
たとえば、インパクトファクターの高い雑誌に発表した研究者を排除して、凡庸な研究者や陳腐な研究を保護するための人事や研究費分配、研究成果の理由付けに利用されるということがあるのです。DORAやインパクトファクターを方便のようにこういう使い分けをする現状があるので、結構不信感を抱いている人もいるのではないでしょうか。
多様で健全な研究評価とは、掲載雑誌名に依存しないということですが、研究を無分別にどれもこれも高く評価するということでないことにも注意するべきだと思います。
一般社会や教育でも理解されるべきDORA
研究を紹介するというサイエンスコミュニケーション的には、多量の論文が日々掲載されていくメガジャーナルに出た論文に全部目を通して、紹介したくなるような優れた研究を探すのは結構難しいのです。逆に、インパクトファクターの高い雑誌に発表された論文を紹介すれば、重要性も面白さも容易に伝えることができるので、安易に選んでしまうということがあると思います。
メディアによる報道でも、インパクトファクターの高い雑誌なら雑誌名を入れて報道するのに、そうでないと「英文誌に発表した」などと雑誌名を伏せて報道するといった姿勢は掲載雑誌で研究内容を判断している例であると思います。こういったことは、研究者の人事とか研究費にかかわる大学や研究機関の問題ではなくて、メディアや受け入れる一般社会の問題でもあるわけです。
大学や大学院教育でも、例えばインパクトファクターの高い雑誌での発表を狙えというような指導を教授がすれば、データを小出しに発表せず、大きくまとめるという方針になります。あるいは、共同研究でも、この図はあなた、この実験は君というように、論文全体をひとつの研究として一人がまとめるのではない、インパクトファクターの高い雑誌に発表することだけが目的となった指導が行われ、研究者育成や教育目的とは違う形での指導が行われてしまうわけです。こういうことを考えると、研究室の主催やメンタリングにあたっても、インパクトファクターは教育や人材育成ということにも大きく関わってくるわけです。
まとめ
以上指摘したような問題は、結局のところ、DORAが推奨するように「出版物のみならず研究のすべての成果の価値とインパクトを検討すべきであり、質的指標を含む幅広いインパクトの評価基準を考慮」するという習慣、文化が多くの人に理解され、日常のこととして実践されていけば、解決していく問題なのであろうと思います。