大学の研究力の測り方 ─「質」、「量」、そして「厚み」

※本稿は、2018年に公開された以下記事をもとにしています。
doi : https://doi.org/10.5363/tits.23.12_64
学術の動向　2018 年 23 巻 12 号 p. 12_64-12_67
PDF: https://www.jstage.jst.go.jp/article/tits/23/12/23_12_64/_pdf/-char/ja

世界大学ランキングと研究力を測る指標の調査

　2013年に政府が「世界大学ランキング100位以内に10校入れる」 ［日本再興戦略、2013］ことを目標とすることを表明して以来、世界大学ランキングの順位が常に議論の的になっている。しかし、多くのアカデミアの有識者がすでに指摘している通り、各種世界大学ランキングでは、再現可能な透明性のある順位付けが行われているわけではない。複数の指標のミックスの仕方はそれぞれのランキング会社ごとに秘伝のレシピがあり、だからこそ、世界大学ランキングの順位では、大学の研究力を客観的に知ることはできない。

　そうした中、何をもって大学の研究力を測ればよいのかが課題となる。大学の研究分野ごとの研究力の特徴を把握するための指標・手法の開発を行う必要性が文部科学省において議論され（文部科学省・科学技術・学術審議会・学術分科会、2016年5月）、これをうけて、科学研究費助成事業・特別研究促進費として、研究力分析指標プロジェクト（小泉周代表）が採択され、2016年5月から2年間の調査検討を行った。

研究力を測る指標からみる日本の現状 

―「量」より「質」が問題

　世界大学ランキングについては順位はたしかに研究力を測る指標とするのは間違いであるものの、そのランキングを決めるために集められる客観的指標のうちのいくつかは、大学の研究力を測る上で、重要なものだ。

　多くの世界大学ランキングでは、研究のアウトプットの「量」を示す論文数（あらゆる文献タイプ、最近では、本や本の章もカウントされる）や、その論文の「質」を示す被引用数（どれだけ引用されたか）を組み合わせている。とくに後者について、Times Higher Education（THE）世界大学ランキング ［Times Higher Education,2018］においては、分野ごとに引用の傾向が大きく異なることから、FWCI（Field Weighted Citation Impact） ［Elsevier, 2014］と呼ばれる分野や文献タイプ・年度などで補正された分野補正された引用度をもととしたものとなっている。

　これらの指標をみてみると、たしかに、日本全体の論文数は下がっており、世界におけるシェアも失われている。しかし、一方で、大学別にみてみると、日本の研究大学ごとの論文数は、決して、諸外国の大学と比べて少ないわけではない。むしろFWCIや、被引用度のトップ論文（トップ10％論文など）に代表されるような「質」の指標が悪いことがわかる。

　日本全体では、FWCI（平均の質）は世界平均以下0.96（＜1）となっている。よく中国発の論文は、「質」が悪いといわれるが、それも今となっては迷信であり、たしかに20年前は、中国のFWCIは、日本の半分以下であったが、最近では日本と肩を並べ、むしろ日本の論文の質は、中国のそれに追い抜かされようとしている。

　以下、東京大学とシンガポール国立大学を、いくつかの「量」および「質」の指標で比較してみる（表1）。まず気づくことは、東京大学は、シンガポール国立大学よりも多くの「量」を出していることがわかる。一方で、FWCIやトップ論文割合などの「質」の指標では、太刀打ちできていない。とくに、THE世界大学ランキングの順位とFWCIはよく相関することが知られており、このあたりの「質」の指標が悪いことが、世界大学ランキングの順位にも影響している。この「質」が悪い傾向は、日本の他の研究大学でも同じだ。

　つまり、いまの日本の研究大学においては、「量」よりも「質」が、より問題なのだ。

「量」と「質」では測れない「厚み」

　その一方で、我々の研究チームでは、従来の「量」と「質」では評価できない、「厚み」という概念があることを見出した。「量」と「質」の指標だけで研究を測ることでは見えないものがある。以下、すでに我々の報告書にも記載していた例をあげて説明したい ［小泉、調、清家、2018］。

　たとえば、仮に、University Aと University Bの分野Xにおける研究力を比較しよう（図1）。それぞれ一つ一つの円が論文をあわらし、その中の数字は、被引用数である。University Aは、52回引用されている論文があり、それ以外の論文は、そこまで被引用数が多くない。それに対して、University Bは、論文数も少なく、トップ論文もないが、しっかり引用されている論文が集まっている。

　この二つの大学について、従来の量と質の指標（論文数、被引用数の合計、平均の被引用数、トップ論文数）を用いて比較してみると、そのすべてにおいて、University AのほうがUniversity Bより優れているという評価になってしまう。しかし、実際には、University Aは、トップ論文1本があるだけであ、University Bのような安定的な生産性をもった状況は評価されない。

　つまり、ここで、University Bのような安定的で厚みのある研究力を評価する指標が必要なのである。こうした状況を我々は、「厚み」として定義する。さらに、こうした大学の研究力の「厚み」を図る指標として、我々は、institutional h5-indexを提案する。従来の h-index［Hirsch, 2005］を大学や機関レベルにあてはめたもので、また、過去の歴史の長さに依存させないために、過去5年間という区切りをつけてみたものである。つまり、大学や分野ごとなど、ある5年間の発表論文群を分析し、「被引用数がX回以上の論文がX本ある」としたとき、このXの数字を、その大学や分野ごとの論文群のinstitutional h5-indexと定義する。

　これをさきほどのUniversity AとUniversityBに あ て は め て 比 較 し て み よ う（ 図1）。University Aの 論 文 群 を 被 引 用 数 で リ ス トすると、3本目の論文が引用数3であるから、institutional h5-indexは3と な る（ 被 引 用 数 が3回以上の論文が3本ある）。一方、University Bの論文群を被引用数でリストすると、6本目の論文が引用数6であるから、institutional h5-indexは6となる（被引用数が6回以上の論文が6本ある）。つまり、この指標によって、はじめて、University Bの研究力が評価することができた。

　これを実際の大学にあてはめてみよう（表1）。この表にある東京大学の例をみてもわかるように、実は、日本の大学はこの「厚み」で見てみると、よりよく維持されていることがわかる。東京大学をはじめとする日本の研究大学の「厚み」は、アジアの有力大学よりも優れているのだ。「量」や「質」だけでは評価できない、「厚み」という特徴を、日本の研究大学はもっている。

　また、この「厚み」の概念は、大学の研究分野ごとに測ることができる。今後、研究大学が、それぞれの特徴に応じ研究分野について「選択と集中」をすすめていくのであれば、その際に、怖いのは、「量」・「質」だけで評価してしまって、せっかく「厚み」があるのに、支援されない分野がでてしまうことだ。「厚み」は、研究大学が、今後より先進的な研究をすすめていく上で、土台となるものである。「厚み」の上に、トップ論文のような「質」を作り上げていく、そういう戦略を、大学も、そして国も、とっていくべきと考える。

「良い研究」とは何か？

　では、最後に、こうした指標から、大学や研究者にとって、「良い研究とは何か？」は言えるだろうか。

　少なくとも言えることは、何か単独の指標や、「質」や「量」の指標だけで「良い研究かどうか」を判断することは出来ないということだ。「厚み」も含めて、様々な観点で研究力を見る必要があることは言うまでもない。

　たとえば、日本経済新聞（2018年6月4日）の大学の国際比較の分析の中では、「量」の指標として論文数（本や本の章を含む）、「質」の指標としてFWCI、「厚み」の指標としてinstitutional h5-index、さらに、「生産性」の指標としてトップ10％論文数／ active authors（論文を執筆している研究者数）を大学ごとに分析した。こうした指標を組み合わせることで、立体的に、その大学の研究力の特徴を把握することができる。

　しかし、そもそも根本的な疑問として、たとえば、被引用度が高い論文を出すことだけが、「質」の高い、「良い研究」なのだろうか？　

　研究者として考えれば、私自身、自分の中で研究者人生として自信がある論文は、決して被引用度が高い論文ではない。Natureに掲載された論文など、より多くの研究者に興味をもってもらえる論文は、被引用度が高い傾向にあるのはその通りだが、自分として自信のある論文は、より専門的な玄人好みの論文であり、かつ、共同研究者をはじめとするその分野の研究者たち
といっしょに十分なディスカッションを行いながら一つ一つ積み上げていった、その分野にとって、小さいながらもエポックとなるような論文だ。そうした論文こそが、自分自身にとって「良い研究」であったと思っている。そうした論文は、専門性が高く、玄人好みなものであればあるほど、少なくとも論文発表当初は被引用度は高くなく、指標だけみれば「良い論文」とは言えなくなってしまう。

　つまり、「良い研究とは何か？」といえば、それは、必ずしも指標では評価できないようなものだと思う。研究者一人一人が「自分が誇りと思える研究」をし、研究成果を世に発表していく営みこそが、「良い研究」であるといえるのではないか。

むしろ、現在、多くの研究者が、単年度主義的な評価や指標に振り回され、自分でも良い研究だと思える研究ができてない現状こそが問題なのだと思う。研究者が委縮せず、やりたいと思う研究をのびのびと行えるような環境をつくることが、研究力強化の近道ではないだろうか。

引用文献

日本再興戦略. (2013). 参照先: https://www.kantei.go.jp/jp/singi/keizaisaisei/pdf/saikou_jpn.pdf

Times Higher Education. (2018). World University Rankings 2018.
参照先: https://www.timeshighereducation.com/news/world-university-rankings-2018-results-announced

Elsevier. (2014). SciVal Metrics Guidebook (Version 1.01).

小泉、調、清家. (2018). 特別研究促進費「研究力分析指標プロ
ジェクト」報告書（2016-2017年度）. 参照先: https://www.ruconsortium.jp/site/tf/248.html

Hirsch E. J. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, vol. 102, no. 46, p.16569-16572.

文献情報

doi : https://doi.org/10.5363/tits.23.12_64
学術の動向　2018 年 23 巻 12 号 p. 12_64-12_67