見出し画像

もっとも影響力のある論文を書いているAI研究者

Zun-Beho

OpenAIの技術スタッフジェイソン・ウェイ氏は、Google Scholarでは研究評価の指標が総引用数、h-index、i10-indexなどに設定されており、研究の品質よりも量を優先する傾向があると指摘しています。

ジェイソン氏が提案する新しいメトリクス

ジェイソン氏はGoogle Scholarは論文あたりの引用数の中央値をメトリクスにすべきと主張しています。彼は下記のポストの中でgoogleスプレッドシートにまとめた各AI研究者の論文についてのデータを共有しています。

ジェイソン氏提案のメトリクスの数値の高い研究者

彼が指摘する新しいメトリクスは研究者に対して「品質重視」のインセンティブを与えます。これらのメトリクスにもいくつかの落とし穴があります。

  1. フィールドによる違い: AIと理論数学での引用数は大きく異なる可能性があります。

  2. 会社と大学の違い: 会社で働いている研究者は、インパクトを持つ論文を書くことが期待されているため、これらの指標が高くなる可能性があります。

このような新しいメトリクスが採用されれば、科学研究の「品質」に対する考え方や、それをどう評価するかが大きく変わる可能性があります。それは、科学がより健全な方向に進むための良い一歩かもしれません。

Median citations per paper（論文あたりの中央値引用数）

これは研究者が「どれだけの影響力のある論文を平均的に書いているか」を示すもので、一種の品質指標とも言えます。
1位と2位の研究者とその解析結果は以下の通りです。

  1. Kaiming He

    • 1論文あたりの中央値引用数（Median citations per paper）: 699

    • 100回以上引用された論文の割合: 86.3%

  2. Alec Radford

    • 1論文あたりの中央値引用数（Median citations per paper）: 440

    • 100回以上引用された論文の割合: 81.3%

Percent of papers with 100+ citations（100回以上引用された論文の割合）

これは研究者がどれだけ「影響力のある」研究をしているかを示す指標です。これが高ければ高いほど、その研究者はコミュニティ内で影響力があると言えるでしょう。
Percent of papers with 100+ citations"（100回以上引用された論文の割合）が最も高かったのはKaiming Heさんで、その値は86.3%です。この数値は、Kaiming Heさんが書いた論文の中で100回以上引用されたものが全体の約86.3%を占めているということを示しています。

出身地による分布を試みてみた

このジェイソン氏の制作したDifferent metrics than what Google Scholar showsを見ると、色んな出身地をオリジナルとする名前が並んでいます。そこで、GPT-4に名前から出身地のオリジナルを割り出してもらいました。その上で、GPT-4 Advanced Data Analysisに「影響力のある」研究ランキング上位のAI研究者を民族別棒グラフにしてもらいました。

English-speekingは典型的な英語圏（特にアメリカ、イギリス、カナダなど）の事です。北米エリアに住むグレートブリテン島にルーツを持つ人々とアフリカ系の人々です。

注目に値するのは北米圏が39人でそれに迫るのは中華にルーツを持つ人々が38人いる事です。そして悲しいかな、日本人は最下位で東大の松尾先生ただ一人です。

TIME 100/AI に日本人０

ちなみにTIMEがあげるAI技術者100名に日本人は取り上げられていません。真に人材がいないのです。AI後進国日本、これからの未来はあるのでしょうか？



この記事が気に入ったらサポートをしてみませんか？