2. 自然言語モデルを用いたコーチングAI開発に向けた課題 - 学術論文の「汚染」
はじめに
自然言語生成AIは、大規模のデータを元に文章を作成する能力を有しています。ただし、生成される文章は学習に用いられたデータに基づいたものであるため、学習データに不適切な情報や信頼性の低い情報が含まれている場合は、その自然言語生成AIから生成される文章もまた不適切で信頼性の低いものとなります。
我々は、大量のスポーツ科学論文を学習させた独自の自然言語生成AIの開発に取り組んでいますが、そこで大きな問題となるのが学術論文の「汚染」です。今回は、近年問題視されているペーパーミルを紹介するとともに我々の開発戦略について、ご紹介していきます。
論文公開までのプロセス
我々研究者の主な仕事は、論文を執筆し、研究成果を世の中に発信していくことにあります。しかし、多くの方は論文を作成した経験がないと思いますので、まずは、論文公開までのプロセスをご紹介します。
0. 研究・論文執筆
ここでは、あくまで論文を投稿して公開までのプロセスの紹介を目的としていますので、研究および論文執筆のプロセスは割愛します。
1. 論文投稿
研究内容に適した学術誌に投稿します。
2. 査読
学術誌の編集者（Editor）が論文を読み、論文の内容および品質が学術誌に適したものであるかを評価します。実は、この段階で不採択（reject）されることも少なくありません。
幸運にも、編集者による査読を通過すると、複数名の査読者（reviewer）へと我々の論文が送られて、正式な査読のプロセスに移ります。査読者は学術雑誌が選定する最前線で研究する一流の研究者です。
第三者の研究者の中から選ばれた査読者が、論文の内容に加えて、研究不正や倫理的な問題がないか、査読を行います。
3. 修正と再投稿
査読が終了すると、査読者からのコメントが執筆者に届きます。査読者の修正要件に合わせて、実験の追加や文章の修正を行い、再投稿を行います。査読者とのやりとりが1往復で終わることもあれば、1~2年ほどかけて何度も査読・修正を繰り返すことも少なくありません。
4. 公開
査読者が出版・公開に値すると評価してもらえたらようやく出版となり、全世界に公開になります。
このように、複数人の研究者によるチェックを行うことで、研究不正のない学術的に有用な論文のみが出版される仕組みになっています。しかし、この多重チェックを掻い潜って、不正まみれの論文が公開されることがあります。
不正論文製造工場「ペーパーミル」
ペーパーミルとは、不正な手段で論文を量産する業者を指します。代金の支払いという金銭授受が存在することもあり、全く実験を行っていないにもかかわらず、すべての実験データをでっち上げて作成してしまうこともあります。適切な査読プロセスを踏まずにペーパーミルだらけの学術誌もあると言われています。研究者が読めばペーパーミルだなと見破ることもできますが、研究経験のない人が気づくには難しいほど巧妙に作られています。
ペーパーミルは、学術論文の汚染を広げて、学術界の信頼性に悪影響を及ぼします。学術界は対策を推し進め、品質管理の向上と信頼性の維持に努めています。ただ、学術論文の生成AIの台頭により、ペーパーミルの生産性が向上していくと考えられ、学術論文の汚染がさらに進むことが懸念されます。（Else H, Van Noorden R. The fight against fake-paper factories that churn out sham science. Nature. 2021）
我々の開発戦略
我々は、コーチングAIの開発に際して、スポーツ科学論文の大規模データベースの構築に取り組んでいます。そのとき、ペーパーミルによる論文や品質の低い論文は、コーチングAIの精度・信頼性を押し下げるものであり、問題視しています。そこで、我々は、データベース構築において査読を導入することにしました。科学の信頼性を担保するプロセスである査読を、AIに代替させるべきものではないと考え、人力で地道に取り組んでいます。
スポーツ科学論文全般を学習させていた開発当初は、著しく精度が低く、苦慮しました。しかし、査読を導入したことで、回答精度が改善しました。AIからの出力時には参考にした文献も示すようになっているため、ユーザー自身が齟齬がないか検証することもできます。
お問い合わせ先
公式サイト：https://next13-experiment-next.vercel.app/
twitter：https://twitter.com/spo_coaching_ai
Instagram：https://www.instagram.com/spo_coaching_ai/
メール：sportscoachingai@gmail.com