【要約】Nature誌に掲載されたChatGPTの科学への応用に対するcomment記事

2023年2月8日 12:12

はじめに

Large Language Model （LLM）の一つであるChatGPTの科学における使用についてEva A M van Disrらの、Natureに出版されたComment記事を要約しました。
重要と思われるポイントを直訳しつつまとめただけです。内容の正否に関しては保証しかねますので、詳細は原著を確認してください。
原著はここからアクセス

Chat GPT: five priorities

ChatGPTに代表されるLLMは2022年末にリリースされたばかりであるが、論文の執筆だけでなく、査読も短縮することが期待されているが。LLMは自身をもって誤ることがしばしばある、そのため科学をゆがめる可能性がしてきされている。
著者らは、このようなLLM自体は不可欠で禁止する必要はないと考えているが、この破壊的なテクノロジーに対してリサーチコミュニティは議論する必要がある。ここでは議論を始めるスタート地点として５つの問題を取り上げる。

１．人による評価を待つ必要がある

LLMｓによる検索は複雑な質問についても有益な情報を提供する。
しかし、科学につかう場合、不正確さやバイアス、盗作のおそれがある
うつ病治療後に再燃する患者はどれくらいいるか？という質問に対し、
ChatGPTは典型的には治療効果は長く続くと答えた。
しかし実際は29-51%の患者で１年以内に再発するというエビデンスがある。

こういったことは、関連する論文が学習サンプルに含まれていないことに起因するかもしれない。
人間でも起こりうるように、論文へのアクセスや選択はしばしばバイアスを生じうる。
会話型AIではこのようなバイアスはしばしば増長される。

他にもいかにあrげるようなリスクもある
・美しい文書に惑わされて誤った情報を論文に採用してしまうリスク（ハロー効果）がある。
・引用元を知らずに自然に盗作してしまうリスク。
・Chatbotに入力した情報はモデルに組み込まれ原典を記すことなく転用されてしまう。
人間の自動化バイアス（自動システムに過度に依存する）を防ぐために、説明責任の重要性を強調することがさらに重要になる。

２．説明責任を果たすためのルールづくり

研究コミュニティと出版社は、誠実さ、透明性、正直さをもってLLMを利用する方法を考案すべきである。
研究論文の著者紹介文や謝辞には、原稿作成や分析にChatGPTなどのAI技術を使用したかどうか、またどの程度使用したかを明確に、具体的に記載する必要があると考える。

現時点では、LLMｓ自体が自らの仕事の責任をとれないため、著者になるべきではない。
将来LLMは多くのソフトウェアに組み込まれ、意図せずに著者が校正などに使用するかもしれない。
これは、誰かが著者であるかないか、出典が使用されたかどうかという、著者権、剽窃、出典の定義に反するものである。

３．真に開かれたLLMに投資する

最も喫緊の課題は透明性が欠けていることである。
少数のIT企業が開発しているものしかなく、独占状態であり倫理的な懸念がある。
学習セットが公開されておらず、IT企業がこれを隠している。
著者が複数の研究者の研究内容について質問したところ、h-index20前後の研究者については返答があったが、高名な80前後の研究者については答えられなかった。（つまり学習セットの偏りがある）
そこで非営利団体、大学などに出資しオープンソースAIの実装を急ぐべきである。
学術出版社は、モデルが正確で包括的な結果を出すために、LLMがその全アーカイブにアクセスできるようにする必要がある。

４．AIのメリットを取り入れる

アカデミアの仕事量と競争が激化する中では、AI Chatbotは様々なタスク完了を迅速化できるかもしれない。
前述の問題が解決されれば、イノベーションが加速し、ブレークスルーにつながる可能性がある。
将来のAIツールは、今日では手が届かないと思われる科学的プロセスの側面を習得することができるかもしれない。
一方で、検索スキルの低下などを招く可能性がある。
しかし、会話型AI技術が科学出版プロセスのすべての段階にますます影響を及ぼすようになることは間違いない。

５．議論を広げる

まず、すべての研究グループが、（まだであれば）直ちにChatGPTについて議論し、自分たちで試すためのミーティングを持つことが推奨される。
教育関係者は、学部生とその使用方法と倫理について話し合うべきだ。
研究の貢献者は、それがChatGPTで生成されたかどうかにかかわらず、
自らの仕事に対して責任を負うことになることを思い出す必要がある。

著者らは、異なる分野の科学者、テクノロジー企業、大規模な研究助成機関、などなどの関連ステークホルダーのためのサミットを開催すべきと提案している。
取り組むべき重要な問題の一つは、研究の多様性と不平等への影響である。
高所得国や特権的な研究者は、自国の研究を加速させ、不平等を拡大させる方法でLLMを利用する方法をすぐに見つける可能性が高いのである。

ポイントは機会を受け入れ、リスクを管理することである。
著者らは科学の多くの重要な側面を失うことなく、科学が会話型AIから利益を得る方法を見出すことができると信じている。と結んでいる。

おわりに

Eva A M van DisらのNatureに掲載されたChat GPTに関するComment記事を要約しました。内容に関してはかならず原文で確認をお願い致します。