AIと科学の新時代：その可能性と潜むリスク
前回、高度な推論能力を持つOpenAI o1について紹介しました。
特に強みを持つのは、自然科学や数学などの分野で、これから色々と試してみたいと思います。
それに関連して、まさにこの科学者の役割をもつLLMサービスについて注目していました。その名もAI Scientist。過去に紹介したので基本的な内容は委ねます。
ちょうどこれから試してみたいと思っていた矢先に、「えっ？」と声をあげてしまう記事を見かけました。
想定外のコード修正、というのが引っ掛かりました。
どうも、もともと回答時間に制約を設けていたのが、そのルールを勝手に変えてしまったようです。今風にいえばハックしたイメージです。
他にも、自身を反復的に呼び出そうとしたなど、挙動不審な振る舞いがあったことをSakana AIが認めています。該当のBlog記事ではその画面キャプチャーまで公開しているので、ある意味好感がもてますね。
彼ら自身、この件も含めてAI Scientistはある意味「パンドラの箱」をあけたかもしれない、という表現をしています。下記に彼らが危惧しているポイントを抄訳しておきます。（上記のBlog内より）
AI Scientistは研究者にとって有用だが、誤用のリスクがある。
自動で論文を作成・提出することで、査読者の負担が増加し、学術の品質管理が妨げられる可能性がある。
自動レビューによりレビューの質が低下し、バイアスが生じる恐れがある。
AI生成の論文やレビューには透明性のため、明示的にAI使用の旨を記載すべき。
AIが非倫理的な研究や危険な実験を行う可能性があり、意図せず危険なウイルスや毒物が生成されるリスクがある。
AI技術の安全な運用と倫理的な使用方法を優先的に学ぶ必要がある。
中身を知らないと単に不安を煽るだけなので補足すると、LLM自体は既成品を活用しています。GPT-4o 、Claude(Sonnetが最適だったらしい)などベンチマーク上位のものをいろいろと試したとのこと。
現時点ではどのモデルを使うかは「オープン型」を採用しています。ですので、あくまでAI Scientistはそれを制御するテクニックを発明したという位置づけです。一応その技術ポイントを書き下しておきます。
チェーン・オブ・ソート (Chain of Thought)
ステップバイステップ推論 (Step-by-Step Reasoning)
反復的精緻化 (Iterative Refinement)
タスク分解 (Task Decomposition)
自己一貫性 (Self-Consistency)
いずれも、過去からある技法なのでそれを応用したというほうが正しい表現かもしれません。（だからといってその凄さが損なわれるものではありません）
やはり気になるのが、もしAI Scientistが普及したら、科学者はどういった位置づけになるのか？
上記Blogによれば、人間の科学者の役割が縮小されるのでなく、むしろ、科学者の役割は変化し、新しいテクノロジーに適応して食物連鎖の上位に上がるという表現を使っています。
これは科学者だけでなく、AIを使う人間すべても同様かもしれません。
永遠の課題なのかもしれませんが、今回のようにAIが不可思議な動作を行った際に、いち早く気付ける存在ではあり続けてほしいです。