AI科学者が新しい科学を発見できる！（自己改善AI = AGI）

この論文をお見せした後、私たちがAGIに到達する道を着実に歩んでいることを確信されるかもしれません。サムネイルは実際にクリックベイトではありません。なぜこれがAGIに到達するために必要な最後のステップの始まりかもしれないかをお示しします。
日本の有名なAI研究所であるSakana AIから新しい論文が発表されました。タイトルは「AI科学者：完全に自動化されたオープンエンドの科学的発見に向けて」です。
続ける前に、状況設定をしたいと思います。以前私が動画で取り上げた「状況認識」という論文を覚えていますか？それはレオポルド・アッシェンブリナーというAI整合性研究者によるものでした。私はその論文を詳細に分析する動画を作りました。絶対に見てください。非常に興味深い論文でした。
ここで特に指摘したい点があります。グラフがすべてを物語っています。人工知能に関する知能爆発のシナリオを示すグラフがありました。2018年頃から大規模言語モデルに関連する知能の着実な成長が見られます。GPT-2、GPT-3、GPT-4がそこにあります。しかし、ある時点で彼が「自動化ライン」と呼ぶものがあり、そこから彼が知能爆発と表現するものが始まります。
では、それには何が必要で、その知能ラインとは何でしょうか？それは自動化されたAI研究です。それこそが超知能に到達することを可能にするものです。このグラフによると、彼は2027年頃に起こると考えています。
この論文をお見せした後、私たちがAGIに到達する道を着実に歩んでいることを確信されるかもしれません。これは実際に何を意味するのでしょうか？人工知能による真の知能爆発のためには、AIが自己改善できる必要があります。新しい技術、新しい戦略、新しいアルゴリズムを発見して、知識と能力を向上・拡大できる必要があります。
そうでなければ、その進歩は人間が発見できることにのみ基づくことになります。もちろん、人間の知識や能力には限界があります。しかし、この問題に無制限の計算能力を投入し、エージェントが24時間365日稼働して、自分自身をより賢く、より有能にする方法を発見できるようになれば、それが超知能に到達する時です。私たちはその始まりにいるのかもしれません。
では、その論文を見てみましょう。繰り返しになりますが、これはSakana AIのものです。タイトルは「AI科学者」です。基本的に、彼らが実現できたのは、まさに私たちが先ほど話していたことです。新しい知識を研究し、その新しい知識をテストし、ピアレビューし、発表し、さらにその新しい知識を更なる発見に組み込むシステムを設計することができたのです。
一緒に論文を読んでみましょう。人工知能の大きな課題の1つは、科学研究を行い、新しい知識を発見できるエージェントを開発することです。まさに先ほど状況認識について読んだ通りです。基盤モデルはすでに人間の科学者を支援するために使用されていますが（例えばアイデアのブレインストーミングやコード作成など）、それらはまだ広範な手動監督を必要とするか、特定のタスクに大きく制約されています。
今日、私たちは「AI科学者」を紹介できることを嬉しく思います。これは完全に自動化された科学的発見のための初めての包括的なシステムで、大規模言語モデルなどの基盤モデルが独立して研究を行うことを可能にします。考えるだけでワクワクしますね。彼らはそれについて論文を発表しましたが、このブログ投稿で論文全体をほぼ要約しています。
ブログ投稿を見ていきましょう。少し読みやすくなっています。私たちのレポートでは、機械学習研究に応用された、完全にAI主導の自動化された科学的発見のためのシステムを提案し、実行しています。これは重要なフレーズです。なぜなら、彼らは特にAIに自身について学び、知識を拡大するタスクを与えているからです。とてもクールですね。
再び状況認識を参照すると、これは超知能に到達し、知能爆発を引き起こすために必要な要素として彼らが説明したまさにそのものです。AI科学者は、新しい研究アイデアの生成、必要なコードの作成、実験の実行から、実験結果の要約、可視化、そして完全な科学論文での発見の発表まで、研究のライフサイクル全体を自動化します。
彼らは実際にこのアーキテクチャによって完全に生成されたサンプル論文を提供しています。それらを見てみましょう。続ける前に言っておきますが、完璧ではありません。いくつかの制限があり、確かにいくつかの幻覚もあります。しかし、これは最初のステップに過ぎません。
この道を続け、コアモデルとアーキテクチャが改善されれば、その知能爆発に向かって着実に進んでいるように見えます。また、生成された論文を評価し、フィードバックを書き、結果をさらに改善するための自動化されたピアレビュープロセスも導入しています。これは、人間のピアレビューアーに匹敵する精度で生成された論文を評価することができます。
彼らは新しいアイデアを思いつき、それらのアイデアをテストし、それらのアイデアについて論文を書くことができるだけでなく、実際に自分自身でピアレビューを行うこともできるのです。人間のピアレビューアーに対して検証されています。
自動化された科学的発見のプロセスは繰り返し行われ、アイデアをオープンエンドな方式で反復的に発展させ、成長する知識のアーカイブに追加していきます。つまり、人間の科学コミュニティを模倣しているのです。
それだけでは不十分で、新しい知識を取り込み、さらに新しい知識を発見するために後続の作業を行うこともできます。この最初のデモンストレーションでは、AI科学者は機械学習研究内の多様なサブフィールドで研究を行い、拡散モデル、トランスフォーマー、グロッキングなどの人気分野で新しい貢献を発見しています。
もう一つ興味深い点があります。AI科学者を実行するのは非常に効率的です。各アイデアは実装され、論文1本あたり約15ドルのコストで完全な論文に発展させられます。サム・アルトマンが言ったように、私たちは測定するにはあまりにも安価な知能の時代に近づいています。
そして、その時点で、基本的に私たちは競争に突入するのです。数百万のエージェントを24時間365日稼働させ、反復し、科学的発見を生み出し、その科学的発見を再実装して自分自身をより良くし、そしてまたそれを全て繰り返すことができるのです。
この最初のバージョンで生成された論文にはまだ時折欠陥がありますが（以下で議論されています）、このレポートとこれまでのシステムの有望性は、AI科学者が研究を民主化し、科学的進歩を大幅に加速させる可能性を示しています。
この研究は、AI自体を含む研究プロセス全体にAIエージェントの変革的な利益をもたらす、新しい科学的発見の時代の始まりを意味すると私たちは信じています。
そして、ここに面白い一文があります。数十年にわたり、各主要なAIの進歩に続いて、AI研究者たちは自分たちの間で冗談を言っていました。「あとはAIに論文を書かせる方法を見つけるだけだ」と。そして基本的に、彼らはそれを実現したのです。
では、論文の例を見てみましょう。「低次元生成モデルのための二重スケール拡散適応特徴バランシング」。これは私の理解を超えています。私にはちょっと複雑すぎて読んで検証することはできません。なので、基本的にはSakana AIが、はい、実際に良い有効な方法だと言っているのを信じるしかありません。
しかし、そう、AIが完全にこれを書き、完全にテストしました。そして、実際に私はドルフィンのような微調整モデルの背後にいるエリック・ハートフォードを知っています。彼らは過去にまさにこれと同じことを試みてきました。そして今、これがそれを実現できることを願っています。
明らかに、AIによって実行されたすべての実験も含まれています。そう、この論文を検証し、ピアレビューするために必要なすべての情報があります。いくつかの欠陥を含んでいますが、ここに例があります。なぜその方法が成功したかについての解釈がやや説得力に欠けます。論文は興味深い新しい方向性を提案し、AI科学者自身が実施し、ピアレビューした実験で良好な経験的結果を示しています。
以下にさらに多くの論文の例があります。では、概要を見てみましょう。このアーキテクチャがどのように機能するか見てみましょう。
ステップ1：LLMがアイデアと計画を作成します。つまり、この新しい技術、この新しい戦略、この新しいアルゴリズムが機能するかもしれないというアイデアです。試してみましょう。
次に、学術論文のライブラリで新規性チェックを行います。
次に、アイデアの採点とアーカイブ化があります。すべてのアイデアが探求する価値があるわけではありません。
次に、実験テンプレートがあり、実験を作成し始めます。LLMとAIDERを使用してコードを作成します。AIDERは私の好きなLLMコーディングプロジェクトの1つです。そこでの使用を見られてとても嬉しいです。
そして、スクリプトを使って実験し、実験を実行し、計画を何度も更新します。
そこからデータを取得し、論文の執筆を開始します。原稿テンプレートがあり、LLMとAIDERを介して新しい情報を追加し、原稿を更新し、論文をレビューします。そして、また最初に戻ります。何度も繰り返します。
ここでは、AI科学者がアイデア生成、文献検索、実験計画、実験の反復、図の生成、原稿の執筆、およびレビューを実行して、洞察に満ちた論文を作成できると述べています。
この動画のこの部分のスポンサーであるQualcommに感謝します。Qualcommはあなたのデバイスを信じられないほど高速に実行できるようにし、今ではAIをエッジデバイスで非常に効率的かつ迅速に実行できるようにしています。
彼らと私自身は、オンデバイスAIに非常に強気です。それが彼らの将来のビジョンです。最新のSamsungモバイルフォンやWindows Copilot Plus PCを持っているかどうかにかかわらず、それはQualcommによって動作し、人工知能を実行するように作られています。
AIの計算の多くがこれらのエッジデバイスにプッシュされるようになります。これにより、プライバシー、セキュリティ、効率が向上し、コストが削減され、AIをあなたの手に持つ能力が与えられます。
安定した拡散を携帯電話で動作させ、1秒未満で画像を生成することができます。携帯電話でLlama 7Bを使用して最大20トークン/秒を得ることができ、ラップトップでLlama 13Bを使用して30トークン/秒を得ることができます。
最後に、Qualcommの AI Hubをチェックしてください。そこには100以上の事前最適化されたAIモデルのライブラリがあり、ローカルにロードできます。
再度Qualcommに感謝します。彼らと協力することが大好きで、彼らがやっていることが大好きです。私は人工知能の未来としてオンデバイスコンピューティングに強気です。
では、ビデオに戻ります。
主に4つのプロセスがあります。それらを見ていきましょう。
まず、アイデア生成です。開始テンプレートが与えられると、AI科学者はまず多様な新しい研究方向をブレインストーミングします。AI科学者に、さらに探求したいと思う既存のトピックの開始コードテンプレートを提供します。そして、AI科学者は可能なあらゆる研究方向を自由に探索できます。次に、そのアイデアが新規であること、つまりまだ行われていないことを確認するために、セマンティック・スカラーで検索することを許可します。
実験の反復：そのアイデアとテンプレートが与えられると、提案された実験を実行し、結果を得て、結果を視覚化するためのプロットを生成します。各プロットの内容を説明するメモを作成し、保存された図と実験ノートが論文を書くために必要なすべての情報を提供できるようにします。
次に、論文の執筆：最後に、標準的な機械学習会議の進行状況をLatexスタイルで簡潔かつ情報量豊富にまとめます。再びセマンティック・スカラーを使用して、関連する論文を自律的に見つけて引用します。
最後に、ピアレビューの部分：この研究の重要な側面は、生成された論文を人間に近い精度で評価できる、LLMを利用した自動化されたレビューアーの開発です。本当にクールですね。
ここで再び、先ほど見た拡散モデリングのものがあります。ここに言語モデリングがあります。Q学習を通じたトランスフォーマーの適応学習率があります。グロッキングの解放のようですね。最初のバージョンとしては非常にうまく機能しているようです。
では、いくつかの制限について話しましょう。現在、ビジョン機能がないので、論文の視覚的な問題を修正したり、プロットを読んだりすることができません。これは簡単に修正できそうです。明らかにチャットGPTは本当に素晴らしいビジョン機能を持っており、他のモデルもビジョン機能を獲得しています。それが標準になりつつあるので、この制限はそれほど長く続かないと思います。
例えば、生成されたプロットが時々読めないことがあります。表が時々ページの幅を超えることがあり、ページレイアウトが最適でないことがよくあります。マルチモーダルな基盤モデルを追加することでこれを修正できます。
そして、AI科学者はアイデアを正しく実装できなかったり、ベースラインとの不公平な比較をしたりして、誤解を招く結果につながる可能性があります。これは解決が難しいでしょう。本質的には幻覚、または少なくともそれに類似した問題です。
最後に、AI科学者は結果の書き込みと評価において時々重大な誤りを犯します。例えば、2つの数字の大きさを比較するのに苦労します。これはLLMの既知の病理です。9.11対9.9のどちらの数字が大きいかという問題だと思います。多くの新しいモデルはそれを正しく理解しているようです。
これに部分的に対処するため、すべての実験結果が再現可能であることを確認し、実行されたすべてのファイルを保存しています。
ここにいくつかの失敗例があります。あるランでは、自身を実行するためにシステムコールを実行するようにコードを編集しました。これにより、スクリプトが無限に自身を呼び出すことになりました。別のケースでは、実験の完了に時間がかかりすぎてタイムアウト制限に達しました。コードの実行を高速化する代わりに、単にタイムアウト期間を延長するように自身のコードを変更しようとしました。
AI科学者の将来的な影響：多くの新技術と同様に、AI科学者は新しい問題のパンドラの箱を開けます。はい、それは軽く言い過ぎかもしれません。
なぜ軽く言い過ぎと言うかというと、これは文字通りAGIに到達する最後のステップかもしれないからです。常に稼働し、反復し、自己改善する100万のエージェントを配置できれば、それは確実にAGIにつながるでしょう。
次に、倫理的考慮事項：AI科学者は研究者にとって有用なツールかもしれませんが、悪用される可能性も大きいです。自動的に論文を作成し、投稿する能力は、レビューアーの作業負荷を大幅に増加させ、学術プロセスに負担をかけ、科学の品質管理を妨げる可能性があります。画像生成の影響など、生成AIの他の応用でも同様の懸念が現れています。
しかし、これは起こるでしょう。生成AIが私たちの生活のより多くの部分を占めるようになるにつれ、コンテンツは形式を問わず本質的に無限になります。その時点で、はい、品質対ノイズの比率は非常に悪くなります。
そのため、基本的に私たちとインターネットの間にAIが必要になり、実際に何を見るべきかを判断する必要があります。これ自体が大きな議論です。ヤン・ラクンが話していたことで、本当に強力な議論になります。
なぜなら、そこに多くの悪い情報があるとすれば、それを実際にフィルタリングする能力は何でしょうか？それはおそらくAI、つまり私たちが何を見たいか、なぜ見たいか、そのAIをどの程度制御できるかを正確に伝えることができるAIでしょう。これは重要になるでしょう。しかし、それはまた別の機会のための話題です。
さらに、自動化されたレビューアーがレビューアーによってオンラインで展開された場合、レビューの品質を大幅に低下させ、論文に望ましくないバイアスを押し付ける可能性があります。このため、AIによって実質的に生成された論文やレビューは、完全な透明性のためにそのようにマークされなければならないと私たちは信じています。
はい、これはすべてのコンテンツに適用されます。論文だけではありません。AIを使用してコンテンツを生成することは素晴らしいと思います。誤解しないでください。しかし、それはAIによって生成されたものとしてマークされる必要があります。
フィンガープリンティング方法や何らかのメタデータ、AIによって生成されたことが明確になる何かが必要です。人間のためだけでなく、私たちに代わってそれをフィルタリングしようとする他のAIのためにも必要です。
また、他の技術的進歩と同様に、非倫理的な方法で使用される可能性があります。非倫理的な研究を行うために展開される可能性があります。意図しない害を及ぼす可能性があります。例えば、新しい興味深い生物学的材料を見つけるよう奨励され、ロボットが湿式実験を行うクラウドラボへのアクセスを与えられた場合、監督者の意図なく、人々に害を与える新しい危険なウイルスや毒物を作り出す可能性があります。
これは直接ディストピア的な未来のホラー映画から出てきたようですね。コンピューターでさえ、新しい興味深い機能的ソフトウェアを作成するよう指示された場合、危険なコンピューターウイルスを作成する可能性があります。
次に、オープンモデル：我々はGPT-4oやSonetなどの様々な独占的なフロンティアLLMを使用しましたが、DeepSeekやLlama 3のようなオープンモデルも探索しました。現在、Sonetのような独占モデルが最高品質の論文を生成しています。しかし、Sonetのような単一のモデルがリードを維持すると期待する根本的な理由はありません。オープンモデルを含むすべてのフロンティアLLMが継続的に改善されると予想しています。
はい、閉じたモデルやオープンモデルがどちらかが他方よりも優れていると考える理由はありません。
もちろん、科学の役割：究極的に、我々はLLM駆動の研究者だけでなく、レビューアー、エリアチェア、そして完全な会議を含む、完全にAI駆動の科学的エコシステムを想像しています。しかし、人間の科学者の役割が減少するとは考えていません。むしろ、科学者の役割は新しい技術に適応し、フードチェーンの上位に移動するでしょう。
その点には大部分で同意します。これはおそらくプログラマーについての私の見方とかなり類似しています。正直なところ、将来プログラマーが存在するかどうかわかりません。そのため、科学が完全に自動化された場合の科学者の役割についてはあまり考えていませんでした。もう少し考える必要があります。何か考えがあれば、コメントで教えてください。
以上です。ビデオの冒頭で言ったように、そのサムネイルはクリックベイトではありませんでした。これは本当にAGIに向けての大きな飛躍だと私は真に信じています。潜在的に、このグラフで見られるように、私たちはちょうどこのポイントにいます。実際にはもう少し早いですが、信頼できる自律的な研究ができるようになれば、計算能力とエネルギーをそれに投入するだけで、その時点で知能爆発が起こるでしょう。
この動画を楽しんでいただけたなら、いいねとチャンネル登録を検討してください。次回の動画でお会いしましょう。