AIモデルが5億年の進化をシミュレーションして新たなタンパク質を創造! ESM3は生物学のための言語モデル

今日、AI界には大きなニュースがいくつかあります。まず一つ目は、この言語モデルを使って5億年の進化をシミュレーションするESM3についてです。また、Etchedという会社についても話します。彼らは、NVIDIAや他のどの製品よりもはるかに高速な、史上最速のAIチップをリリースすると主張しています。1秒間に50万トークン以上を処理できるそうです。私の計算が正しければ、これはハリー・ポッターシリーズ全巻を3秒以内に書き上げるのと同じくらいの速さです。
この会社には多くの著名な支援者やバッカーがいます。ピーター・ティール、バラジ・スリニバサン、スタンリー・ドレンミラー、ブライアン・ジョンソンなどです。ブライアン・ジョンソンといえば、「死なない男」として知られる少し変わった人物ですね。彼は死なないようにしようと必死になっている人です。でも、それについてはまた後で話しましょう。
さて、これはとても興味深い展開です。Googleのディープマインドが開発したAlphafoldについては聞いたことがあると思います。これは、タンパク質の非常に複雑な3D構造を予測する能力を持っています。タンパク質は生命の構成要素であり、生命を可能にする小さな工場のようなものです。この投稿によると、タンパク質は驚くべき動的分子で、信じられないほどの機能を持っています。運動を可能にする分子エンジンから、光合成、骨格、目や耳のようなセンサー、そして情報処理システム、つまり私たちの脳まで、あらゆるものがタンパク質です。
これらは生命システムを操作するプログラムであり、プログラム可能なのです。リボソームはRNAの形でタンパク質のコードを受け取り、それを一から組み立てます。これは原子レベルでの製造です。これらは特定の機能を果たすようにプログラムされた小さな工場で、生命におけるあらゆることを可能にしています。地球上のすべての生物のすべての細胞には、数千から数百万のこのような分子工場があります。
対照的に、私たちが作る機械、道具、工場は、その表面をかすかに引っ掻いているだけです。私たちはこれらの複雑さのレベルにはまだ遠く及びません。この記事の要点を要約するような一文があります。「生命のコードを読み書きすることができれば、生物学をプログラム可能にできるでしょう。生命そのものをプログラムできるようになるのです。私たちの試行錯誤のアプローチは論理に置き換えられ、骨の折れる実験はシミュレーションに置き換えられるでしょう。」
例えば、現在の特定の薬の開発方法は、壁に何かを投げつけて何が付くか見る、というのとそれほど違わないと言えるかもしれません。完全に不正確ではありませんが。多くの異なるものを試し、骨の折れる実験があり、予期せぬ副作用があります。このプロセスは機能しますが、改善の余地が多くあります。このコードを書いて、カスタムタンパク質を作成し、それらがどのように機能するかを理解できるようになれば、それはゲームチェンジャーになるでしょう。
そこで彼らは自身とESM3を紹介しています。これはフロンティア言語モデルです。ChatGPT、Geminiなどと同様に言語モデルですが、こちらは生命のコードでプログラムし、創造するために作られています。その目的は、構造物、機械、マイクロチップ、ソフトウェアを設計するのと同じように、第一原理から生物学を設計することです。
ここで彼らは、この技術ができることの例を挙げています。これは単なる図解ですが、想像してみてください。生命が行うほぼすべてのこと、あるいはまだ行っていないことでさえ、このコードを解読すれば可能になるかもしれません。
ここでGFPについて話しています。このアクロニムを覚えておいてください。これは緑色蛍光タンパク質のことです。DNAの研究やDNA編集などの様々な研究でこの蛍光タンパク質がよく登場するのは、単純に言えば、それが機能したかどうかを見るのが非常に簡単だからです。見てみて、光っていますか？もしそうなら、成功したということです。蛍光タンパク質は、クラゲの発光色の原因であり、現代のバイオテクノロジーにおいて重要なツールです。
ここで彼らはESM-GFPを作成しました。繰り返しますが、GFPは発光タンパク質のことです。彼らの新しいESM-GFPタンパク質は、既知の最も近い蛍光タンパク質とわずか58%しか類似していない配列を持っています。彼らが発見したこの新しい発光タンパク質、ESM-GFPは、自然界で進化するとしたらどれくらいの時間がかかるでしょうか？彼らの推定によると、この新しい蛍光タンパク質の生成は、5億年以上の進化をシミュレーションしたのと同等だそうです。
では、どうやってこのようなものを作ることができたのでしょうか？今日見られるほとんどのAIモデルでは、基本的にこれらをトークン化しています。大規模言語モデルはテキストを取り、それをトークンに変換します。Soraのような画像からテキストへのモデルは、ビデオ制作の様々な側面をトークン化することについて話しました。ここでは、タンパク質の生物学的特性をトークン化しています。
基本的に、これらのAIニューラルネットが簡単に読み取り、理解できるチャンクに分解しています。そして、タンパク質の3つの基本的な生物学的特性である配列、構造、機能について推論できるモデルを作成しました。
配列は、いわば「簡単な」部分です。タンパク質を構成するアミノ酸の配列です。単語の中の文字や文章の中の単語のように、タンパク質の見た目を決定します。
次に構造があります。3D構造です。これはGoogleのディープマインドのAlphafoldが大きなブレークスルーを果たした部分です。彼らは配列に基づいてタンパク質の3D構造を予測することができました。これは、力ずくのアプローチでは不可能なことです。これらの構造の可能な変異の数は膨大で、宇宙の原子の数よりも多いとか、そのような途方もない数です。
そして3つ目は機能です。これらの配列と構造は何をするのでしょうか？ESM3の語彙は、配列、構造、機能を同じ言語モデル内で橋渡しします。このプロセスが何十億ものタンパク質と何十億ものパラメータにわたってスケールアップされると、ESM3は進化をシミュレートすることを学習します。
これは、このモデルがプロンプトに従って新しいタンパク質を生成できることを意味します。このAIモデルは3つのモダリティすべてで生成できます。ここで配列、構造、機能について話していますが、例えば特定の機能を求めている場合、構造と配列だけを出力するのではありません。その発光タンパク質が欲しいと言えば、はい、それはできますが、3つのモダリティすべてで生成することもできます。
なぜこれが重要なのでしょうか？科学者に前例のない程度の制御で新しいタンパク質を生成する能力を与えるからです。例えば、ESMは構造、配列、機能を組み合わせて、PETaseの活性部位の潜在的な足場を提案するようにプロンプトできます。PETaseはポリエチレンテレフタレートを分解する酵素です。発音を間違えていたらごめんなさい。これは、プラスチック廃棄物を分解できる特定の生命体を作る能力を求める長い探求の一部です。
ここでは、マルチモーダルプロンプティングを通じてPETaseの活性部位の足場を生成する例を示しています。彼らは、スケールに伴う能力の出現について話しています。ESM3の挑戦的なタンパク質設計タスクを解決する能力は、スケールとともに現れます。例えば、原子座標タスクでは、アミノ酸の原子位置が配列上では遠く離れているが、構造上では近い位置にあるタンパク質を設計しようとします。
例えば、AがここにあってXがここにある文字列があり、その間にたくさんの文字があるけれど、これら2つが近いとします。つまり、その構造は、AとXが近くにあり、ここに何らかの曲線があるようなものかもしれません。つまり、空間的には近いけれど、長い配列で分かれているわけです。
このモデルは、構造生成において原子レベルの精度を達成することができます。モデルでこのような現象が見られ、これは完全には理解されておらず、議論の余地がありますが、スケールが大きくなるにつれて、新しい能力が現れるように見えます。少なくとも、急速に現れるように見えます。もしかしたら、もっと緩やかなプロセスがあるのかもしれませんが、モデルが大きくなるにつれて、小さなモデルでは全く見られなかった新しいスキルを開発します。
このモデルは、自身の生成の質を向上させるためにフィードバックを提供することもできます。そして、彼らが発見したタンパク質に話を戻します。彼らはこれを5億年の進化をシミュレートしたと呼んでいます。
そして、緑色蛍光タンパク質の話に戻ります。この発見はノーベル賞の授与につながり、バイオテクノロジーで最も広く使用されるツールの1つになりました。なぜなら、科学者が細胞内のタンパク質を見ることを可能にするからです。発光しているので、簡単に見ることができるのです。
科学的な説明にはあまり深く踏み込みませんが、興味がある人や適切だと思う人のために、このリンクを残しておきます。特に彼らが話しているのは、これらの蛍光タンパク質を生成することは、自然にとっても難しいということです。5億年の進化がそのようなものを作るのにかかる時間だと考えると、簡単ではありません。このメカニズムはユニークで、他に類似したものはありません。
科学者たちは自然界でこのタンパク質の多くの変異体を発見し、実験室でそれらの自然のタンパク質の変異体を作り出しました。つまり、以前にもそれをしたことがあるのです。自然がどのようにそれを行ったかを見つけ、そしてある種の自己複製を作ります。それに似たものを作るのです。特定の突然変異によって、自然のものとはさらに異なるものを作ることができました。明るさを増したり、色を変えたりするものです。
最近では、機械学習技術を使って、自然が到達したものからさらに遠い変異体を見つけることが可能になりました。配列の20%も自然のものと異なるものまで見つけることができるのです。つまり、80%が自然の進化が開発したものと似ているということです。これが、これまで私たちが到達できた限界でした。
しかし、私たちのモデルであるESM3に、自然のGFPのコアにある数残基の構造を与えると、AIモデルは連鎖的思考で推論し、新しい発光タンパク質の候補を生成するよう求められます。連鎖的思考を使用しているという事実は私の目を引きました。これはChatGPTや他のモデルで使用するのと同じアプローチで、その推論能力を向上させることが示されています。
基本的に、それは何かを段階的に考えるように求めています。結論に飛びつくのではなく、私たちが持っているものを段階的に分解するのです。数学の授業では、これは「作業を示す」と呼ばれるでしょう。段階的に進み、作業を示すというものです。
次に、彼らは純粋な偶然によって1つを生成する確率は天文学的に低いと述べています。可能性の数は、可視宇宙の原子の数よりも多いのです。そこで、AIモデルがいくつかのアイデアを出します。彼らは96の生成物をテストし、いくつかの発光タンパク質を見つけました。その中には、自然界のどのタンパク質からも遠く離れたものがありました。
このB8は、その種の自然のタンパク質よりも50倍も明るさが弱かったのですが、彼らはそのB8タンパク質の配列から始めて、その連鎖的思考を続けました。そして、さらに96のタンパク質を生成しました。つまり、AIが96の生成物を与え、その中から非常に有望なものを1つ見つけたので、それに似たものをさらに96個生成するよう求めたということです。
そのバッチから、自然の発光タンパク質と同程度の明るさを持つタンパク質をいくつか見つけました。その中で最も明るいものがC10です。C10は、彼らが内部で生成物のバッチを注釈付けする方法だと思います。
これが彼らが見つけたもので、これが大きな話題になっているものです。彼らはこれをESM-GFPと呼んでいます。ESMは彼らのモデル（Evolutionary Scale Model）で、GFPはその緑色蛍光タンパク質（発光タンパク質）のことです。
ここからさらに興味深くなります。これはオープンモデルになります。プロジェクトの始まりから、コードとモデルのリリースによるオープンサイエンスにコミットしています。基本的に、彼らが行っていることはすべて、モデルの重み（つまり、彼らが訓練したニューラルネット、その「脳」）と、そのモデルを動かすコード、その周りのすべての足場と構造、それらすべてがオープンソースです。
彼らは、研究とコードを共有することが進歩を加速し、理解を深め、リスクを低減し、最終的に世界にとって最大の正の影響をもたらすと信じています。彼らは14億パラメータのESM3オープンモデルの重みとコードをリリースしており、皆さんが何を作り出すか楽しみにしています。
私は、あなた方の中にはその声明に恐怖を感じる人もいるだろうと知っています。「はい、この神のような生命を改変する能力で何を作れるか見てみましょう」と。確かに、多くの人々が非常に興奮しているのも事実です。このようなものによって、多くの痛みや苦しみ、不健康を減らし、予防できる可能性があります。
将来的には、不死とまではいかなくても、少なくとも aging を感知できないほどゆっくりにする方法を解き明かすことができるかもしれません。この「無視できるほどの老化」というアイデアが投げかけられています。つまり、あなたは基本的に現在の生物学的年齢のままで永遠に留まるのです。
さて、このリンクをクリックするとどこに行くか推測できますか？そう、GitHubです。つまり、これをダウンロードして、あなたのローカルコンピューター上で実行できるのです。Pythonで書かれていて、非商用ライセンスを受け入れる必要があるようです。つまり、これは研究と非営利目的での使用のみです。
もちろん、これはそのファミリーの中で最小で最速のモデルです。彼らは14億パラメータのモデルをリリースしていますが、彼らが持つ最大のモデルは980億パラメータのようです。
イアン・レクン氏自身が、進化スケールAIチームに賛辞を送っています。彼は、プロテオミクスのためのAI、つまりタンパク質のためのゲノミクスのようなものについて言及しています。タンパク質の構成を理解し、プログラムする能力です。
プロテオミクスのためのAI、ステルスモードから脱したばかりのスタートアップが、980億パラメータの生成的LLM、ESM3を紹介しています。これは生物学をプログラムするためのものです。この会社は、Meta（旧Facebook）のFairタンパク質グループの元メンバーによって設立されました。
そして、彼らはこれを笑わずにはいられませんでした。ご存知の通り、イアン・レクンは本当にLLMを嫌っていて、LLMは愚かで馬鹿げていて、AIやAGI、あるいは世界の理解につながるものではないと考えています。彼は、AIを学ぶために大学に入学する新しい学生や子供たちに対して、彼ができる最良のアドバイスは「LLMには取り組まないでください」と言うほどでした。
ここでは多くの人々が参加しています。「明らかに、このモデルも確かにLLMなので、この種の研究には当てはまらないようですね」というような反応です。
これが彼らのウェブサイト、evolutionary-scale.aiです。彼らが考えている使用例のいくつかは、例えば、炭素を捕捉するタンパク質を作ること、プラスチックを分解する酵素を想像すること、様々な新しい薬を想像することなどです。
興味があれば、彼らの論文をPDFで入手できます。それは膨大で、たくさんの情報が含まれています。巨大な付録があり、掘り下げるべき情報の金鉱のようです。私は、人々がこれをどこに持っていくのか、非常に楽しみにしています。

他のニュースでは、ある会社が史上最速のAIチップを開発したと主張しています。その会社はEtchedで、ステルスモードから脱しました。彼らは、例えばこの場合、700億パラメータのLlamaモデルを1秒間に50万トークン以上で実行できると主張しています。
これは、ハリーポッターシリーズ全体を3秒以内に書き上げるようなものです。これにより、NVIDIAのGPUなどでは不可能な製品を構築できるようになります。彼らは、1台の8x Sohuサーバー、つまり彼らが導入する新しいチップSohuが、NVIDIAの160台のH100を置き換えると言っています。
覚えているでしょうか？ビットコインマイニング用のASICのように、これらの小さな長方形のものにファンが付いている画像を見たことがあるかもしれません。基本的に、1つのことだけを行い、他のことは何もしない専用のプロセッサです。
一方、NVIDIAのようなものは多くの異なることができます。コンピューターのグラフィックアクセラレーターとして使用したり、ビットコインのマイニングに使用したり、ニューラルネットの訓練や推論の実行に使用したりと、非常に多目的です。
ASICは、この場合、これらのTransformerモデルで推論を実行することに特化しています。つまり、すべてのChatGPT、Gemini、そういったものはTransformerアーキテクチャで動作します。特化することで、はるかに高いパフォーマンスを得ています。
これらのチップは他の種類のニューラルネットを実行することはできません。畳み込みニューラルネットや他のAIモデルを実行することはできません。しかし、今日非常に人気のあるもの、つまりChatGPT、Claude、Gemini、Soraなどはすべて、Transformerによって動作しています。
彼らは、これらのチップが最近発表されたNVIDIAの次世代Blackwellよりも高速で安価だと言っています。彼らのチップはBlackwellよりも10倍以上高速だそうです。
これらのチップはまだ発売されていないので、私たちは手に入れることができません。これは興味深いですね。NVIDIAの新たな競合他社がまた現れました。GroqとこのTransformerモデル用の新しいASICです。彼らがどれほど成功するか興味深いですが、確かにこの分野全体がどのように発展していくか見守る価値があります。
以上です。私の名前はウェスラスです。ご視聴ありがとうございました。