デミス・ハサビス博士: AIを活用して科学的発見を加速する

34,663 文字
2024年ノーベル化学賞受賞。完全にAIが席巻してます。

みなさん、こんばんは。シェルドニアン劇場の素晴らしい環境で行われる今夜の講演会へようこそ。この講演はオックスフォード大学のAI倫理研究所が主催し、人工知能と人間の価値に関するオビット・タナー講演の一部です。わたしはナイジェル・シャドボルトと申します。ジーザス・カレッジの学長で、オックスフォード大学のコンピューターサイエンスの教授も務めており、研究所の運営グループの議長も務めています。この研究所の設立に携わることができたのは光栄なことでした。ここでは、世界をリードする哲学者や人文科学の専門家と、AIの研究者、開発者、ユーザーが集まっています。研究所の所長はジョン・タスリス教授で、最終的な拠点はスティーブン・A・シュワルツマン人文科学センターになる予定です。その建設はもうすぐ始まります。
近年、AIはますます進化しています。今では携帯電話やゲーム、自動車、創薬企業、検索エンジン、翻訳ツールなど、至るところで使われています。その多くは、新世代のAI手法や技術によるものです。最新の機械学習アルゴリズム、大量のデータ、現代のコンピューティングハードウェアの驚異的な能力によって実現しています。AIの最近の目覚ましい成果の多くは、今夜ここにいる講演者と、彼が共同設立した会社のおかげです。
デミス・ハサビスのキャリアと知的な旅は驚くべきものです。チェスの神童で、ケンブリッジ大学でコンピューターサイエンスの一等学位を取得し、非常に成功したコンピューターゲーム開発者でもあります。デミスは常に人間の脳に魅了され、それがどのように知性を生み出すかを理解しようとしてきました。ゲーム会社での成功の後、UCLで認知神経科学の博士号を取得し、その後ギャツビー計算神経科学ユニットでヘンリー・ウェルカム博士研究員を務めました。認知神経科学の分野での彼の論文は、想像力、記憶、健忘症について研究し、ネイチャーやサイエンスなどの主要な学術誌に掲載されました。
2010年にDeep Mindを設立し、コンピューティングと神経科学への関心を融合させました。その野心的な目標は、知性を解明し、その知性を使ってあらゆる問題を解決することでした。彼とチームは、AIシステムを構築するための新しいアイデアをテストする文脈としてゲームを使用しました。神経科学にインスパイアされた機械学習手法を用いて、まずアーケードゲーム、そして有名な囲碁に取り組みました。2016年2月にシェルドニアンで行われた以前の講演では、その1か月後にアルファ碁が元世界チャンピオンのイ・セドルに4-1で勝利することを予見していました。
ゲームはAIアルゴリズムの開発とテストに最適な訓練の場であることが証明されましたが、Deep Mindの目標は常に、現実世界の重要な問題を解決できる一般的な学習システムを構築することでした。Deep MindのAlpha Foldシステムは、50年来のタンパク質構造予測の大きな課題を解決し、最終的にヒトのプロテオームの最も正確で完全な画像を公開しました。
AI倫理研究所の目標は、世界をリードする学者とAI開発の最前線にいる実務家を結び付けることです。今夜は、科学的発見を加速するAIの大きな可能性について、第一人者の経験をお聞きします。その経験は、政策立案者やAIの技術開発者が考慮すべき重要な倫理的問題について、我々の研究や思考に役立つでしょう。
デミスは、人工知能は最も有益な技術の1つになると予測していますが、重要な倫理的問題が残っていると指摘しています。みなさん、今夜のタナー講演「AIを活用して科学的発見を加速する」を行うデミス・ハサビスをお迎えしましょう。
[拍手]
ありがとうございます。ナイジェル、素晴らしい紹介をありがとうございます。オックスフォードのシェルドニアンに戻ってきて、タナー講演を行えることを光栄に思います。今日は「AIを活用して科学的発見を加速する」というテーマでお話しします。実際、これから話すように、これは私がキャリアの全てをAIの実現に捧げてきた元々の動機であり、常に変わらぬ動機でもあります。特にここ1、2年の最新の進歩について、AIを使って難しい科学的問題を解決するという成果について多くお話しします。また、そこに至るまでの道のりや、最初に行ったゲームに関する基礎的な研究をどのように考えているかについてもお話しします。前回ここで話したのは、ちょうど韓国でのアルファ碁の試合の直前でした。あれは我々にとって大きな転機でした。この5、6年の間に、物事が大きく進展したことをお話しします。
2010年当時のDeep Mindのビジョンについて少しお話ししたいと思います。2010年当時のAIの状況を思い出すのは難しいですね。今日では、ナイジェルが言ったように、AIはどこにでもあります。産業界で最も注目されているキーワードの1つです。12年前はほとんど誰もAIについて話していなかったことを思い出すのは難しいですね。民間部門でAIの資金を得るのはほとんど不可能でした。2009年や2010年に資金調達をしようとした時の面白いエピソードがたくさんありますが、ほとんどの人は我々が完全に狂っていると思っていました。このような旅に出ようとしていることに。
でも我々は、いつかアポロ計画のような取り組みで人工知能(AGI)を構築することを目指して設立しました。我々は「人工知能」という用語を使って、通常の日常的なAIと区別しています。人間レベル以上の多くのタスクをこなせる汎用システムについて話しているのです。これが我々が常に目指している「汎用」の側面です。我々が行うすべての仕事で。我々はまだこの使命の途上にありますが、2010年に小さなオフィスで数人しかいなかった頃の元々のビジョンに忠実であり続けていると思います。
ナイジェルが言ったように、我々の元々のミッションステートメントは「ステップ1:知性を解明する。ステップ2:それを使って他のすべてを解決する」というものでした。最近数年間で、他のすべてを解決するとは具体的に何を意味するのかをより明確にするために、このミッションステートメントを少し更新しました。現在のミッションは「科学を発展させ、人類の利益のために知性を解明する」というものです。これが、AIを何に適用すべきかを考える際の基本的な考え方です。
AIを構築する方法は大きく2つあると思います。1つは、より伝統的な論理システムやエキスパートシステムを構築する方法です。これらはハードコーディングされたシステムで、基本的にプログラマーのチームが問題を解決し、その解決策を組み込んだものです。時には非常に巧妙なエキスパートシステムになります。しかし、これらのシステムの問題は、一般化できる範囲が非常に限られていることです。予期せぬ事態に対応できません。基本的に、プログラマーが想定したシステムが置かれる可能性のある状況に限定されています。
もう1つのアプローチは、過去10年以上にわたって大きな復興を遂げている学習システムです。80年代にニューラルネットワークに関する研究が盛んに行われましたが、その後衰退しました。今になって分かったのは、おそらくコンピューティングパワーやデータが十分になかったのだろうということです。正しいアルゴリズムもなかったかもしれません。しかし、基本的にはアイデアは正しかったのです。
学習システムの考え方は、システム自体が第一原理から、直接経験から解決策を学習するというものです。これらのシステムの素晴らしい点は、明示的にプログラムされていないタスクに一般化できる可能性があり、我々自身も設計者や科学者としてどう解決すればいいか分からない問題を解決できる可能性があることです。もちろん、これが大きな可能性であり、またリスクでもあります。
元々、これらの学習システムは、システム神経科学からインスピレーションを得て、アイデアを検証することもできました。強化学習やニューラルネットワークなどのシステムを、脳の働きについて知られていることとシステムレベルやアルゴリズムレベルで比較することができました。
Deep Mindで我々が行っていることは、もちろん全て学習システム側のものです。過去10年間のこれらのアプローチのルネサンスとも言える最前線にいることができて幸運でした。
では、学習システムがどれほど強力になれるかについての我々の特別な見解は何でしょうか。2つの構成要素のアルゴリズムやアプローチがあると言えます。1つはディープラーニングやディープニューラルネットワークです。これは環境やデータ、経験のモデルを構築するためのものだと考えています。そして、そのモデルを何に使うのか? 強化学習を使うことができます。これは目標を追求し、報酬を最大化するシステムです。そのモデルを使って計画を立て、設計者が指定した目標に向けて行動を起こすことができます。モデルと行動・目標解決の要素があるのです。
我々の初期のイノベーションの1つは、これら2つのものを大規模に融合させることでした。我々はそれをディープ強化学習と呼んでいます。これらのシステムのクールな点は、試行錯誤のプロセスを通じて、これらのモデルを使って第一原理から新しい知識を発見できることです。
この図のエージェントシステムのアイデアは、環境から観察を得ることです。その観察は、環境がどのように機能するか、環境の遷移行列についての内部モデルを構築・更新するのに役立ちます。環境で解決しようとしている目標があります。思考時間が尽きたら、その時点で利用可能なアクション・セットから、目標に向けて最も良く段階的に進められるアクションを選択する必要があります。
そしてアクションが出力され、環境に変化をもたらすかもしれません。それが新しい観察を引き起こし、モデルが更新されます。このようなシステムでは、AIシステムが実際に能動的な学習者であることが分かります。自身の学習に参加します。システムが下す決定は、次にどのような経験やデータを得て学習するかを大きく左右します。
これは非常にシンプルな図で、基本的に強化学習問題全体を説明していますが、この図の背後には理論的にも実用的にも大きな複雑さがあります。しかし、我々はこれが極限では機能することを知っています。なぜなら、これは哺乳類の脳の働き方だからです。人間も含めてです。強化学習は、90年代後半に脳のドーパミン・ニューロンによって実装されていることが分かりました。ですので、これを十分に押し進めれば、汎用人工知能への1つの道筋になるはずだと分かっています。
では、これを何に使ったのでしょうか? 有名なのはアルファ碁です。アタリのゲームなど、それ以前にも多くのことを行いましたが、アルファ碁は本当に初めての大規模な試みでした。AIの未解決問題の1つ、AIリサーチの聖杯の1つとも言える、囲碁の世界チャンピオンに勝つプログラムを作るという大きな問題に取り組んだのです。今振り返って、今知っていることを踏まえて、アルファ碁で我々が行ったことを再解釈したいと思います。5、6年前にこのシステムを構築している最中に説明していた時よりも、はるかにシンプルで一般的な方法で説明できると思います。
囲碁をご存じない方のために説明しますと、これが囲碁というボードゲームです。素晴らしいゲームで、チェスよりもはるかに難解で芸術的なゲームと言えるでしょう。チェスが西洋で知的に最高峰のゲームとされているように、中国や日本、韓国などのアジア諸国では囲碁が同じような位置づけにあります。
囲碁は、古典的な論理システムやエキスパートシステムのアプローチではチェスのように解決できませんでした。いくつかの要因があります。1つは、探索空間が本当に膨大だということです。囲碁の盤面の可能性は約10の170乗もあり、宇宙の原子の数よりもはるかに多いのです。そのため、正しい道筋を見つけるために、すべての可能な盤面を徹底的に探索することはできません。
実際にはさらに大きな問題があります。評価関数を記述すること、つまり評価関数を手作業でコーディングすることが不可能だと考えられていたことです。これは、最新のチェスプログラムが使用しているものです。囲碁はとても難解なゲームだからです。チェスには物質性がありますが、囲碁にはありません。チェスでは、第一近似として両サイドの駒の価値を合計すれば、その局面でどちらが優勢かを大まかに判断できます。次に何をすべきかを決めるには、もちろんそれを知る必要があります。
多くの人が20年以上にわたって、ディープブルー以降、囲碁の評価関数を構築しようと試みてきました。問題の1つは、囲碁のプレイヤー自身が、少なくとも意識的にはその情報を知らないということです。ゲームが非常に複雑なため、彼らは計算を明示的に行うのではなく、直感を使って囲碁の複雑さに対処しているのです。チェスのプレイヤーに「なぜその決定をしたのか」と尋ねれば、チェスのグランドマスターは明示的にさまざまな要因を説明できるでしょう。しかし、囲碁のプレイヤーは一般的にそうはしません。「正しいと感じた」「この手が正しいと感じた」といった表現をするでしょう。これも囲碁を素晴らしいゲームにしている要因だと思います。
しかし、直感は通常、コンピュータプログラム、特に論理システムとは関連付けられないものです。Q&Aのセッションで、直感とは何かについてもう少し議論できるかもしれません。私の結論としては、これらのゲームをすべてプレイし、実際に科学的なことも行った後、直感は何か神秘的なものではないと考えています。実際、それは脳が経験を通じて学んだ情報なのです。他に学ぶ方法はありません。ただ、それは連想記憶の中にあるので、意識的に高次の皮質からアクセスできないだけです。
そのため、我々にとって神秘的に見えるのです。自転車の乗り方や泳ぎ方など、このような感覚運動の技能を我々ができるのは、脳の意識的な部分がそれらの表現にアクセスできないからです。そして、我々にそれができないのであれば、明らかに論理的なコードで明示的にコーディングすることはできません。そのため、コンピュータビジョンなどのタスクが、過去50年間にわたって論理システムにとって非常に困難だったのです。
我々が行っていたことの多くは、これらの学習システムでこの種の直感を近似しようとすることでした。では、我々はどのように取り組んだのでしょうか? 実際、ここではアルファ碁だけでなく、アルファXプログラムのシリーズ全体について説明します。2016年にイ・セドルに勝利したオリジナルのアルファ碁、人間のデータを必要とせず自身で学習したアルファ碁ゼロ、そして最後に、2人用ゲームなら何でもプレイできるアルファゼロです。大まかに言えば、これらすべてのシステムをこの図で説明します。
これらのシステムすべてを、次のように考えることができます。最初に自己対戦を通じてニューラルネットワークを訓練します。システムは自分自身と対戦し、局面を評価し、最も有用な手を選択することを学習します。最初は何の知識もない状態から始まります。ニューラルネットワークを初期化した状態で、文字通りゼロの知識から始まります。そのため、最初はランダムに動きます。これをバージョン1と呼びましょう。これがニューラルネットワークです。
そして、約10万ゲームを自身と対戦します。これがデータセットになります。10万ゲームをデータセットとして使い、新しいバージョン2のネットワーク、新しいニューラルネットワークを訓練しようとします。このバージョン1のデータセットを使って、ゲームの途中の局面から、どちら側が勝つかを予測するように訓練します。また、特定の局面でV1システムがどのような手を選択するかも予測します。つまり、これら2つのことをより上手く行おうとしているのです。
そしてそのV2システムを訓練し、V1とV2の間で小さなトーナメントを行います。約100ゲームです。V2システムが特定の勝率閾値(この場合は55%)に達すれば、V1よりも有意に優れていると判断します。そうなれば、V1を新しいバージョン2のネットワーク、紫色のこの新しいネットワークに置き換えます。もちろん、これが再び自身と10万ゲームを対戦します。そして新しいデータセットを作成しますが、このデータセットは、真ん中の紫色のものは、最初のデータセットよりも少し質が良くなっています。プレイヤーが少し上手くなったからです。
最初はほとんど気づかないほどわずかに良くなっただけです。ランダムよりもわずかに良くなっただけです。しかし、それだけでも十分なシグナルがあります。もちろん、バージョン3のシステムを訓練し、今度はバージョン2と対戦させます。55%の勝率に達しない場合は、バージョン2に戻って、さらに10万ゲームのデータを生成します。そうすれば20万のデータセットができ、次のバージョン3を訓練できます。最終的には、バージョン3がバージョン2より優れるようになります。
これを17回か18回繰り返すと、ランダムから世界チャンピオンより優れたレベルに到達します。以上です。これは、2人用の完全情報ゲームなら何でもできます。同じネットワークで、20回から30回の世代を経れば、世界チャンピオンレベルに到達できます。本当に速くなり、朝にシステムを起動して、昼にはチェスで対戦でき、少し勝てるかもしれません。そして夕方には全く勝ち目がなくなります。文字通り1日で進化が見られるのです。チェスプレイヤーとしては、見ていて信じられないほどです。
では、この巨大な探索空間をどのように考えているのでしょうか? アルファ碁の進歩の1つは、このニューラルネットワークシステムやモデルを、より古典的な木探索アルゴリズム(この場合はモンテカルロ木探索を使用)と組み合わせたことです。可能性の木は、囲碁ではこんな感じになります。各ノードが囲碁の局面を表しています。これらの小さな囲碁盤で示されています。中盤の局面があるとして、数え切れない10の170乗もの可能性があります。どうやって干し草の山から針を見つけられるでしょうか? 世界チャンピオンレベルかそれ以上の決定ができる良い手をどうやって見つけられるでしょうか?
ニューラルネットワークが行うのは、そのモデルが探索を制約し、扱いやすくすることです。合理的に機能する可能性が高いものに絞り込みます。各ノードレベルで評価関数を使って評価できます。そのため、何百もの可能性を探索する必要はなく、数千、1万程度の探索で済みます。全ての可能性を示す灰色の巨大な木の代わりに、はるかに限定された青色の探索木だけを見ればいいのです。そして思考時間が尽きたら、もちろんその時点で見つかった最良の道筋を選択します。
これを2015年に行い、その後の数年間も取り組みました。今でも取り組んでいます。MuZeroという最新のシステムがあり、2人用の完全情報ボードゲームだけでなく、環境のモデルも構築できます。そのため、アタリのゲームやビデオゲームなど、ゲームのルールが与えられていない場合でも、観察を通じて自分でそれを理解することができます。アルファゼロよりもさらに一歩進んだ汎用性があるのです。
アルファ碁で我々が行ったのは、ナイジェルが言及したように、2016年にソウルでイ・セドルとの100万ドルの挑戦マッチを行いました。皆さんの中には覚えている方もいるかもしれません。特にアジアや韓国では大変な出来事でした。国がほぼ停止状態になるほどで、2億人以上がゲームを観戦しました。我々は4-1で勝利しました。AIと囲碁の専門家の両方が、この進歩は予想よりも10年早いと評価しました。
しかし、最終的に重要だったのは、アルファ碁が試合に勝っただけでなく、どのように勝ったかということです。これは非常に示唆に富んでいたと思います。1つの例を挙げますが、アルファ碁は最終的に、我々人間が囲碁をどう見るかを変えたと思います。
5試合の中で最も有名なのは、2局目の37手目です。他にも素晴らしい対局がありました。イ・セドルが天才的な手を打って勝利した4局目など。しかし、2局目の37手目は囲碁の歴史に残るでしょう。これがその時の盤面です。なぜこれがそれほど驚くべきものだったのか、詳しく説明する時間はありませんが、アルファ碁が黒石、イ・セドルが白石を打っていました。これはゲームの非常に早い段階です。37手目ですが、通常、囲碁の対局は数百手続きます。
アルファ碁はここで、右側の赤で示した37手目の石を打ちました。驚くべきことに、この石の位置は盤の端から5列目でした。囲碁の専門家であれば、これは考えられないことです。碁の師匠に叱られるようなものです。そんな手は絶対に打ってはいけないと。盤の側面に白に大きすぎるスペースを与えてしまうからです。
しかし、アルファ碁はそうすると決めました。マスタープレイでは前例がなく、推奨されていませんでした。そして約100手後、この37手目の石が、左下から盤面全体に広がった戦いを決める完璧な位置にあることが判明しました。ゲーム全体を決定づけた戦いを決めるのに、ちょうど良い場所にあったのです。まるでその影響を前もって見通していたかのようでした。
今では、5列目に打つのが一般的になったと聞いています。これによって全てが変わったのです。今では、アルファ碁の戦略について書かれた本が何冊もあります。これは独創的な戦略です。なぜなら、アルファ碁が人間のプレイから学べなかったものだからです。実際、逆のことを学んでいたはずです。このような手を打たないことを学んでいたはずです。
アルファ碁にご興味がある方は、独立した映画製作者による素晴らしい受賞歴のあるドキュメンタリーをお勧めします。今はYouTubeで見られます。その裏側を知りたい方は、ぜひご覧ください。我々にとって、あらゆる面で非常に感動的な経験でした。特に私は元ゲームプレイヤーだったので、イ・セドルの立場もよく理解できました。
前述の通り、その後我々はこれをアルファゼロに発展させ、2、3年前に全ての2人用ゲームに一般化しました。これらのグラフは、アルファゼロが当時の最高の機械と対戦した結果を示しています。チェスでは、ディープブルーの後継である素晴らしい手作りシステム、ストックフィッシュの最新バージョンに勝利しました。4時間の訓練で、当時最高のストックフィッシュ8に勝つことができました。アルファゼロは8時間で囲碁のアルファ碁に勝ちました。
そして、もう1つのゲーム、日本のチェスである将棋でも試しました。将棋はチェスの非常に興味深いバリエーションです。2時間以内に、エルモという最高の手作りプログラムに勝つことができました。同じシステムで、この3つのゲーム全てをこなしたのです。
そして、一般化されたわけですが、私はチェスプレイヤーなので（囲碁も少しやりますが、そんなに強くありません）、個人的にはアルファゼロをチェスに適用したのが最も興奮しました。実は、ディープブルーのプロジェクトリーダーの1人だったマリー・キャンベルと議論したことがあります。彼女のことはご存じの方もいるでしょう。90年代にIBMでディープブルーを開発した人です。
ちょうどイ・セドルとの対局の直前か直後だったと思います。私が講演をしていて、マリー・キャンベルも聴衆にいました。講演後、彼女が近づいてきて、チェスでもこれを試してみたらどうなるか議論しました。彼女の予想を聞きたかったのです。ストックフィッシュのような非常に強力な手作りシステムに勝てると思うか、チェスにまだ余地があるのかと。
チェスはおそらくAIの最も古い応用分野です。チューリングやシャノンなど、多くの人がチェスプログラムに挑戦してきました。40年代、50年代まで遡ります。チューリングは紙と鉛筆で手作業でプログラムを実行しなければならなかったほどです。
そして過去25年ほど、世界チャンピオンたちはチェスプログラムを使って研究し、チェスのオープニング理論をすべて整理してきました。そのため、まだ余地があるのか、正当な疑問でした。アルファゼロをゼロから訓練したら、どんなチェスをプレイするのか。これらの素晴らしい、ある意味では機械の怪物とも言える手作りの信じられないほど計算能力の高いシステムと対戦させたらどうなるのか。
結局、我々は合意に達することができませんでした。聴衆の科学者の方々はお分かりだと思いますが、これは良い質問の兆候です。どちらの答えも興味深いものになるでしょう。我々が勝って、何か新しいスタイルがあれば非常に興味深いでしょうし、少なくともチェスという分野で、これらの手作りシステムが限界に達していたとしても興味深いでしょう。
そこで我々は取り組みを始めました。アルファゼロが単に強くプレイしただけでなく、まったく新しいチェスのスタイルを生み出したことを嬉しく思います。私のチェス仲間によると、機械としてはより美しいプレイだそうです。もちろん、人間の専門家の主観的な見方ですが。
理由は、多くのイノベーションがあったからです。主なものは、機動性を物質性よりも重視することです。従来の手作りチェスプログラムは常に物質性を重視してきました。チェス界での冗談では、チェスコンピューターはポーンを見つけるとそれを掴み、評価関数で+1を得るので物質を愛するのだと言われています。そして、本当に醜い局面でも必死に耐えようとします。戦術的なミスを決して犯さないので勝ちます。非常に効果的ですが、スタイルとしては美的にはあまり満足できないものです。
しかし、アルファゼロはむしろ逆のことをします。駒を犠牲にすることを好みます。残りの駒の機動性を得るために、物質を犠牲にするのです。
これは、アルファゼロとストックフィッシュの100試合の対局から1つ選んだゲームです。そして、イギリスのチェスチャンピオンに分析してもらいました。彼が最もクールな局面を選び出し、これが私のお気に入りです。時々「不滅のツヴァンク」ゲームと呼ばれています。ツヴァンクはチェスのドイツ語の表現で、その局面でどの手を指しても自分の立場が悪くなることを意味します。
どの手を指しても悪くなる特殊な局面のことをツヴァンクと言います。チェスを知っている人なら分かると思いますが、このような局面で黒がより多くの駒、2つのルークとクイーンを持っているのは非常に珍しいことです。物質的に大きな優位があり、チェスに残っている最も強力な駒を持っています。しかし、それらは全て隅に押し込められています。アルファゼロは自分の駒でそれらを封じ込め、セメントで固めたようなものです。基本的に、それらの駒はどれも動けません。これは信じられないような局面です。
黒の手番ですが、黒が何をしても、これらの非常に強力な駒を持っているにもかかわらず、自分の立場を悪くしてしまいます。
これはアルファゼロの1つのイノベーションでした。アルファゼロについて興味深い点はたくさんありますが、時間の関係で詳しく説明できません。では、なぜアルファゼロがこのようにプレイし、従来のチェスエンジンがそうしなかったのかを考えてみましょう。
興味深いことに、最近ではストックフィッシュも手作業でこれらのアイデアを取り入れて更新されています。今ではさらに強力になっています。一種の興味深いハイブリッドシステムですね。
私の感覚では、アルファゼロはチェスエンジンよりも局面評価が優れています。これが1つの要因です。つまり、より良い評価関数を持っているのです。
主な点は、組み込まれたルールを克服する必要がないことです。だからこそ駒を犠牲にすることを好むのです。考えてみてください。ハードコーディングされたチェスエンジンは、ルークをビショップのために犠牲にする場合、探索木の中でマイナス2ポイントを計算しなければなりません。探索の範囲内でその2ポイントの価値を取り戻せるかどうかを計算する必要があります。アルファゼロにはそのような心配がありません。そのようなルールがないからです。特定の状況や関連するパターンに基づいて、文脈に応じて評価できるのです。
もう1つの大きな点は、ストックフィッシュや類似のプログラムには何千もの手作りルールがあることです。ルールを生成することも問題ですが、それらの要因をバランス良く組み合わせることはさらに大きな問題です。これは大変な手作業のジャグリングです。その代わりに、アルファゼロは学んだ要因のバランスを自動的に取ることを自身で学習します。
システムの効率性は、各手を打つ際に従来の探索エンジンが行わなければならない探索量に基づいて実際に確認できます。人間のグランドマスターは、1つの決定に対して数十手程度しか見ません。モデルを使って非常に効率的です。
一方、ストックフィッシュのような最先端のチェスエンジンは、1手につき数千万回の評価を行います。アルファゼロは、オーダーで言えばその中間くらいで、数万回の手を見ます。人間のトッププレイヤーほど効率的ではありませんが、これらの探索エンジンよりもはるかに効率的です。
チェスプレイヤーの方で、これが何を変えたかの詳細に興味がある方は、イギリスのチャンピオンとナターシャ・レーガンが書いた素晴らしい本『Game Changer』をお勧めします。我々はアルファゼロの舞台裏へのアクセスを提供し、彼らが見つけた新しいモチーフについて書いています。少なくとも12の新しいモチーフをチェスで発見しました。
私にとって非常に嬉しいことに、現世界チャンピオンのマグヌス・カールセンのような選手が、数年前にこの本を最初に読んだ1人で、「最近、私のヒーローの1人はアルファゼロです」と言ってくれたことです。これは本当にクールなことです。彼は非常に才能があるので、他のチェスプレイヤーよりも早く、これらのアイデアを自身のプレイに取り入れることができました。
そして、私が子供の頃、世界チャンピオンだったときのヒーローだったガリー・カスパロフは、この本の序文を書いてくれました。彼は「プログラムは通常、プログラマーの優先順位や偏見を反映しますが、アルファゼロは自分自身で学習し、その星は真理を反映しています」と言っています。これは美しい引用だと思います。
我々は、ゲームにおいていくつかの基本的なブレークスルーを達成できて幸運でした。アタリから始まり、DQNと呼ばれるプログラムがピクセルから直接アタリのゲームをプレイし、ゲームのルールを教えられずにスコアを最大化できるようになりました。アルファ碁とアルファゼロについては先ほど触れました。
そして、アルファスターのようなプログラムでさらに進化し、最も複雑なビデオゲームであるスタークラフト2をプレイしました。これは非常に複雑なリアルタイム戦略ゲームで、さらに大きな課題がありました。部分的にしか観察できず、完全情報ではありません。経済システムもあり、通常、任意の選択に対して数千の可能な行動があります。数十ではありません。そして、このゲームでもグランドマスターレベルに達することができました。
これが我々のゲームに関する全ての仕事でしたが、実際にはこの瞬間に向けての準備でした。ここ数年、本当にエキサイティングで、私たちにとって非常に喜ばしいことです。ゲームを愛し、これからも常にゲームを愛し、プレイし、デザインし、AIのテストの場として使い続けるでしょう。ゲームは完璧なテストの場でした。しかし、最終的な目標は世界チャンピオンレベルでゲームをプレイすることではなく、一般的なシステムを構築し、現実世界の問題を解決することでした。
私が特に情熱を持っているのは、科学的発見のためにAIを使用することです。現在、科学的問題を選択する際に3つのことを探しています。
まず、巨大な組み合わせ探索空間や状態空間を探します。大きければ大きいほど良いのです。なぜでしょうか? 従来の方法や徹底的な総当たり法が機能しないことが分かるからです。そのため、他の何かが必要な領域にいることになります。そして、我々はその「何か」が得意だと考えています。
2つ目は、明確な目的関数やメトリクスを指定できる問題を好みます。そうすれば、学習システムで最適化し、山登りができます。
3つ目は、学習や訓練に利用できる大量のデータがある問題、または理想的には正確で効率的なシミュレーターを使用してより多くのデータを生成できる問題を探します。このシミュレーターは完璧である必要はありません。生成されるデータから何らかのシグナルを抽出できる程度に良ければいいのです。
このプリズムを通して多くの問題を見ると、驚くほど多くの問題がこれらの基準に適合することが分かります。もちろん、第一に注目していたのはタンパク質フォールディングでした。これについて少しお話ししたいと思います。
我々は、これら3つの基準に適合するだけでなく、本当に大きな影響を与える問題を探しています。AIを何か大きなものに適用し始めると、その問題の難しさに応じて何年もかかる可能性があります。そのため、機会費用の問題があります。時々、根本的なノードについて話すことがあります。それが解決されれば、科学的発見の新しい分野全体を開く可能性があるものです。タンパク質フォールディングは、これらすべての条件を満たしていました。
タンパク質フォールディングをご存じない方のために説明すると、これは古典的な問題です。1次元のアミノ酸配列、つまりゲノムによってコードされたタンパク質を記述する遺伝子配列から、体内でのタンパク質の3D構造、つまりそれが取る3D形状を直接予測できるかという問題です。これが重要な理由は、タンパク質が生命のあらゆる機能に不可欠だからです。タンパク質の3D構造が、少なくとも大部分においてその機能を決定すると考えられています。構造が分かれば、タンパク質の機能に近づくことができるのです。
アルファフォールドが登場するまで、これは実験的に行われていました。非常に骨の折れる専門家の仕事が必要で、X線結晶解析や電子顕微鏡を使用します。経験則として、一般的に1人のPh.D.学生が博士課程全体を使って1つのタンパク質を解明します。それも運が良ければの話です。本当に難しく、骨の折れる作業なのです。
1972年、今からちょうど50年前のノーベル賞受賞講演で、クリスチャン・アンフィンセンは、タンパク質の3D構造はアミノ酸配列によって完全に決定されるはずだと推測しました。つまり、この対応付けは可能なはずだと。これは少し、フェルマーの最終定理の生物学版のようなものです。「これは可能だが、余白が小さすぎて答えを書けない」と言っているようなものです。
そのため、1970年代以降、生物学と計算生物学の分野で50年にわたる探求が始まりました。この問題を解決しようとする取り組みが続いています。大きな疑問は、タンパク質構造予測問題、つまりタンパク質フォールディングの特定の部分を計算的に解決できるかということです。
レベンタルという、アンフィンセンの有名な同時代の人物が、1960年代から70年代にかけて、平均的なサイズのタンパク質が取りうる形状の可能性は約10の300乗あると概算しました。10の300乗です。これは我々が好む数字です。囲碁よりも大きいからです。明らかに、これを徹底的にサンプリングすることは全く不可能です。
しかし、希望の光は、自然界、つまり我々の体内では物理法則がこれを解決しているということです。タンパク質は体内で自発的に数秒、時には数ミリ秒で折りたたまれます。明らかに、何らかのエネルギー経路があるのです。
では、この問題にどのようにたどり着いたのでしょうか? 実は、私個人にとっては長い道のりでした。チームの他のメンバーにとっては、そうでもありませんが。私は実際、90年代にケンブリッジの学部生だった頃にタンパク質フォールディング問題に出会いました。私たちのグループの友人の1人がこの問題に取り憑かれていて、機会があるごとに話していたのを鮮明に覚えています。バーでプールをしている時でも、「これを解決できれば、生物学のあらゆる分野が開けるんだ」と。
私はそれを聞いて、問題そのものに魅了されました。潜在的にAIに非常に適しているのではないかと感じました。もちろん、当時はどのように取り組めばいいか分かりませんでしたが、興味深いことだと心に留めておきました。
そして2000年代後半、MITでポスドクをしていた頃に再び出会いました。デイビッド・ベイカーの研究室から「Foldit」というゲームが登場しました。ベイカーはタンパク質の研究をしています。左側に見えるのがそのゲームです。彼らは本当に面白いことに、タンパク質フォールディングをパズルゲームに変えたのです。実際に数百人のゲーマーにタンパク質を折りたたませました。テトリスをプレイするような感じです。
そして、彼らの中には本当に上手くなる人もいました。もちろん、ゲームデザインの観点から私は魅了されました。人々がプレイしながら実際に有用な科学をしているゲームをもっとデザインできたら素晴らしいと思いました。楽しみながら科学に貢献できるのです。これは今でもその最良の例だと思います。
そして、タンパク質フォールディングが再び浮上してきました。実際、何人かの本当に重要なタンパク質構造がこの方法で、ゲーマーによって発見され、ネイチャー構造生物学などの雑誌に掲載されました。つまり、これは本当に機能したのです。
そして、囲碁に取り組み、先ほど言及したように直感や他の要素をどのように扱ったかを考えていた時、実際にこう思いました。「もし囲碁のマスタープレイヤーの直感を、ある意味で模倣することができたなら、つまり囲碁の研究に一生を捧げた人々の直感を模倣できたなら、これらのゲーマーの直感も模倣できるのではないか」と。彼らはもちろんアマチュアの生物学者に過ぎません。しかし、彼らの中には、単にエネルギー景観に沿って貪欲に進むだけでは到達できないような、タンパク質のバックボーンの直感的な折りたたみを行える人がいました。局所的な最小値や最大値に陥ってしまうのです。
そこで、韓国から帰ってきた翌日、アルファフォールドプロジェクトを開始しました。この問題に取り組む時期が来たと考えたのです。
もう1つ重要な要素は、CASPという競技会です。これはタンパク質フォールディングのオリンピックのようなもので、2年ごとに外部のベンチマークとして開催されています。実際、科学の他の分野でももっと行われるべき素晴らしい取り組みだと思います。ジョン・モールと彼のチームが、30年近く2年ごとに宗教的とも言えるほど忠実に開催しています。30年間、2年ごとに欠かさず専門的に運営してきたことに、大きな賞賛を送りたいと思います。
この競技会の素晴らしい点は、ブラインド予測評価だということです。テストデータで誤って訓練してしまったり、そのような落とし穴に陥る可能性がありません。競技会が開催される夏の間、通常2年ごとですが、世界中の実験科学者たちが、彼らが発見したばかりの構造のいくつかを保留することに同意します。その時点では、その構造がどのように見えるかを知っているのは彼らだけです。論文の発表を数ヶ月遅らせ、ジョン・モールと彼の同僚たちに競技会に使用してもらいます。
そして、かなり面白いトーナメントになります。メールを受け取り、新しい構造のアミノ酸配列が届きます。誰もその構造を知らないのです。そして1週間以内に競技会の主催者に予測結果を提出しなければなりません。論文が発表される前にです。3、4ヶ月の期間が終わると、もちろん、その時点で査読済みの学術誌に発表されている実験的な真の構造と予測を比較して採点します。予測と実際の分子の3D座標空間での位置との間の距離を測定するのです。
我々が2016年以降、この分野に関わり始めた時、CASPの歴史を見てみると、実は10年以上にわたってほとんど進展がありませんでした。分野が停滞していたのです。このグラフは、進化的に類似したテンプレートタンパク質に頼ることができない最も難しいカテゴリーのタンパク質で、優勝チームのスコアを示しています。これはフリーモデリングと呼ばれます。
これは精度のパーセンテージを示しています。GDTと呼ばれ、その指標には少し違いがありますが、ほぼ正しい位置に配置できた分子の割合だと考えてください。一定の距離許容範囲内で。40%以下をさまよっていたことが分かります。これは実験には全く役に立ちません。基本的にはほぼランダムです。これが平均で、ほとんど動きがありませんでした。
そこで、2018年に我々は2年間の取り組みの後、最初のエントリーとしてAlphaFold 1を発表しました。ある意味で分野に革命を起こしたと言えるでしょう。初めて、アルファ碁やこの分野の他の新しい技術で開発した最先端の機械学習技術をシステムの中核として導入しました。優勝スコアを50%改善し、GDTで60%近くまで到達しました。
もちろん、そこで止まりませんでした。その知識に基づいて再設計を行いました。実際にそのシステムをさらに押し進めようとしましたが、行き詰まりに達しました。そこで、得られた知識を元に白紙から再設計し、全く新しいシステムを作りました。そして最終的に、CASP14で原子レベルの精度に達しました。すべての分子について、原子の幅以内の精度です。
CASP14の結果とスコアを見ると、AlphaFold 2の平均二乗誤差は1オングストローム未満です。予測すべき100程度のタンパク質について。1オングストロームは基本的に炭素原子の幅です。これは、ジョン・モールや他の主催者たちがCASPで常に目標としていた魔法の閾値でした。なぜなら、それが実験技術と競争できるレベルだからです。最高の実験技術でもこの程度の誤差があります。計算でこれができれば、突然、実験と並行して、あるいは代わりに頼れる技術になります。
AlphaFold 2は0.96オングストロームの誤差を達成し、CASP14で次に良かったシステムの3倍も正確でした。それらのシステムは、我々がすでに発表していたAlphaFold 1の技術を取り入れていたにもかかわらずです。これにより、CASPの主催者たちとジョン・モールは、構造予測問題が本質的に解決されたと宣言しました。長年の年月を経て。
これが予測の様子です。緑色が真の構造で、青色がAlphaFold 2の予測です。まず、タンパク質が驚くほど美しいことに気づくでしょう。これは、長年この研究に携わってきて学んだことの1つです。タンパク質は精巧な小さなナノマシンのようです。そして、オーバーレイがいかに正確かが分かります。我々も、最初にこの結果を得た時は驚愕しました。
これがAlphaFold 2のアーキテクチャです。今日は詳細に立ち入る時間がありませんが、これを機能させるには多くのイノベーションが必要でした。主な技術的進歩は、まず、銀の弾丸はなかったということです。実際に32の構成アルゴリズムが必要で、論文の補足情報60ページに記述されています。そのすべてが必要でした。
我々は、コンポーネントを取り除いて、それなしでもうまくいくかどうかを確認するアブレーション分析を行いました。その結果、すべてが必要だということが分かりました。
AlphaFold 2がAlphaFold 1からの改善点の3つの主なポイントは次の通りです。

システムを完全にエンドツーエンドにしました。反復的なリサイクリング段階を持つエンドツーエンドと考えることができます。時間とともに、タンパク質構造を予測する最終的な構造に近づけていきます。

AlphaFold 1システムはそうではありませんでした。アミノ酸配列から、ディスタンスマップと呼ばれる中間表現に変換していました。これは、すべてのタンパク質分子と他のn個の分子との距離を対にしたものです。そこから、3D構造を作成するために別の方法を使用していました。
しかし、AlphaFold 2では、これをエンドツーエンドにしました。直接3D構造を予測するようにしたのです。機械学習を扱う方々はご存知だと思いますが、一般的に、何かをエンドツーエンドにして、目的とするものを直接最適化できるようにすれば、通常システムのパフォーマンスが向上します。
アミノ酸残基の暗黙的なグラフ構造を推論するために、注意ベースのニューラルネットワークを使用しました。AlphaFold 1では、コンピュータビジョンから借用した畳み込みニューラルネットワークを使用していました。よく考えてみると、これはタンパク質フォールディングに誤ったバイアスを導入していました。コンピュータビジョンでは、画像内の隣接するピクセルが明らかに相関していますが、タンパク質では、文字列上で近くにあるアミノ酸残基が、完全な3D折りたたみ後に近くにあるとは限りません。あるいは、遠く離れたものが折りたたまれて近くに来る可能性もあります。ある意味で、誤ったバイアスを与えていたのです。そのため、それを取り除く必要がありました。
学習に影響を与えることなく、生物学的、進化的、物理的な制約をシステムに組み込みました。通常、制約を入れると学習に影響を与えますが、我々はそれを避けることができました。一種のハイブリッドシステムだと考えることができます。

これは約5年にわたる大規模な研究プロジェクトで、最大で20人が関わりました。真の学際的な取り組みでした。機械学習の専門家だけでなく、生物学者、物理学者、化学者も必要でした。これは、AIを科学に応用する際の学際的な作業について学ぶべき興味深い教訓かもしれません。その分野の専門家も必要なのです。
最後に興味深い点として、通常我々は常に汎用性を追求しています。アルファ碁からアルファゼロへの道のりを見れば分かるように、我々は徐々にものを汎用化していきました。まずパフォーマンスを追求し、次にシステムから要素を取り除いて、よりシンプルでエレガントにしようとします。通常、それによって何をしているのかをより理解できるようになり、より汎用的になります。
しかし、それは囲碁やチェスが我々がやりたいことのテストベッドだったからです。他の科学者や健康、この場合は生物学にとって本当に重要な現実世界の問題を解決しようとしているなら、実際にはあらゆる手段を尽くす必要があります。なぜなら、この場合はタンパク質構造という出力そのものを求めているからです。そして我々はここでそれを行いました。我々が持っているすべてを投入しました。これは、我々が今まで構築した中で最も複雑なシステムだと思います。
このシステムについて注目すべき他の点として、AlphaFold 1は比較的遅く、1つのタンパク質に数週間の計算時間がかかっていました。AlphaFold 2は、8個のTPUまたは150個のGPUという比較的控えめなセットアップで、システム全体の訓練に2週間かかりました。これは現代の機械学習の基準からするとかなり小規模です。
そして、推論、つまり予測は、平均的なタンパク質で1台のGPUを使用して数分、時には数秒で行うことができます。非常に高速です。
AlphaFold 2の結果を発表し、方法を公開したのは2020年のクリスマスでした。その時、世界中の生物学者にこのシステムへのアクセスを提供する方法を考えていました。通常なら、サーバーを設置して、生物学者からアミノ酸配列を送ってもらい、数日後に予測結果を返すというようなことをするでしょう。しかし、AlphaFold 2は非常に高速だったため、我々自身ですべてを一度に折りたたむことができると気づきました。つまり、すべてのタンパク質を折りたたむことができるのです。
まず、ヒトのプロテオーム、つまりヒトゲノムのタンパク質版から始めました。そこで、2020年のクリスマスの間にそれを行いました。ヒト全体のプロテオームを折りたたんだのです。AIと計算機の素晴らしいところは、クリスマスの昼食を食べている間に、AIが世界のために何か有用なことをしてくれることです。
ヒトのプロテオームの結果は2021年の夏に発表しました。AlphaFold 2は、ヒトの体内のすべてのタンパク質、約2万個のタンパク質を予測しました。これらは当然、ヒトゲノムによって発現されています。我々がこの実験を行った時点で、30年から40年の実験により、ヒトプロテオームの約17%しかカバーされていませんでした。我々は一晩でそれを2倍以上に増やしました。非常に高精度の構造という意味で。もちろん、すべてを折りたたみましたが、非常に高精度、つまり1オングストローム未満の誤差で、実験品質に匹敵する精度です。我々は36%に到達しました。
そして高精度、つまりバックボーンがほぼ正確で信頼できるが、側鎖が少しずれている可能性がある場合、58%に到達しました。
では、残りの42%はどうでしょうか? その一部は、AlphaFold 2が単に苦手なものかもしれません。しかし、生物学者と一緒に研究を進めていくと、生物学者が「このタンパク質はよく折りたたまれた」「このタンパク質はうまく折りたたまれなかった」と結果を送ってくれることがよくあります。うまく折りたたまれなかったものを見ると、多くの場合、それらは「孤立状態では構造を持たない」タンパク質であることが分かります。
これらは本質的に無秩序なタンパク質で、何と相互作用するかが分かるまで、基本的にぐにゃぐにゃした紐のような状態です。おそらく、体内で何かと相互作用する時に形を形成するのでしょうが、孤立状態ではその形が分からないのです。この段階では、何と相互作用するかさえ分からないかもしれません。
そのため、人々は今、これを無秩序タンパク質予測器として逆に利用し始めています。AlphaFoldがうまくいかない場合、それは無秩序タンパク質である可能性が高いという良い証拠になるかもしれません。これはもちろん、アルツハイマー病などの疾患において非常に重要です。誤って折りたたまれたタンパク質や無秩序なタンパク質が関与していると考えられています。
AlphaFoldの素晴らしいイノベーションの1つは、システムに自身の予測に対する信頼度を予測させたことです。これを行った理由は、機械学習の専門用語を気にしない、あるいは理解しない、あるいはそれが無関係な生物学者にも使ってもらいたかったからです。彼らは単に構造に興味があるでしょう。そして、その予測の品質を簡単に評価でき、どの部分を信頼できるか、どの部分を実験的に確認する必要があるかを容易に判断できるようにしたかったのです。
そこで我々は、AlphaFoldの予測を3つの閾値に分けました。90%以上を非常に高精度（1オングストローム未満の誤差で実験品質）、70%以上をバックボーンが正確、50%未満を信頼できない領域としました。データベースではこのように表示されています。
さらに、研究で使用される重要な20のモデル生物種をカバーしました。結核菌や、農業に重要な小麦や米なども含まれています。これらの生物種のプロテオームの多くは、ヒトプロテオームよりもはるかにカバレッジが低いのです。もちろん、ヒトのプロテオームが最も研究されており17%ですが、これらの生物種の中には1%未満のものもあります。そのため、植物科学者やその他の研究者にとって、これは大きな恩恵となります。彼らには、興味のあるタンパク質を結晶化するための時間や資源がなかったでしょう。
次に、ケンブリッジのEMBL-EBI（欧州バイオインフォマティクス研究所）と提携しました。彼らは素晴らしいパートナーで、すでに世界中の多くの大規模データベースをホストしています。このすべてのデータを提供する最良の方法は、彼らにホスティングを任せ、生物学の主流ツールに組み込んでもらうことだと考えました。彼らと素晴らしいコラボレーションを行い、すべてのデータを無料で、産業用でも学術用でも制限なく利用できるようにしました。
その影響を見るのは素晴らしいことです。このような方法でリリースすることで、科学的影響を最大化しようとしました。
また、安全性と倫理についても考慮しました。生物学、バイオインフォマティクス、バイオセキュリティ、製薬などの様々な分野の30人以上の専門家に相談し、このタイプの情報をリリースしても問題ないかを確認しました。彼らは全員、これについては心配していませんでしたが、将来的なことについては潜在的に心配していました。そのため、我々はそれを念頭に置いています。
現在、データベースには100万件の予測が含まれています。特に注目したいのは、我々が特に優先したのが顧みられない熱帯病だということです。これらは、発展途上国の最貧困層に最も影響を与える病気ですが、製薬会社にとっては利益がないため、最も研究が進んでいません。そのため、多くの場合、NGOや非営利団体が研究を行わなければなりません。彼らにとって、すべての構造を入手できることは素晴らしいことです。これらの構造を見つけるという中間段階を経ずに、直接創薬に進むことができます。そのため、我々はこれらの疾患、さらにはWHOから提供された将来的な病原体の可能性のあるものすべてを優先しました。
コミュニティはAlphaFoldをどのように活用しているでしょうか? わずか9ヶ月か10ヶ月で、信じられないほどの量の研究が行われています。EMBLの同僚たちと行った非常にクールな研究があります。彼らはAlphaFoldを実験データと組み合わせて使用し、核孔複合体と呼ばれる体内で最大のタンパク質複合体の1つを組み立てました。これは細胞の核への小さな入り口で、開閉して物質を通します。彼らはそれを組み立て、視覚化することができました。美しいものです。
先ほど言及した無秩序予測器や、上位30の病原体についても触れました。興味深いことに、実験科学者が最初に恩恵を受けています。彼らは、自分たちの低解像度の画像とAlphaFoldの予測を組み合わせることができます。2つのソースがあれば、やや低解像度の実験データから、より鮮明な予測を行うことができます。
すでに数百の論文が発表され、AlphaFoldが応用されています。創薬の産業でも利用されています。
影響はどうでしょうか? すでに50万人の研究者がデータベースを利用しています。これは世界中のほぼすべての生物学者が、自分が興味を持つタンパク質を調べたと考えられます。190カ国で150万の構造が閲覧され、すでに3000以上の引用があります。ScienceやNatureといった科学誌からも、この方法について素晴らしい評価を受けています。
来年にかけて、科学で知られているすべてのタンパク質、つまりUniProtにある1億以上のタンパク質を折りたたむ計画です。現在、着実に進めており、時間をかけてリリースしていく予定です。
少し視点を広げると、これは何を意味するのでしょうか? おそらく、私が「デジタル生物学」と呼びたい新しい時代に突入しているのかもしれません。私は生物学を、最も基本的なレベルでは情報処理システムだと考えています。非常に複雑で創発的なものですが。
これは、AIが有用である完璧な領域かもしれません。物理学では数学を使って物理現象を記述し、それは非常に成功を収めてきました。もちろん、数学は生物学にも適用でき、多くの分野で成功裏に適用されてきました。しかし、これらの創発的で複雑な現象の多くは、わずかな方程式で記述するには複雑すぐるのではないでしょうか。
細胞の「ケプラーの運動法則」のようなものをわずかな微分方程式で表現するのは難しいでしょう。学習モデルの方がこのアプローチにはより適しているかもしれません。
AlphaFoldは、このようなことが可能であることの証明になるのではないかと思います。そして、この新しいデジタル生物学の幕開けを告げるものになるかもしれません。
DeepMindのサイエンスチームでは、この分野でさらなる研究を進めています。生物学チームの規模を倍増させました。また、この研究と関連研究に基づいて、創薬を加速させるための新しい会社、Isomorphic Labsを立ち上げました。計算とAI手法を使用することで、創薬のプロセスを1桁速くできるかもしれません。現在、ターゲットの同定から候補薬の発見まで平均10年かかっています。
締めくくりに入りますが、ここ最近は私たちにとってある種のルネサンス期のようでした。子供の頃からの夢のプロジェクトを次々と実現できて、とても楽しい時期です。核融合、量子化学、数学、材料科学、気象予報など、これらすべてが昨年から現実のものとなり、それぞれの分野で重要な問題に適用し、素晴らしい重要な研究を発表することができました。
もちろん、産業応用でも多くの素晴らしい成果があります。DeepMindには応用チームがあり、Googleの製品チームと協力して、我々の研究成果を何百ものGoogle製品に組み込んでいます。おそらく、皆さんが使用しているGoogleのほぼすべての製品に、何らかのDeepMindの技術が含まれているでしょう。
特に言及したいのは、データセンターの仕事と、データセンターが使用するエネルギーと冷却システムの最適化です。これをグリッドスケールに適用することも検討しています。WaveNetは世界最高のテキスト音声変換システムで、会話するデバイスの多くがWaveNetを使用して非常にリアルな音声を生成しています。
YouTubeのビデオ圧縮を改善し、ビデオ品質を維持しながらビットレートを4%削減することもできました。また、レコメンデーションシステムなども手がけています。挙げればきりがないほどです。
そして、もちろん現在非常に注目されている大規模言語モデルについても多くの取り組みを行っています。これだけで1つの講演になるでしょう。我々独自の本当にクールな大規模モデルがあります。テキストの説明からプログラムを作成し、コードを書くことができるAlphaCode、競技プログラミングレベルのコードを生成できるのは今でも驚きです。Chinchillaは我々の大規模言語モデルで、計算効率が高いです。Flamingoは画像と言語を組み合わせたモデルで、画像を説明することができます。そして最新のGatoモデルは非常に汎用性が高く、ロボティクス、ビデオゲーム、言語など、1つのモデルで多くのことができます。
これらはすべて非常にエキサイティングですが、最後の数枚のスライドで倫理について少し触れたいと思います。もちろん、これはAI倫理研究所が主催しているイベントですし、非常に重要なトピックです。タナー講演もこのテーマに関するものでした。
我々は「責任を持って先駆的であること」について多く考えています。これは実際に、DeepMindの2つの価値観、「先駆的であること」と「責任を持つこと」を組み合わせたものです。
AIには、人類の最大の課題の一部を解決する信じられないほどの可能性があると確信しています。疾病や気候変動など、これらすべてが射程に入る可能性があります。しかし、もちろんAIは責任を持って、安全に構築されなければなりません。そして、これらのシステムを構築している人々が、それを全ての人の利益のために使用することを確実にしなければなりません。
我々はDeepMindの設立当初からこれを念頭に置いてきました。あらゆる強力な技術と同様に、AIも例外ではありませんが、これまでに登場したどの技術よりも汎用的で強力かもしれません。それが我々の社会にとって有益か有害かは、我々がどのように展開し、使用するか、どのようなことに使用することを決めるかによって決まります。
これについて、ここや倫理研究所のような場所で幅広い議論を行うことが重要だと考えています。新しい研究所との交流を楽しみにしています。
1つ言及したいのは、多様性と包摂性（D&I）が本当に重要だということです。ここ数年、我々はこれを強く推進してきました。これらのシステムの設計と展開の決定に、可能な限り幅広い意見を取り入れることが重要だと考えています。特に、これらのシステムに最も影響を受ける人々の意見を取り入れることが重要です。
DeepMindでは大きな進展を遂げていますが、まだまだやるべきことはたくさんあります。我々が行っているスポンサーシップでも、これを推進しています。これまでに、奨学金、多様性奨学金、学術機関の寄付講座やプロジェクトなどに、約5000万ドル相当のスポンサーシップを行ってきました。また、アフリカ最大の機械学習会議であるDeep Learning Indabaへの資金提供も行っています。多くのDeepMindのメンバーがこの設立に協力したことを誇りに思います。
業界全体に対するロールモデルとなるよう、多くのことを行っています。
倫理と安全性については、常に我々のミッションの中心にありました。冒頭でお話しした野心的なミッションをご覧いただいたと思います。2010年、小さな屋根裏部屋のオフィスにいた頃から、我々は成功を想定して計画を立てていました。
科学者として、成功とは何を意味するのか、世界はどのようになるのかを考える必要がありました。2022年の今では明らかになってきていますが、2010年の時点で我々には明らかでした。本当に重要な問題に取り組む必要があるということです。
我々はずっとバックグラウンドでこれに取り組んできました。おそらく将来的にこの仕事についてもっと話すことになるでしょう。AI原則の草案作成に我々は重要な役割を果たしました。これらの原則は現在公開されていますが、その一部はDeepMind設立当初から持っていた倫理憲章に基づいています。これらの原則の目的は、AIがもたらす可能性のある広範な利益を実現しつつ、潜在的なリスクや害を事前に特定し、軽減することです。
我々は、これらのトピックに関してAIコミュニティのリーダーシップを発揮し続けようとしています。戦略、リスク、倫理、安全性など、多岐にわたる分野です。
では、我々は何をすべきでしょうか? 最後のスライドで締めくくりたいと思います。我々がすべきでないのは、「速く動いて、物事を壊す」というシリコンバレーの格言に従うことです。これは非常に効果的で、強力なシステムと成長を実現する方法かもしれません。しかし、AIのような潜在的に両用途に使える強力な技術に対しては、適切なアプローチではないと考えています。
問題は、「速く動いて、物事を壊す」というアプローチから、最小限の実行可能な製品で世界中でライブABテストを行うことが導かれることです。そして、オプションBが terrible optionだった場合、その害はどこに及ぶのでしょうか? それは社会が負担することになります。社会があなたの学習のコストを支払うことになるのです。
小さなゲームアプリや写真アプリならば問題ないかもしれません。しかし、すでにソーシャルネットワークで見られるように、10億人規模のユーザーを持つサービスでは適切ではありません。ABテストが本当に重要になってくるからです。そのような方法で行うのは責任ある行動とは言えません。
では、代わりに何をすべきでしょうか? 幸いなことに、我々にはすでに別の方法があります。科学的手法です。これは恐らく、人類が生み出した最も偉大なアイデアの1つでしょう。この非常に強力で信じられないほどの可能性を秘めた技術にアプローチする際に、科学的手法を使用すべきだと考えています。
この分野で科学的手法を適用するとはどういうことでしょうか? まず、事前に慎重な熟考と予見が必要です。自分が取り組もうとしていることが成功した場合、何が起こり得るかについて仮説を立てます。つまり、後からではなく、事前に考えるのです。
次に、厳密で慎重な制御された実験を行います。これは私が博士課程で学んだ主要な点の1つです。神経科学以外にも、対照実験の価値を本当に理解しました。博士課程を始めた頃は、興味のある条件だけに注目し、それで新しい発見ができると考えていました。しかし、適切な対照がなければ何も結論付けられないのです。これは、エンジニアが最初は理解していないことだと思います。しかし、研究博士号を取得した科学者や研究者は理解しています。なぜなら、それは博士課程で学ぶことの1つだからです。
制御された環境で実験を行うことが重要です。何をしているのかをよりよく理解するまで、世界中で実験を行うのではありません。もちろん、経験的データに基づいて更新を行います。理想的には、ピアレビューを受けて、外部からの批評を得ます。あなたの仕事から独立した人々からの批評です。
これらはすべて科学的手法の標準的なやり方です。しかし、エンジニアリングでは標準的ではありません。これらすべては、大規模に展開する前にシステムをよりよく理解するためのものです。そして、何か新しいことを発見するかもしれません。
私の見解では、人工知能に近づくにつれて、非常にエキサイティングな時期に来ています。私の講演からお分かりいただけたと思います。しかし、この規模の技術が要求する尊重と注意、そして謙虚さを持って扱う必要があります。
これが我々が先頭に立って取り組もうとしていることです。将来的にこれについてもっと話す機会があると思います。
最後に、科学の問題に戻りたいと思います。AIを正しく扱えば、人類が今まで発明した中で最も偉大で有益な技術になる可能性があります。私はAIを、科学者として宇宙をよりよく理解し、おそらくその中での我々の位置づけを理解するための究極の汎用ツールだと考えています。
ありがとうございました。
[拍手]
ナイジェル・シャドボルト:
デミス、素晴らしい講演をありがとうございました。質問の時間が少しありますが、あなたのビジョンについて感じ取る機会を与えてくれました。
では、聴衆からの質問を受け付けたいと思います。マイクが渡されるまで待ち、可能であれば立ち上がって質問してください。申し訳ありませんが、劇場の健康と安全方針により、地上階の方のみが質問できます。質問がある方は手を挙げてください。
はい、ジョン、あなたから始めましょう。特権を与えましょう。移動マイクがあります。ジョン、立ち上がって自己紹介してから質問してください。
ジョン・タスリス:
ナイジェル、倫理の話を差別から始めるのは面白いですね。私はジョン・タスリスで、AI倫理研究所の所長です。
本当に魅力的で啓発的な講演をありがとうございました。2つの質問をさせてください。1つは、あなたが取り組んでいるプロジェクトの性質についての非常に一般的な質問です。
目的は、新しい科学的理解を生み出すのに役立つ強力な汎用ツールを生成することです。このツールの性質は人工知能であり、広範な認知タスクで人間と同等またはそれ以上のパフォーマンスを発揮できるものです。
懸念は、人間と同等またはそれ以上のパフォーマンスを発揮できるものを、まだツールとして扱えるのかということです。そのような能力を持つものは、同僚のような存在になるのではないでしょうか。最後にAIを尊重することについて言及されましたが、そのレベルの能力を持つものは、単なるツールとして扱うのではなく、異なる形の尊重を要求するように思えます。これが1つ目の質問です。
2つ目の質問は、人類に利益をもたらすことについて言及されましたが、その決定をどのように行うのでしょうか。例えば、AIを軍事応用に適用することが人類に利益をもたらすと考える人もいれば、そうでない人もいます。その判断をどのように行うのでしょうか。
また、その評価を行う上での分業についても疑問があります。開発者、研究者、企業に過度の負担がかかっていると考えますか? それとも、政府がこれらの問題の一部を解決すべきだと考えますか?
デミス・ハサビス:
ジョン、素晴らしい質問をありがとうございます。
1つ目の質問については、人間の能力が興味深いマッピングである理由は、人間の脳が我々の知る限り宇宙で唯一の一般知能の証拠だからです。そのため、どのようにしてそこに到達したかを知る方法として、常に疑問があります。
潜在的に何百万ものタスクで近似することができます。これが1つのアプローチです。バッグに入っているタスクが多ければ多いほど、そしてそれらすべてを人間のパフォーマンスと比較してできれば、達成したと言えるかもしれません。
しかし、創造性のような特定のタイプの認知能力を見逃している可能性は常にあります。そのため、AIを神経科学にも適用できると考えています。これは我々がAIを適用している科学分野の1つです。つまり、神経科学自体と我々自身の心をよりよく理解することです。
神経科学者として、AIへの取り組みは科学的に取り得る最も魅力的な旅だと考えています。単にAIを人工的に構築するだけでなく、それを人間の心と比較し、我々自身の心の謎を解き明かすことができるからです。夢とは何か、創造性とは何か、感情とは何か、さらには自由意志や意識といった大きな問いにも迫ることができるでしょう。AIと知的人工物を構築し、それらに何が欠けているかを見ることで、これらの問いを科学的に探求する良い方法になると考えています。
あなたの質問に対する答えは分かりません。それがこの旅の一部なのです。これらのものがただのツールではなくなる時点はいつなのか。それは設計の問題かもしれません。意識とは何かまだ分かっていませんし、それ自体で大きな議論になるでしょう。しかし、我々のシステムにそれを構築すべきでしょうか。
始めは構築すべきではないと考えています。ツールとしてよりよく理解できるまでは。そして、自由意志やどこから目標を得るのかといった複雑さを後から導入することができます。最初は設計者が目標を設定しますが、自己生成される可能性もあります。
これらのことからはまだ遠い段階にいると思いますし、非常に慎重に、予防措置を講じながら少しずつ進むべきだと考えています。なぜなら、人間であることの本質に迫ることになるからです。これは学際的なアプローチが必要で、哲学者や倫理学者、神学者、そして広く人文科学の知見が必要になると思います。科学だけでなく。つまり、これからのことだと考えています。
カリーナ・プリンス (Karina PR):
素晴らしいプレゼンテーションをありがとうございます。研究所のリサーチフェローのカリーナです。
様々な場面で、デュアルユース、特に悪意のあるデュアルユースの可能性について言及されました。DeepMindでこのトピックにどのようにアプローチしているのか、お聞きしたいと思います。どのような予防措置を講じているのか、デュアルユースの可能性にどのように対処しているのでしょうか?
デミス・ハサビス:
素晴らしい質問です。DeepMindでは、時間をかけて構築してきた様々なメカニズムがあります。
1つは機関審査委員会です。COOのイリガ・イブラヒムが議長を務め、会社全体から様々な人が参加しています。法務部門や倫理学者、哲学者もいますし、上級研究者も含む交代制の委員会です。彼らは研究プロジェクトの初期段階から関与し、あらゆる側面から評価しようとします。
外部の専門家も招きます。例えばAlphaFoldの場合は生物学者や生命倫理学者など、社内にいない専門家を招きました。そして研究チームと協力して、プロジェクトを進めるべきかどうか、条件付きで進めるべきか、あるいは別のアプローチでセーフガードを設けるべきかを判断します。
これが我々のプロトタイプの委員会で、このような評価を行っています。現在はリスクが比較的低い段階ですが、この経験を積むことで、より強力なシステムが登場した時に何が効果的かを学んでいます。
時間が経つにつれ、いつかは外部の機関が関与する必要があるでしょう。しかし、問題は、これらの多くが技術自体に非常に特化しているということです。深いレベルで技術を理解する必要があり、場合によっては制御された方法でアクセスする必要があるかもしれません。
なぜなら、単にオープンソース化すれば良いというわけではないからです。危険なシステムであれば、オープンソース化することで悪意のある行為者が自由に使用できるようになってしまいます。
このトピックには多くの複雑な倫理的問題があり、簡単な答えはないと思います。簡単な答えがあると考える人は自分を騙しているのだと思います。我々の内部システムにはとても満足していますが、システムがより強力になり、世界に与える影響が大きくなるにつれて、それだけでは不十分になることは理解しています。
リック:
こんにちは、リックと申します。コンピューターサイエンス学部の人間中心コンピューティンググループの博士研究員です。
DeepMindは、科学の最高のものを取り入れ、商業企業と融合させ、非常に急速な進歩を遂げている素晴らしい例のように見えます。最後に、科学のプロセスが商業世界にインスピレーションを与えるべきだとおっしゃいました。逆のことについてお聞きしたいと思います。Googleに組み込まれていることで学んだことで、我々研究者がより急速な進歩を遂げるために学ぶべきことは何でしょうか?
デミス・ハサビス:
その通りです。それが組織の設立と processes の背後にあった元々のビジョンでした。会社の元々のビジョンについてお話ししましたが、組織の設立とプロセスの背後にあった元々のビジョンは、両方の長所を生かしたハイブリッドを作ることでした。
スタートアップのエネルギーと創造性、そしてスピードと俊敏性。そして、学術研究の長所である青空思考、野心的な thinking。ただし、学術研究には多くの官僚主義がありますね。この2つを実際に上手く組み合わせることができたと思います。
そして、買収に合意した時、3つ目の要素として、Googleのような非常に成功した大企業の規模とリソースを組み合わせました。これが主な教訓だと思います。大きな影響力を持つことを確実にし、野心を持ち、それを実現できることを認識することです。それに伴う結果も含めて。
我々は今、これらの3つの側面をうまく融合させていると思います。組織が大きくなるにつれて遅くなる傾向があるので、日々の課題でもあります。常にそれと戦わなければなりません。
DeepMindの組織文化や雰囲気は非常にユニークだと言えるでしょう。他の大規模プロジェクトの青写真になる可能性があります。同様の方法で組織化できるかもしれません。
ティム:
「速く動いて物事を壊す」というのは、あるソーシャルネットワークを構築した人々の言葉ですね。もしDeepMindが、DeepMindのやり方でソーシャルネットワークを構築するとしたら、どのような指標を使用しますか? ソーシャルネットワークの質を判断するためにどのような指標を最適化しますか?
そしてそれに付随する2つ目の質問は、実際にそのソーシャルネットワークを構築する道徳的義務があるのでしょうか?
デミス・ハサビス:
ティム、2つの複雑な質問をありがとうございます。正直に言うと、ソーシャルネットワークについてはあまり考えたことがありません。私の個人的な情熱は科学の進歩や、そういった種類のことにあります。
実際、あなたの質問の前提に疑問を投げかけたいと思います。弱い結びつき、つまりそのような表面的なつながりが、実生活での本当の家族や友人との深いつながりと比べてどれほどの価値があるのでしょうか。これは興味深い問いだと思います。より意味のある瞬間を犠牲にして、何百もの表面的な瞬間を得ているのでしょうか。世界をつなげるというのは魅力的に聞こえますが、なぜそれが悪いことなのでしょうか。
これこそが、科学的方法について私が言及していたことです。エコーチェンバーや操作など、我々がよく知っている結果を含め、その全体的な影響を事前に十分に考える必要があります。詳しく説明する必要はないでしょう。
もし私がそのようなものを作るとしたら、科学的方法を再び使用して、事前に本当に考え抜くでしょう。どのような結果と指標を望むのか、それらが世界にとって良いと思われる行動を実際に促進するのか。適切な指標を見つけることが、半分の課題だと言えます。科学をする人なら誰でも知っていますが、正しい問いを立てることが最も難しいのです。これは特に難しい問題です。
答えが欲しいですか? その場で答えを出すのは避けたいですね。夕食時にでも議論できますが。少なくとも、最初に問題について真剣に考えることから始めるべきです。これが最初のステップです。答えは分かりません。十分に考えていないからです。しかし、少なくとも、そのようにアプローチすべきだというメタレベルの理解から始めるべきです。そもそもそれを行うべきかどうかも、その仮説生成の答えになる可能性があります。
ヘレン・ランドール:
素晴らしい講演をありがとうございます。イェール大学のミーン・ランドールで、AI倫理研究センターの客員研究員です。
AIが宇宙の真理を解明するのに役立つ可能性を示してくださいました。では、道徳の世界や政治の世界についてはどうでしょうか? 哲学はプラトンの『国家』から始まりますが、これは最良の国家体制を見出そうとする試みです。完全な道徳的相対主義者でない限り、道徳の世界には何らかの不変のものがあるはずです。AIはそれを解明するのに役立つでしょうか?
例えば、これまで我々が試みてきた資本主義、社会主義、自由主義、平等主義などを踏まえて、最良の社会組織を見出すことができるでしょうか? 我々の想像力を拡張し、例えば多数派の選好を満たしつつ少数派の権利を保護するような制約のもとで、客観的な関数を仮定することはできるでしょうか?
将来的にどのようなことが可能だと考えますか? 我々は2000年以上かけてあまり進歩していませんからね。
デミス・ハサビス:
良い質問です。道徳性や政治学は、AIが貢献できる分野の1つだと思いますが、物理科学や生命科学よりもはるかに難しいと考えています。世界で最も複雑なものは人間ですから、人間を理解し、モデル化し、特に集団としての人間の動機を理解することは非常に難しいのです。
AIが役立つ可能性がある1つの方法は、たとえAIが理論的により良い政治的構造を考え出したとしても、人間や社会がそれを受け入れるか、あるいは気にかけるか、理解するかという問題があります。また、それが正しく実装されるかどうかという実装の問題もあります。
おそらくより興味深いのは、経済学者とも議論したことですが、マルチエージェントシステムの研究です。何百万ものエージェントが互いに相互作用する小さなサンドボックスやシミュレーションを作り、それぞれに動機付けや目標追求の能力を持たせるのです。
実際、政治学や経済学には、この種の実験的なテストベッドが不足していると思います。なぜなら、これらの分野では世界で直接ABテストを行わなければならないからです。この政治システムを採用すべきか、インフレを上げるべきかなど。モデルはありますが、実際にやってみて、「あ、不況を引き起こしてしまった。次はそうしないようにしよう」というようなことになります。
AIシステムで人間の理想化された形を近似したシミュレーションやサンドボックスがあれば、市場のダイナミクスや、より協調を促進するような環境設定など、興味深い実験的な研究ができるかもしれません。経済学者なら、そういったことに取り組んでみたいと思うでしょう。
子供の頃、サンタフェ研究所の研究に魅了されていました。エージェントベースのシステムや小さなグリッドワールドの面白いモデルをたくさん作っていました。アクセルロッドの『人工社会の成長』のような研究が大好きでした。実際、サンタフェに行ってそのような研究をすることを夢見ていました。今でも、そのようなシステムを持つことはとてもクールだと思います。
チャッド:
簡単な質問です。最後に科学的方法の姿を借りてAIを作ることについて言及され、講演のタイトルも「AIによる科学の発展」でしたが、ニューラルネットワークやAIは、我々が持つ科学的方法の概念にどのような意味で従っているのでしょうか?
仮説を立てて検証するという概念はあるのでしょうか? ニューラルネットワークはそのように機能しているようには見えません。ほとんどの実用的な目的において不透明です。もし、AIが我々を上回るのであれば、科学的方法を捨てて、このアプローチに従うべきなのでしょうか?
デミス・ハサビス:
いいえ、そうではありません。科学的方法の姿を借りるのではなく、科学的方法のアプローチを使用するということです。科学的方法の姿とは何を意味するのかよく分かりません。
確かに、今日我々が持っているシステムの多くはブラックボックスのようなものです。しかし、それこそが我々がもっと取り組むべきことだと思います。システムをより透明にすることです。不透明である必要はないのです。
神経科学チームにこう言っています。「我々は脳について多くのことを理解しています。究極のブラックボックスです。MRIマシンや素晴らしいツール、単一細胞記録などがあります。2000年代半ばに神経科学に入った理由の1つがこれです。実際に中を覗くことができるのです。心の哲学だけをする必要はありません。もちろん、それについても知っておくべきですが、内省だけでなく、経験的に見ることができるのです。」
最低でも、人工的な心の分野では、実際の脳について知っているのと同じくらい知るべきです。実際の脳についてすべてを知っているわけではありません。まだ分からないことがたくさんあります。しかし、これらの人工システムについて知っていることよりも、はるかに多くのことを知っています。
それは逆であるべきです。これが最低限のラインであるべきです。なぜなら、人工的な脳のすべての人工ニューロンにアクセスでき、実験条件を完全に制御できるからです。
時々、チームに挑戦的に言います。「ニューラルネットワークのfMRIに相当するものは何か? 単一細胞記録に相当するものは何か?」我々は除去研究を行っています。神経科学チーム全体がこれについて考え、神経科学の分析技術をAIに持ち込もうとしています。
エンジニアの擁護をすると、これが起こった理由の1つは、脳が明らかに静的なシステムであるのに対し、人工システムは時間とともに変化するからです。アルファ碁は今ではAIの古代の歴史です。当時は非常に意味のあるものでしたが。システムを研究するのに何年もかかります。構築に何年もかかり、研究にも何年もかかります。
では、何らかの結論に達する頃には時代遅れになっているシステムを研究するのに、その研究時間を使うべきでしょうか? おそらく今になって、大規模モデルやAlphaFoldのようなシステムなど、世界で十分に興味深いことを行うシステムができてきたので、ようやくそれらに研究者の時間を費やす価値があると言えるでしょう。
次の10年間で、これらのシステムが何をしているのかについて、もっと理解が進むと思います。それが理解できない不思議な理由はないと考えています。
ナイジェル・シャドボルト:
まだまだたくさんの質問があります。残念ながら時間切れです。申し訳ありませんが、デミスに対する関心と質問が山積みになっているようです。
素晴らしい講演をありがとうございました。予定より5分遅れてしまいました。シェルドニアンは時間厳守の厳しい体制で運営されています。
最も魅力的な洞察を与えてくれました。あなたの会社と才能によって、AIが我々を繁栄させ、力を与え、抑圧しない未来のすばらしいビジョンを世界に示してくれました。
本当にありがとうございました。