進化したAI「Google Pathways」とは！？
なかなか面白そう。
知的好奇心を揺さぶられる内容にしとくねｗ
Google Pathwaysとは、進化したAI？
GoogleのAI部門の責任者であるJeff Dean氏は、Google Pathways（以下Pathwaysと表記）とは「次世代のAIアーキテクチャ」であり、「1つのモデルで数千、または数百万ものことをするよう訓練できる」と表現しています。（※１）
今までのAIの機械学習では、入力された情報に対して一つの感覚によってしか理解ができませんでした。しかしこのPathwaysでは、入力された情報に対して複数の感覚によって理解ができるようになりました。
Pathwaysによってできることは？
マルチモーダルによって事象を捉えることができるので、今までは人間にしかできなかったような判断ができる可能性があります。従来のAIでは単一の領域に対する最適解のみで、その結果を複数の領域が絡み合う現場において、実際にどう扱うかの判断を下すのは人間でした。
しかし、一つの事象を複数の感覚でとらえ、その相互関係を考慮して全体的な最適解を導くことができるPathwaysであれば、最終的な判断も任せられる可能性もあります。
それどころか、コンピュータは人間が処理できない膨大な量のデータを処理することができます。よって気象力学や化学などの分野の、人間の科学者でも難しい天文学的な数値を扱うような場面においても、最適解を導き出せる可能性があります。
また、一つのAIで複数の感覚から理解した複数の情報を統合することで、要求されるタスクに対して従来のAIよりもより効率的に対処することができるとも言われています。
先述のようにAI内に概念が形成されるため、要求されたタスクに対して必要な情報のみを、複数の感覚から得た複数種類の情報の中からそれぞれピックアップすることができます。そしてその異なる感覚由来の情報同士を結びつけることで、最短経路のタスク処理が可能となります。つまり、ある領域においては感覚Ａから得た情報a、ある領域においては感覚Ｂから得た情報bが最も必要で、その二つを結び付けてショートカットする、といったイメージです。（図２）
これによって従来のAIよりも必要となる情報量の密度が圧倒的に少なくなり、コンピュータの電力効率や速度が上がることが期待されています。（※３）そして、精度も同時に向上すると考えられます。
Trend 1: More Capable, General-Purpose ML Models
Researchers are training larger, more capable machine learning models than ever before. For example, just in the last couple of years models in the language domain have grown from billions of parameters trained on tens of billions of tokens of data (e.g., the 11B parameter T5 model), to hundreds of billions or trillions of parameters trained on trillions of tokens of data (e.g., dense models such as OpenAI’s 175B parameter GPT-3 model and DeepMind’s 280B parameter Gopher model, and sparse models such as Google’s 600B parameter GShard model and 1.2T parameter GLaM model). These increases in dataset and model size have led to significant increases in accuracy for a wide variety of language tasks, as shown by across-the-board improvements on standard natural language processing (NLP) benchmark tasks (as predicted by work on neural scaling laws for language models and machine translation models).
Many of these advanced models are focused on the single but important modality of written language and have shown state-of-the-art results in language understanding benchmarks and open-ended conversational abilities, even across multiple tasks in a domain. They have also shown exciting capabilities to generalize to new language tasks with relatively little training data, in some cases, with few to no training examples for a new task. A couple of examples include improved long-form question answering, zero-label learning in NLP, and our LaMDA model, which demonstrates a sophisticated ability to carry on open-ended conversations that maintain significant context across multiple turns of dialog.
英語が苦手な人はディープエルかグーグル翻訳してね！
本来は英語の方が吸収量がはやいんだがｗ
ついに出た！Googleによる最強・最大の言語モデル PaLM を解説【論文速報】
Google から、超大規模言語モデル PaLM (「パーム」、Pathways Language Model) が発表されました。パラメータ数 540B (5400億) の本モデル、現段階で「最強・最大の言語モデル」と言っても過言ではなく、言語理解、コーディングタスク、多言語タスクなど、様々な分野で最高性能 (SOTA) を軒並み達成しています。
米Googleは4月4日、自然言語処理に関する複数種類のタスクを処理できる「Pathways Language Model（PaLM）」を発表した。Pathways（パスウェイズ）は1つの機械学習モデルが最大数百万種類のタスクに対応できるという「万能」のAI（人工知能）だ。同社は今回、自然言語による質問応答や文章生成などができる「言語モデル」と呼ばれるAIをPathwaysで実装した。
言語モデルは近年、「BERT」や「GPT-3」などがめざましい成果を挙げたことで注目を集めている。従来の言語モデルは1モデルで1タスクの専用品であるのに対し、PaLMは1つの機械学習モデルで質問応答や翻訳、ソースコードの生成・修正、ジョークの解説といったさまざまなタスクを処理できる。
また、1つのモデルで英語だけでなく多言語によるタスクに対応可能だ。PaLMのトレーニングには、ウェブページや書籍、ニュース記事などから収集した7800億単語（トークン）からなる多言語の文章が使用されている。
過去最高水準のベンチマーク性能
PaLMは多くのタスクを処理できるだけでなく、タスクの処理性能も高い。同社が29種類の自然言語に関するベンチマークをPaLMで試したところ、29種類中の28種類でこれまでのSOTA（State of the Art、最高水準）を上回る成績を収めたという。
Pathwaysの規模と性能
PaLMの特徴は機械学習モデルの巨大さだ。PaLMはBERTやGPT-3と同様に、自己注意機構（SA）であるTransfomer（トランスフォーマー）を多段に積み重ねるニューラルネットワーク構造を採用している。
PaLMのニューラルネットワークのパラメーター数は5400億に達し、BERTの3億4000万パラメーターやGPT-3の1750億パラメーターと比べても過去最大級の規模だ。2021年10月に米Microsoftと米NVIDIAが共同開発した「Megatron-Tuning NLG」は5300億パラメーターであるため、それよりも大きい。
同社は5400億パラメーターのPaLMモデル（PaLM 540B）だけでなく、80億パラメーターの「PaLM 8B」と620億パラメーターの「PaLM 62B」を用意し、それぞれの性能を比較した。比較の結果、性能の高い順にPaLM 540B、PaLM 62B、PaLM 8Bとなり、ニューラルネットワークの規模が大きいほど性能が向上した。
一方、タスクによってはパラメーターの数を増やしても性能があまり向上しないものもあった。具体的には、行き先案内に関する「navigate（ナビゲート）」や数学的証明手法を実世界に応用する「mathmetical_induction（数学的帰納法）」などが挙げられる。
Pathwaysの今後
これまでの専用型のAIは新しいタスクに対応する際、タスク専用の学習データが大量に必要になっていた。一方、さまざまなタスクに対応できるPathwaysは、この課題を解消できる可能性がある。
また、今回PaLMが示したのは、自然言語処理という範囲に限定した万能さだ。同社のAI開発を統括するジェフ・ディーン氏のブログによると、Pathwaysはさまざまな感覚に1つのモデルで対応できると予告していた。今後、テキストデータを扱う自然言語処理だけでなく、映像や音声といったタスクで高性能を発揮することが期待される。
ref
この記事が気に入ったらサポートをしてみませんか？