この企業が新世代のAI(リキッドファンデーションモデル)を解き放った

17,943 文字

この企業が開発してきたのは、これまでにないような最も有能で効率的なAIシステムです。リキッドファンデーションモデルは、Liquid AIによって開発された新世代の生成AIモデルです。これらのモデルは、トランスフォーマーアーキテクチャをベースにした従来のAIモデルと比較して、効率性とパフォーマンスの向上を目指して設計されています。
リキッドファンデーションモデルには、いくつかの重要な特徴があります。例えば、より小さなメモリフットプリントを維持しながら、最先端の効率性とパフォーマンスを実現しています。これにより、オンデバイスでのアプリケーションに適しており、クラウドサービスへの依存度を減らすことができ、コストとエネルギー消費を抑えることができます。
また、従来のモデルとは異なり、LFMは新しいアーキテクチャを採用しており、より流動的で適応性が高く、情報を動的かつ効率的に処理することができ、自然言語、音声分析、ビデオ認識などの様々なタスクをこなすことができます。
全体として、リキッドファンデーションモデルには多くの可能性があり、このビデオでは最近のウェブキャストの内容を深掘りし、AIとリキッドファンデーションモデルの未来、そしてこの種のAIが真に破壊的なものとなることについて説明していきます。
今日のAIで可能なことから、プライバシー、計算能力、クラウドの制限などの限界を超えて飛躍するために、私たちは革新的で動的な、流動的なものを作り上げました。リキッドエンジンは真のイノベーションであり、すべての企業が独自のインテリジェンスを所有することを可能にします。
モデル設計とトレーニングのすべてのステップを、企業固有のニーズに合わせて調整することができ、それは現在のニーズであれ、将来のニーズであれ対応可能です。より少ないメモリで効率的で、より説明可能で、より高品質なモデルを提供し、手頃な価格で拡大縮小する能力を与え、これまで不可能だと思われていたことを可能にします。
例えば、自律型ドローンが山火事を大規模な火災になる前に発見したり、患者の全医療履歴を固有のゲノムと照合したり、複数のセンサーデータを使用して製造時の異常を検出したりすることが可能になります。手のひらサイズに収まるモデルが必要な場合でも、世界最大の問題を解決するモデルが必要な場合でも、AIの未来は制限されるべきではありません。それは流動的であるべきです。
では、ウェブキャストの最初の部分を見ていきましょう。AIの現在の限界について説明した5分間のセグメントは省略しました。カーボンフットプリントやスケーリング則、そしてそれらがどのように続いていくかについて説明し、そして彼が「これが私たちがリキッドAIを開発した理由です」と言うポイントに到達します。そしてここから続きます。
私たちはより賢明な方法で生成AIにアクセスできるようにするために、リキッドAIを構築しました。私たちはその恩恵を享受したいと考え、あらゆる規模で汎用的で非常に有能かつ効率的なAIシステムを構築するというミッションを掲げて会社を設立しました。
私たちのビジョンを見ていただくと、このスモールスのスケーリング特性についてより賢くなりたいと考えています。このトレンドは止まりませんが、私たちが試みているのは、より少ないリソースでより多くのことができないかということです。つまり、より小さなパラメータ領域でAIのより優れた機能を引き出せないかということです。
第一原理から考えて、私たちはそれを実現しました。リキッドファンデーションモデルと呼ぶものを構築し、3週間前に最初の言語LFMをリリースしました。これらのモデルは、実際にこれまで見てきたスケーリング則を、より小規模でより高品質なモデルが可能な領域へと引き上げました。
私たちは13億パラメータのモデル、3兆パラメータの言語モデル、そして400億のエキスパートシステムをリリースしました。これにより、チャットアプリケーション、推論、数学的な問題、あるいは特定のタスクのための本番環境での使用など、あらゆる規模で汎用コンピューティングを可能にする技術を提供しています。
リキッドファンデーションモデルは、制御理論と信号処理に根ざした計算ユニットを持つニューラルネットワークです。これは、AIシステムを見る全く新しい方法です。
LFMでは、モデルの品質を向上させるだけでなく、同時により効率的になることも目指しています。通常、ファンデーションモデルを使用する場合、いくつかのコンテキストを与え、モデルはトークンや出力を生成します。そしてそれらのトークンは、モデルを使用するにつれて増加していきます。
これにより、デバイス上でより多くのメモリ容量が必要となり、そのためにより優れたハードウェアが必要になります。しかし、リキッドでは、100万トークンまでのデータを16GBのメモリに収めることを可能にしました。これは以前には不可能でしたが、私たちは高品質なモデルを実現しながらこれを達成しました。
これらのモデルは3週間前にリリースされ、トレンドになりました。私たちは消費者向けの企業ではなく、企業向けにサービスを提供していますが、消費者もGemini FlashやLlama 3.1の次にトレンドとなったモデルで遊ぶことを好んでいるようです。
今日、Open Routerに行けば、私たちのAPIがまだあると思います。これは、私たちの取り組みが実を結んでいることの証です。より低いエネルギー、より低いコスト、AIシステムから引き出せる最高の品質です。
本日、私たちは更なる発表をすることを非常に嬉しく思います。マルチモーダルなLFMをリリースします。音声LFMとビジョンLFMです。音声LFMは約40億パラメータのモデルで、デバイス上で実行可能で、シームレスな音声生成が可能です。音声から音声への変換や、音声からテキストへの機能を実行できます。
ビジョンLFMは、テキストと画像を処理し、その画像に基づいてコンテキストを生成することができます。エッジやオンプレミスでこれらの新しいファンデーションモデルを使用して、多くのアプリケーションを実現できます。今日はこれについて話し合いますが、それだけではありません。
LFMのライブラリもリリースします。私たちは、あらゆる性質の順序付けられたデータに対して、マルチモーダルなデータに私たちの技術を適用してきました。このデータには、生物学的なDNA配列、金融の時系列データ、自動運転における信号収集などが含まれます。
リキッドの製品として完全なライブラリを構築しており、チームがすぐにこれについて話します。しかし、その前に会社自体の位置付けについても説明させてください。
リキッドをAIアーキテクチャ企業として考えないでください。確かに、AIアーキテクチャにおいてイノベーションを起こしましたが、アーキテクチャはファンデーションモデル企業の一要素に過ぎません。私たちはファンデーションモデル企業であり、モデル開発の完全なエコシステムを構築しています。
アーキテクチャだけでなく、学習アルゴリズム、事前学習の方法、事後学習の方法、モデルの評価方法についても革新を行ってきました。これらの品質とスケーリング則のシフトを実現するために、第一原理から深く考えてきました。
次は、これらのモデルの品質と効率性について説明するジミー・スミスという創設科学者の話を見ていきましょう。このモデルがどれほど優れているのかを知りたいなら、このセクションを見てください。
技術的な観点から、ラミーンが共有してくれた多くの内容は、高品質で効率的なモデルを構築する方法を開発した結果です。これらのモデルは、二者択一を迫られることなく、どちらも実現することができます。
これが何を意味するのか、そして私たちがこの問題をどのように考えているのかについて、数分間お話させていただきます。
品質とは、モデルの能力と、様々なタスクに対して生成できる出力の有用性を意味します。私たちは品質の多くの側面を考慮しており、ここにいくつかの重要な例を挙げています。
まず、知識容量です。特定の展開レジームに対する特定のモデルサイズが与えられた場合、トレーニングデータから様々な領域にわたる関連知識をどれだけモデルの重みに詰め込むことができるかということです。これは、モデルが様々なクエリに使用できる事実的な知識の強固な基盤を持つことを確実にするために重要です。
私たちが考慮する品質の別の重要な側面は、多段階推論です。これにより、モデルは複雑なタスクを、より簡単に解決できるより単純な問題に分解することができます。
また、長いコンテキストの能力も優先しています。これにより、モデルはタスクを解決するためにコンテキスト全体からの情報を効果的に使用することができます。これは特に重要な焦点でした。なぜなら、モデルが効率的に長いコンテキストを処理できるということは、必ずしもそのコンテキスト全体の情報を効果的に使用できるということを意味しないからです。
効率性について話す時、私たちはモデルの展開に必要なコストとリソースを決定する推論効率と、モデルの開発に必要なコストとリソースを決定するトレーニング効率の両方を考えています。
ここで重要なのは、トランスフォーマーの代替となる効率的なモデルを開発しようとする多くの試みがあったということです。実際、私たちのチームの多くのメンバーがこの分野で基礎的な研究を行ってきました。
しかし、これらの以前の手法をスケールアップしようとする試み（他の多くの人々や私たち自身による）は、常に品質の少なくとも一つの側面、もしくは多くの側面を犠牲にしなければならないという観察結果に至りました。
これは、私たちがリキッドで解決してきた課題の一つです。私たちは、二者択一を迫られることのない高品質で効率的なモデルを提供する方法を開発しました。
これは、特定の展開シナリオに対する高品質で効率的なモデル設計のための包括的なフレームワークを開発することで実現しました。私たちは、モデルアーキテクチャ（これは重要で行っていますが）だけでなく、データ、トレーニングアルゴリズム、事後トレーニング手順、そしてこれらすべてがアーキテクチャや展開しようとしているシナリオとどのように相互作用するかについても考慮しています。
この視点により、これらの各領域でイノベーションを起こすことができました。このイノベーションの重要な推進力となったのは、異なるアプローチのアーキテクチャ、データ、トレーニング設計の長所と短所を特定できる、きめ細かな内部評価の慎重な設計でした。
具体例を見ていきましょう。より良く理解していただくために、私たちの内部で開発した長いコンテキスト能力評価の一つを考えてみましょう。これは、タスクを解決するために複雑な方法でコンテキスト全体からの情報を使用するモデルの能力を測定するものです。
トレーニング実行中の強力なトランスフォーマーベースラインのこのメトリクスにおけるパフォーマンスをプロットすることから始めます。Y軸は品質スコアを、X軸はトレーニング中に見たトークンの数を表しています。
トレーニングの終わりに、トランスフォーマーは私たちが高品質スコアと考えるものを達成していることを注目してください。実際、他の評価での高スコアと組み合わせると、これは私たちが気にする実世界のアプリケーションでの強力なパフォーマンスを予測するものであることがわかりました。
一方で、このタスクを解決するためにトランスフォーマーが必要とするメモリフットプリントもプロットします。もちろん、トランスフォーマーは展開するのに高価な大きなメモリフットプリントを必要とすることに注意してください。
ここで、以前提案された2つの効率的なトランスフォーマーの代替案のパフォーマンスもプロットできます。1つは最新の入力依存状態空間モデルのバリアント、もう1つは最新のGATリニア注意のバリアントです。
右側で見られるように、これらの効率的な代替案のメモリフットプリントはトランスフォーマーベースラインと比較して非常に有利ですが、トランスフォーマーとこれらの効率的な代替案のパフォーマンスの間に大きな品質のギャップがあることにも気付きます。
実際、このギャップは重要で、以前提案された効率的な代替案をダウンストリームタスクに適用しようとした際の非常に重要な失敗モードを予測するものでした。
もちろん、これは私たちの評価の一つに過ぎず、これにより他の重要な、以前は認識されていなかった失敗モードを特定し、イノベーションへの明確な道筋を作ることができました。
もちろん、私たちのLFMモデルの最初のリリースは、これらのイノベーションの非常に初期の結果に焦点を当てたものです。トランスフォーマーと比較したLFMのパフォーマンスを見ると、LFMは非常に有利なメモリフットプリントを維持しながら、品質スコアを改善していることがわかります。これにより、コスト削減を実現することができます。
これらは私たちがリキッドで解決している課題の種類であり、これは二者択一を迫られることのない高品質で効率的なモデルを提供するという約束をどのように実現しているかについての非常に簡単なプレビューに過ぎません。
さて、私たちのフレームワークの別の重要な中核コンポーネントで、まだあまり話していないものは、事後トレーニング手順です。
ここで、事後トレーニング手法に入ります。これは、AIに初期トレーニングの後で特定のスキルを教える部分です。
ありがとうございます、ジミー。みなさん、こんにちは。ここではリキッドAIで行っているピン作業について少しお話しします。
事前トレーニング中、モデルは一般的な能力を学習するために多くのデータでトレーニングされますが、質問に答え、指示に従うことができる有用なアシスタントにするためには、チューニングする必要があります。
これが事後トレーニングの目的です。高品質な例を作成することで、私たちのモデルに複数のステップと高度な知識を必要とする複雑な質問に答える方法を学習させます。
しかし、これは反復的なプロセスであり、進捗をモニターするには最高の評価が必要です。ジミーが話した内部評価に加えて、トレーニングプロセスのすべての段階で評価のスタック全体があります。
これらの評価は、適切なパフォーマンスレベルに達したことを知るために、事前トレーニングと事後トレーニングのプロセスを導くことができます。
公開ベンチマークにより、私たちの内部スコアを確認し、競合他社とモデルを比較することもできます。しかし、優れたモデルを作るためには、これだけでは十分ではありません。
優れたモデルを作るためには、チャット機能、ユーザーとのインタラクションの方法も評価する必要があります。私たちが作成したリキッドアリーナについてお話しできることを嬉しく思います。
このアリーナでは、2つの匿名のモデルが同じ指示に対して回答を提供し、人間に最良の回答を選んでもらいます。多くの指示と回答でこのプロセスを繰り返すことで、モデルが優れている点と劣っている点を理解することができます。
しかし、何百万もの指示と回答にスケールアップするために、人間をLLMに置き換えた自動化バージョンのアリーナを作成しました。これにより、私たちのモデルの能力について細かい理解を得ることができます。
これらのすべての評価は、私たちに改善が必要な領域についてフィードバックを提供します。例えば、モデルがドイツ語のテキストの要約が得意ではないことがわかった場合、より良いデータを作成し、モデルを再トレーニングして、この問題を修正することができます。
これを行うために、人間の好みから非常に効率的に学習できるカスタム好みアルゴリズムを持っています。
さらに、リキッドのトレーニングレシピには、蒸留とモデルマージも含まれています。蒸留では、大きな教師モデルと小さな生徒モデルがあります。生徒は教師の出力から直接学習します。これにより、大きなモデルの高いパフォーマンスを、より小さく、より安価で、より速く実行できるモデルに効果的に圧縮します。
次にモデルマージがありますが、これが最も私が興奮していることです。モデルマージでは、同じモデルの異なるバージョンのパラメータをマージして、単一の統一された高品質なモデルを作成します。
これにより、異なるタスク間で高いパフォーマンスを組み合わせ、実験を上位のモデルにアップサイクルすることも可能になります。
事後トレーニングの世界では、これらのすべてのテクニックにより、最高クラスのモデルを作成し、提供することができます。また、モデルのきめ細かな機能をターゲットにする評価にも強く焦点を当てています。
最終的に、エンドユーザーにとっては、特定のタスクや関心領域にLFMを適応させる能力が向上します。
良い例として、CTCと共同で作成した日本語モデルがあります。私たちは日本語データでLFM 3Bをファインチューニングし、市場で最高の日本語エッジモデルを作成しました。これは、公開ベンチマークとリキッドアリーナから得られた人間の好みの両方によって確認されています。
これが、個人的に存在すると思うこのウェブキャストの最も興味深い部分です。なぜなら、ここで彼は自律運転、金融、そしてもちろん生物学で使用されているリキッドファンデーションモデルについて議論しているからです。
これは、将来あらゆる場所で使用されることになる高度なモデルの種類の未来が見える講演の一つだと思います。
ありがとうございます、マキシム。みなさん、これは非常に刺激的です。なぜなら、今日ここまで見てきたのは、リキッドが効率性と正確性の両面で最先端の最高クラスの言語LFMを構築している方法だからです。
しかし今日、大規模言語モデル（LLM）は非常に過大評価されており、リキッドAIは言語モデリング企業ではありません。リキッドAIはファンデーションモデル企業です。私たちはあらゆる種類のシーケンスのためのLFMを構築しており、言語は単なる一つのシーケンスに過ぎません。
実際、シーケンスは世界中のあらゆる場所に存在し、AIを世界中のあらゆる場所に展開するためには、すべてのシーケンスで高い能力を持つLFMが必要です。
それが、私たちがリキッドAIで行っていることです。今日、ドメインと産業を革新するLFMのスイートを公開します。
リキッドファンデーションモデルが生物学的および治療的設計をどのように革新しているかについて、もう少し詳しくお話しさせてください。
今日までに、LFMが私たちの自然言語を学習してきたのを見てきましたが、実際にLFMは生物学の言語も学習することができます。
ここで見ていただけるように、バイオLFM（BFM）はタンパク質の言語を学習し、自然界に存在するすべてのタンパク質の存在全体を見ることで、全く新しいタンパク質を生成する方法を学習します。
BFMは、これまでに作成されたことのない全く新しいタンパク質を生成するための高い能力と効率性を持っています。しかし、私たちは今、それらを研究室で作成することができます。
BFMは非常に効率的でスケーラブルなため、これを1つのタンパク質だけでなく、5つのタンパク質だけでなく、生物学全体で大規模に行うことができ、生物学的な発見と設計を加速することができます。
効率性だけにとどまりません。BFMは能力と正確性にもスケールします。BFMはこの規模で最先端の、最高クラスの正確なタンパク質ファンデーションモデルであり、私たちはまだこのモデルをより大きな規模にスケールアップし、これらのデジタル生成を実際の研究室に移行しています。
リキッドAIとLFMは、生物学的世界を理解することだけでなく、物理的世界を理解することにも拡張します。
これは非常に重要です。なぜなら、私たちの物理的世界は非常に複雑で動的に変化し続けているため、物理的世界に自律システムを展開するためには、物理的世界を理解しシミュレートできる必要があるからです。
これは、物理的世界が伴うすべての複雑さのために非常に困難です。私たちはドライブLFMを構築し、物理的世界を理解し、これらの自律システムが現実に出る前に、ストレステストと検証を行うことができる実世界の新しい環境をテストしシミュレートできるようにしました。
ドライブLFMは、過去のビデオのシーケンスを使用して、世界がどのように機能するかを世界から学習し、世界を理解します。ここでは、世界を理解し、未来を予測する方法を学習するための特に影響力のある例として運転を見ています。
あらゆるシーン、あらゆる環境条件、時間帯、天候条件などに対して、全く新しい未来を生成する方法を学習します。バイオLFM...申し訳ありません、ドライブLFMは、これらのすべての異なるシナリオに拡張されます。
しかし、ここで終わりではありません。LFMは物理的世界を理解することを可能にするだけでなく、私たち自身のインタラクションと行動も理解することができます。
これは非常に重要です。なぜなら、私たちが世界でどのように相互作用するかを考えると、それもまた非常に個人的で複雑だからです。
毎日、皆さんの一人一人が、金融取引や他のビジネスを通じて他の個人と取引し、相互作用しています。実際、この取引の海を見ると、この大規模な取引の海の中から単一の不正取引や単一のミスを特定し、分離することは、典型的な「干し草の中の針」の問題です。
これは大きな課題であり、大きな取り組みですが、この1つの不正を特定することは、私たち個人の財務と、すべての企業の財務を保護するための最も重要なことの1つです。
実際、これらの取引を詳しく見ると、各個人の取引は、その取引を取引たらしめるものの組み合わせに過ぎないことがわかります。あなたが何を購入したか、いくら使ったか、いつ購入したか、どこにいたか、これらすべてがその単一の取引を構成します。
しかし、もちろん私たちは皆、取引は孤立して存在するわけではないことを知っています。この1つの取引は、実際にはあなたが参加したより大きな取引のシーケンスの一部でした。
このシーケンスを理解し、シーケンスの次に何が来るかを予測することが、トランザクションLFMで解決する中核的な問題です。
トランザクションLFMは、あなたの過去のシーケンス、あるいは申し訳ありません、過去の取引をすべて入力として取り、次に何が来るかを予測することができます。これにより、潜在的な不正取引を予測することができ、すべての個人とすべてのビジネスの金融取引を保護することができます。
LFMはリキッドテクノロジーを使用して、大規模な取引履歴にスケールすることができます。これは、私たちの不正検出モデルが非常に正確であることを意味します。なぜなら、あなたの個人的な過去の取引履歴すべてから学習するからです。
これらのモデルは非常に効率的なので、これらの領域にスケールすることができ、また高い正確性も意味します。
さて、私たちはLFMが言語とそれを遥かに超えて、これらのすべての異なるシーケンスにスケールすることを見てきましたが、実際にこの状況を見ると、LFMは効率的で正確なだけでなく、高度にマルチモーダルであることがわかります。
これは、これらの異なるシーケンスを組み合わせ、シーケンスと対話する方法を学習できることを意味します。片側で言語を使用し、LFMに入り、他のシーケンスとコミュニケーションを取り、対話することができます。
例えば、タイムLFM、時系列LFMを構築した方法をお見せしましょう。これは言語と時系列の両方を取り込むことができるモデルです。時系列は非常に構造化された、非常に複雑なデータタイプです。
例をお見せしましょう。タイムLFMは、自然言語に基づいているため、非常にシンプルなインターフェースを持っていますが、時系列モデルのバックエンドがあります。
モデルに直接、検索したいものや特定したいものを記述することができます。例えば、ここでは言語モデルを使用して、マルチモーダルな方法で時系列モデルの基礎となるすべての基盤に問い合わせることで、主要な金融トレンドを特定しています。
それだけではありません。これらのトレンドを特定できるだけでなく、タイムLFMを使用して、重要で非常に正確な時間とメタデータ情報を分析することもできます。
しかし、もちろん最も重要な部分は、これが単なる言語モデルの上のラッパーではなく、マルチモーダルな時系列と言語モデルの組み合わせであるため、時系列で何が起こっているのかダイナミクスや動作を実際に理解できるということです。
Googleで検索してもメタデータの説明からは得られないような、実際に時系列の中に深く入り込んで時系列の動作を理解し、自然言語を通じてこれとインターフェースを取ることができるのです。
例えば、ここでは面白い使用例として、市場操作があった暗号通貨を見つけ出そうとしています。これらはすべて、時系列LFMが、単に言語を入出力するだけの言語モデルではなく、今日話してきたこれらの異なるシーケンスすべてとコミュニケーションを取ることができるように革新している例です。
これは、私たちが高度に効率的で、高い能力を持ち、正確で、基本的にマルチモーダルなモデリングを達成するようにLFMをスケールアップしている例に過ぎません。
では、これらすべてをどのように実現したのでしょうか？私たちはリキッドデブキットと呼ぶものを使用してLFMを構築しました。リキッドデブキットは、あらゆるドメインとスケールでLFMを構築し展開できる開発者パッケージです。
リキッドデブキットについて少しお話しさせてください。デブキットはPyTorchの上に構築されており、これらの効率的で正確な操作のために私たちがリキッドで作成した最適化されたカーネルも使用しています。
様々な抽象化レベルで構成されており、内部のエンジニアや科学者が簡単にこれらのモデルを様々なレベルでスケールアップできるようになっています。まず最も低いレベルの演算子から始まり、ブロックとバックボーンに移行します。
そこから、エンジニアと科学者は非常に使いやすい方法でデブキットを活用できるため、今日世界にリリースしているこれらのすべての信じられないようなLFMを、たった1行でインスタンス化し構築することができます。
実際に、デブキットを使用して最先端の例を構築し、大規模な高性能システムにスケールアップし、安全性のために認証できるよう、このモデルから出力される予測すべてを説明する完全なパイプラインの例を見ていきましょう。
リキッドデブキットを使用した構築方法の例をご紹介します。先ほど申し上げたように、デブキットは、これらのすべての複雑さのレベルでシステムを簡単にスケールできるようにする層で構成されています。
まず最も低いレベルである演算子レベルから始めましょう。演算子は入力としてシーケンスを取り、そのシーケンスを変換する方法を学習することができます。
通常、演算子は非常に複雑な操作で、書くだけでなく効率的に書くことが非常に難しい、多くの非常に低レベルの最適化されたコードとカーネルを必要とします。
リキッドデブキットはこのすべての複雑さを取り除き、抽象化し、アプリケーションのために簡単にインスタンス化できるリキッド演算子に移行します。
これを1つの演算子だけでなく、デブキットにパッケージ化された様々な異なるリキッド演算子で行います。これには、リキッドで作成し発明した演算子と、世界に存在する主要なオープンソースの高効率な代替アーキテクチャの両方が含まれます。
これを演算子からブロックへと1レベル上げることができます。ブロックにより、モデルが扱える複雑さのレベルを上げることができ、これも同様にデブキットに抽象化された非常に簡単なゲーティングメカニズムによって実現されます。
最後に、もう1レベル上がって、これらのブロックをバックボーンに組み合わせることができます。ここでユニークなのは、デブキットがこれらの抽象化レベルを扱い、今日の世界で見られる通常のトランスフォーマーシーケンス内シーケンスバックボーンを超えてバックボーンレベルにスケールアップできることです。
リキッドデブキットにより、ハイブリッド化、機能共有、深さ共有を持つバックボーンを構築し、今日の最先端を超えることができます。
これが、リキッドで私たちがLFMを構築し、パートナーと協力してLFMを構築する方法です。しかし、これで終わりではありません。
リキッドデブキットは、LFMを構築しインスタンス化するだけでなく、今日見ていただいている信じられないような結果を達成するために、ハードウェア全体でそのモデルをトレーニングしスケールアップすることを可能にします。
これは、リキッドデブキットによる高度にスケーラブルで分散されたトレーニングパイプラインによって実現されます。前のスライドで見たモデルを構築する例が左右にあります。
ここでは非常に小さなLFM、約1億5000万パラメータのLFMを構築していることをお見せします。しかし、ここで質問をしてみましょう。もし私がより大きなLFMを構築したいと思ったら、もしこれを数十億パラメータのLFMにスケールアップしたいと思ったら、どうすればよいでしょうか？
これには基本的にブロックの数をスケールアップする必要があります。なぜなら、すべての複雑さは実際に演算子とブロックに抽象化されているので、ブロックをスケールアップするだけでLFMをスケールアップできるからです。
ブロックの数を2から12に増やしてみましょう。これで私のLFMは約120億パラメータになりますが、何が起こるかというと、実際にこのLFM、12個のブロックを入れると、もはや私のGPUに収まらなくなります。
ここで、デブキットを使用すると、Dev kit.distributeという1行を追加するだけで、これらの12個のブロックを分割し、ハードウェア全体に分散させることができ、複数のGPU、複数のノードにスケールアップし、これらのノードがシームレスに互いにコミュニケーションを取って、このはるかに大きなモデルを扱うことができます。
最後に、デブキットでトレーニングしたこれらのモデルを取り、その予測から出てくる答えすべてを説明できる方法についてお話しさせてください。
これは、リキッドニューラルネットワークが高度に説明可能なシステムとして発明されたからです。この説明可能性は、デブキットを通じて達成し、model.explainと呼ぶものを使用してデブキットを通じてパッケージ化しています。
model.explainは、デブキットで構築されたすべてのモデルに付属する非常に使いやすい関数です。そのため、デブキットで構築されたすべてのモデルは、この特別な関数、do explain関数を持っています。
do explainは入力としてモデルの入力を取りますが、単に入力を取って出力を予測する他のニューラルネットワーク、他のAIシステムとは異なり、explainは入力に関してこの出力がどのように生成されたかを説明します。
これは、モデルの内部に入り、モデル内部で何がこの予測を予測させたのか、データの中で何を見てこの出力を出力させたのか、そしてモデルが自身およびそのデータと持つこれらのすべての異なる軸の相互作用を見ることで行うことができます。
私たちのLFMの1つでmodel.explainをどのように使用したかの例をお見せしましょう。私たちはビジョン言語モデルを構築しました。これは、画像とその画像についてのテキストの説明やテキストの質問の両方を入力として取り、モデルはこの質問についてテキストで応答することになっています。
モデルにこの画像について質問することができ、右上に画像が表示されています。この画像を1文で説明してください。この画像にはいくつかのものが見えます。猫は非常に明白ですが、もう少し注意深く見ると、猫が前にある何かで遊ぼうとしているのがわかります。
非常に見にくい小さな昆虫がいます。この画像を私たちのビジョン言語モデルLFMに入力すると何が起こるか見てみましょう。ここで、LFMに入力すると、LFMは即座に応答し、この画像には地面に猫と昆虫が見えると正しく予測することができます。
これは理解できますが、モデルの中を見てみましょう。model.explainを使用して、この予測に至った過程を説明してもらいましょう。モデルが作成する各出力について、最初のトークンから始めてその出力を説明するようmodel.explainに依頼することができます。
画像に移ると、「この画像では」と言う時、モデルは焦点を少し広げ始め、そして猫について話す時、焦点は移動していることがわかります。今や他の場所は見ておらず、猫を見ています。「猫」という言葉を予測している理由を説明しているのです。なぜならそこを見ているからです。
そして再び焦点を移動させ、今や画像の中で非常に小さかった昆虫を見ています。最後に、これらすべてのことが地面で起こっていることを理解するために文脈に自身を再配置し、猫から昆虫へ、そして地面へと焦点を再び移動させています。
これは、model.explainをどのように使用しているかの一例に過ぎませんが、model.explainはリキッドデブキットで構築されたすべてのモデルに深く組み込まれています。
さて、今日、皆さんは私たちがこれらのLFMをどのように構築したかを見てきました。これらは高度な能力を持ち、高い正確性と効率性を持ち、これらのすべての異なるドメインと産業にわたってマルチモーダルです。
今日、私たちはこのLFMのスイートを世界にリリースし、また、このLFMのスイートが実際にどのようなものであるかをショーケースします。
リキッドAIについて最もエンパワリングなことの1つは、私たちがこれらのLFMを世界のために構築するだけでなく、あらゆるスケールで世界に展開することだと思います。
ここで見ていただけるLFMライブラリの最も強力な側面の1つは、エッジLFMに関するこの部分です。今日、私の共同創設者であり、リキッドAIのCTOであるマティアスに引き継ぎます。彼がこのLFMライブラリを完全にプライベートで、完全な機能を持つ形でエッジに直接展開する方法についてより詳しく説明します。
彼が言ったように、私はこれが未来の部分になると思います。なぜなら、ここで彼らは実際に、将来的にあなたが特定のユースケースのために、あらゆる場所で動作する独自のプライベートなオフラインモデルを持ちたいと考えるようになることについて掘り下げているからです。
軽量で効果的で、あなたの特定のビジネスのために様々なタスクを実行できる、本当に優れた2Bや8Bのモデルを持つことを想像してみてください。これは多くのカスタマーサービスビジネスを本当に強化することになるでしょう。
そして、これがどこに適用できるかの例をいくつか示す短いビデオがあります。
AIのポテンシャルを最大限に活用するためには、その限界を解決する必要があるとしたらどうでしょうか？主要な銀行が、ファイアウォールの外に1ビットのデータも漏らすことなく、オンプレミスで数十億の取引の不正を正確に分析できるとしたらどうでしょうか？
または、大手のクイックサービス食品会社が、インターネットに依存することなく、地方の自動ドライブスルーウィンドウを動かすことができるとしたらどうでしょうか？チップメーカーがAIの力を持つマイクロチップを作ることができるとしたらどうでしょうか？
地域の通信会社が、すべてのデータをクラウドに送ることなく、データを処理してフィルタリングできるとしたらどうでしょうか？あなたのユースケースが何であれ、リキッドAIは効率的でスケーラブルなモデルを開発し展開して、あなたの会社の特定の制限を克服することができます。
もし、ではなく、いつという話です。エッジ上の生成AIが重要な理由と、私たちの進捗についてお話しします。前のスライドで、私たちがあらゆるスケールでLFMをトレーニングしていることをお見せしました。
現在、最小のモデルは約13億パラメータ、3Bモデル、そして4Bモデルが現在最も能力があり最大のバリアントです。これらの各モデルのパラメータサイズは、ランダムに選ばれたわけではなく、特定のターゲットとなるエンドデバイス上での実行を念頭に置いて選ばれました。
例えば、13億のモデルは組み込みハードウェアで実行でき、3Bは電話での使用に最適化されており、最大のバリアントは単一のGPUでクラウドまたはオンプレミスで実行できます。
リキッドでは、私たちは単にあらゆるスケールでトレーニングするだけでなく、誰も展開できない場所に展開します。ここにラズベリーパイのビデオがあります。ラズベリーパイは60ドルの安価な低電力の完全なコンピュータで、10年前のラップトップ程度の計算能力を持っています。
私たちは最小のモデル、13億パラメータのモデルを、このような小さく低電力なデバイスでも動作するように移植しました。
水素の同位体について質問していた前のビデオは間違っていましたが、モデルは応答性があり、ラズベリーの低電力で小さく安価なハードウェアでも使用できることがわかります。
これは最小のモデルですが、素晴らしいですね。では一歩進んで、現在の最大モデルである40Bのスペクトルの反対側を見てみましょう。
ジミーが言及したように、私たちはモデルが長いコンテキストを活用できるようにすることも検討しています。つまり、メモリ効率が良いだけでなく、提供されたすべてのコンテキストを活用できることも確認しています。
特に、トレーニングデータにない追加データと情報をモデルに入力することができ、トレーニングデータにないデータで事後トレーニングでモデルを拡張することができます。
特に、私の共同創設者のアレクサンダーのプロフィールをウェブ検索を使用して検索することができ、これは非常に良いですね。
これらはすべて、テキストを入力してテキストを出力するモデルですが、アレクサンダーがお話ししたように、私たちのモデルは生来マルチモーダルです。つまり、モデルとの会話ができます。
「こんにちは、あなたの名前は何ですか？」
「こんにちは、私の名前はリキッドエッジです。リアルタイムの音声アシスタントとして、質問やタスクのお手伝いをさせていただきます。」
「ボストンでフリーダムトレイル以外にすべきことを1つ教えてください。」
「フリーダムトレイル以外のボストンですべきことの1つは、ボストンコモンを訪れることです。市の中心部にある美しい公園で、リラックスしたり、ピクニックをしたり、キャッチボールを楽しんだりすることができます。屋外を楽しみ、市の活気ある雰囲気を味わうのに最適な場所です。」
「テックローンチイベントでネットワーキングするためのワンポイントアドバイスを教えてください。」
「テックローンチイベントでネットワーキングするためのアドバイスは、誠実で親しみやすい態度を心がけることです。人に会う時は笑顔で目を合わせ、オープンな質問をして相手の仕事に興味を持っていることを示し、会話を促します。話すよりも聞くことを心がけ、自身の経験や洞察を共有する準備をしておきましょう。つながりを維持するために、イベント後にLinkedInでつながりを持ったり、メールをフォローアップすることを恐れないでください。」
「ありがとうございます。」
「どういたしまして。他に何かお手伝いできることはありますか？」
これが私たちの30億...拍手...30億パラメータの音声モデルでした。そして、生来のマルチモーダルサポートにより、ユーザーがモデルにいくつかの指示を提供した後の低遅延を実現しています。
今日の大規模言語モデルはすべてクラウドで実行され、APIを通じて接続されていますが、もし信頼できるインターネット接続がなく、生成AIを使用したい場合はどうでしょうか？
あるいは、潜在的なAPIプロバイダーとデータを共有したくないプライバシーとセキュリティの懸念がある場合はどうでしょうか？
リキッドでは、接続がある場所ではなく、デバイスがある場所に展開します。それについてお話しする代わりに、お見せしましょう。
ここに、オフラインモデルとチャットできるアプリがあります。Wi-Fiもオフにして、何か質問してみましょう。
ハロウィンがもうすぐ来るので、モデルの創造的な文章能力をテストしてみましょう。3つのAI...申し訳ありません...3つのハロウィンコスチュームを考えてください。
これが私たちのリキッド...ニューラルネットワークネクロマンサー、ディープラーニングドロイド、生成敵対的ナイトですね。素晴らしい、かなり創造的ですね。
最初のものについて怖い物語を書いてみましょう。ニューラルネットワークネオマンでしたっけ？タイトルは「ネクロマンサーの目覚め」です。
読み上げはしませんが、ポイントはお分かりいただけると思います。これが私たちの3B言語モデルで、完全にオフラインでiPhone上で動作しています。これは、私たちがリキッドで達成したことの1つですね。
これまで、チャットモデル、つまりモデルとの音声やテキストを通じたオープンエンドな会話などを見てきましたが、特定のユースケースにモデルを合わせたい消費者アプリケーション、顧客アプリケーションがある場合はどうでしょうか？
私たちは仮想的なユースケースを作成し、3B音声モデルを使用して、ファインチューニングアプローチを使用してテクニカルサポート用のカスタマーエージェントに調整しました。
このエージェントは、形式に関係なく非構造化音声入力を受け取り、機械が処理可能で読み取り可能な構造化フォーマットに変換します。
ビデオでは...同僚のマークがこのデモを使用しているところを見ていただきましょう...音声入力を取り、言語モデルの分類能力と要約能力を使用して構造化フォーマットに変換しています。
しかし、先ほど申し上げたように、リキッドでは、インテリジェンス、生成AIをデバイスがある場所に持っていきます。では、もう一度実行してみましょう。が、完全に動作することを示すために...
名前はリリー、苗字はバザック、正しくはB-S-Z-A-Kです。顧客が潜在的なマルウェア感染を報告しています。コンピュータの電源を入れると基本的に赤い画面しか表示されず、コンピュータは使用不可能とのことです。分類を提供していただけますか？そしてこの問題を要約してください。
素晴らしいですね。特定のタスクにファインチューニングされた音声LFMの潜在的な商用アプリケーションを、オフラインで動作する形で見てきました。
リキッドでは、かつては手の届かなかったデバイス上で、完全にプライベートで安全な方法で生成AIの力を解き放ちます。私たちがあらゆるスケールでLFMやファンデーションモデルをトレーニングし、あらゆるスケールで展開していることを見てきました。
特に、ラズベリーほどの小さなデバイスでも動作することを見てきました。私たちのモデルが音声やビジョンの入力を取るマルチモーダルであることも見てきました。また、私たちのモデルが顧客アプリケーションに非常に簡単にファインチューニングやカスタマイズができることも見てきました。