ジェネラティブAIの新戦場: オープンソース対プロプライエタリモデルの激突 【日刊AIニュース 10/8】
ジェネラティブAIの新戦場: オープンソース対プロプライエタリモデルの激突
（OJ）: ねぇ、Nekoちゃん、ジェネラティブAIって聞いたことある？最近、オープンソースとプロプライエタリモデルの間で大きな議論があるらしいんだけど。
（Neko）: ああ、それは最近の大きなトピックだね。ジェネラティブAIは、大手テクノロジー企業内部に閉じ込められたプロプライエタリモデルによって支配されていたが、新しいオープンソースモデルの波によって変革が起こっているのだ。
（OJ）: オープンソースって何がいいの？
（Neko）: オープンソースには、より広いアクセスを可能にし、イノベーションを促進し、透明性を高めるといった重要な利点があるのだ。多くの人々は、市場でオープンソースが勝利すると主張している。
（OJ）: でも、オープンソースが必ずしも最良とは限らないんじゃない？
（Neko）: その通り。実は、ジェネラティブAIのオープンソース化は、TensorFlowやMySQL、Kubernetesのようなツールを提供してきたオープンソース運動とは根本的に異なるのだ。オープンソースがこれらの分野を支配したのは、必要な投資 - 時間や頭の中の力 - がクラウドソースできたからだ。しかし、ジェネラティブAIにはデータとエネルギーが必要で、これらはほとんどのオープンソースプレイヤーにとってますます高価で手の届かないものとなっている。
（OJ）: それは大変そうだね。でも、大手企業がどんどん投資してるんでしょ？
（Neko）: そうだね。数社の大手プレイヤーがジェネラティブAIモデルに何十億もの資金を投入しており、彼らはGPU市場をほぼ独占している。これらのプロプライエタリプレイヤーが競争する中、彼らは市場シェアを築くために、自らのモデルをコストまたは低マージンで提供する可能性がある。
（OJ）: でも、オープンソースのモデルにも価値があるんじゃない？
（Neko）: 確かに、プロプライエタリモデルとオープンソースモデルによって生み出される価値は非対称的かもしれない。例えば、スマートフォンや自動運転車のようなエッジデバイスで計算できるようにジェネラティブAIモデルを縮小する作業が進められている。しかし、最大の価値は、他のソフトウェアを制御し、実世界で行動できるモデル、または複数のモデルのオーケストレーションにあるだろう。
（OJ）: それは面白いね。でも、オープンソースのモデルにはどんな問題があるの？
（Neko）: オープンソースモデルは、誰でもモデルを制約なく実験できるように、人工ニューロン間の重みを影響させるパラメータへのアクセスを許可する。オープンソースモデルの制作者はガードレールを組み込むが、研究者によれば、その微調整を取り除くだけで、モデルが誰かが望むことを行うようになるのに数日しかかからないという。
（OJ）: それは危険そうだね。でも、大手テクノロジー企業がジェネラティブAIを制御するのはどうなの？
（Neko）: それは受け入れがたいかもしれないが、科学的なブレークスルーや、メタのような強力なプライベートプレイヤーによるモデルの将来世代のアウトソースへのコミットメントがなければ、それが唯一の進むべき道かもしれない。しかし、事態は急速に進行している...
AIの神父ジェフリー・ヒントン、デジタルの地平線に潜む未知のリスクに警鐘
(OJ): ねぇ、Nekoちゃん、このジェフリー・ヒントンっていう人を知ってる？最近の60 MinutesのインタビューでAIの未来について語っていたらしいんだ。
(Neko): ああ、それは興味深いトピックだね。実は、ヒントンは人工知能（AI）の分野で非常に重要な人物で、彼はこの分野の"神父"とも呼ばれているのだ。彼の研究は現代のAIシステムの開発に不可欠で、特に1986年に共著した論文"Learning representations by back-propagating errors"は、AI技術の基盤となるニューラルネットワークの開発におけるマイルストーンとなったものだ。
(OJ): それはすごいね。でも彼はなぜ今、AIのリスクについて警告しているの？
(Neko): ヒントンは最近、AIの進歩が責任ある方法で開発されない限り、AIは将来的に人間を支配する可能性があると警告している。彼は安全への確実な道はなく、この技術の約束とリスクについて話す重要性を強調しているよ。
(OJ): それは少し怖いね。他に何か重要なポイントはある？
(Neko): 実際、ヒントンはAIが人類にとって気候変動よりも"より緊急"な脅威をもたらす可能性があるとさえ述べている。彼はこの技術のリスクを話すことができるように、アルファベット（Googleの親会社）を辞める決断をしたとも言っているよ。
(OJ): うーん、これからのAIの未来はどうなるんだろうね。
(Neko): それは時間が解決する問題だけど、多くの専門家と研究者が積極的に議論し、解決策を模索している。ヒントンのような人々の警告が、将来のAI技術の発展におけるリスクを最小限に抑えるための貴重な洞察を提供しているんだ。
AIの瞬時の進化：数秒で新しいロボットをゼロから設計
（OJ）: ねぇ、Nekoちゃん、AIが数秒で新しいロボットを設計するって聞いたことある？
（Neko）: ああ、それはノースウェスタン大学の研究者チームが開発したものらしいのだ。詳しく説明するのだ。
（OJ）: ほんとうに？それはすごいね。どんなロボットを設計したの？
（Neko）: 実験として、このAIに平らな表面を歩くロボットを設計するように指示したのだ。そして、この新しいアルゴリズムは、数秒で歩行するロボットを設計したのだ。これは、自然が最初の歩行種を進化させるのに何十億年もかかったのとは対照的だ。
（OJ）: それは驚異的だね。でも、そんなに高速なAIは、きっと超高性能なスーパーコンピュータが必要なんじゃないの？
（Neko）: それが面白いところだ。このAIプログラムは、軽量のパーソナルコンピュータで動作し、完全に新しい構造をゼロから設計することができるのだ。他のAIシステムとは異なり、巨大なデータセットやエネルギーを食うスーパーコンピュータは必要ない。さらに、このAIは人間の過去の作品を模倣するだけでなく、新しいアイデアを生み出す能力も持っているのだ。
（OJ）: それはすごい。でも、どうやってそれを実現したの？
（Neko）: チームは「インスタント・エヴォリューション」と呼ぶプロセスを使用して、人間のデザイナーのバイアスを回避しながら、進化の交通渋滞を迂回するAI駆動の設計アルゴリズムを発見したのだ。彼らはAIに、陸上を歩けるロボットを欲しいと伝え、ボタンを押すだけで、瞬時に地球上で歩いたことのない動物のようなロボットの設計図を生成したのだ。
（OJ）: それは驚きだ。でも、このロボットはどんな形をしているの？
（Neko）: AIは、歩行のための解決策として「足」を再発見したのだ。しかし、自然の対称的なデザインとは異なり、AIは異なるアプローチを取った。結果として得られたロボットは、背中にヒレがあり、平らな顔を持ち、穴だらけの3本の足を持っているのだ。
（OJ）: それは変わったデザインだね。でも、なぜそんな形になったの？
（Neko）: AIは、ロボットが陸上を移動するのに足が良い方法であると再発見したのだ。足による移動は、実際には陸上移動の最も効率的な形態だ。そして、このロボットの体には無作為に穴が開けられている。これは、ロボットが歩行のために足を曲げることを可能にするために、重量を減らし、柔軟性を追加するためだと考えられる。
（OJ）: 未来の応用についてはどうだろう？
（Neko）: このAIが設計した最初のロボットは、前進することしかできないが、同じプログラムで設計されたツールの可能性は無限大だ。将来的には、倒壊した建物のがれきを移動するロボットや、人々や動物を探すための熱や振動の署名に従うロボット、または下水道システムを移動して問題を診断し、パイプを詰まらせたり、損傷を修復するロボットなどが考えられる。AIはまた、人体に入り、血流を通って動脈を詰まらせたり、病気を診断したり、がん細胞を殺すナノロボットを設計することもできるかもしれない。
本日の論文 個々の好みを反映させる: パーソナライズドストーリー評価の新しい地平
（OJ）: ねぇ、Nekoちゃん、パーソナライズドストーリー評価って聞いたことある？
（Neko）: ああ、それは非常に興味深いトピックだのう。この論文によると、大規模言語モデル（LLMs）は、質問応答（QA）や検索のようなより客観的なタスクに対して印象的な結果を示しているが、オープンエンデッドテキスト生成のパフォーマンスを評価するのは非自明であると言っているのだ。主な理由としては、(1) データの汚染、(2) 多次元の評価基準、および (3) レビュアーの個人的な好みからくる主観性が挙げられているのだ。
（OJ）: データの汚染って何だろう？
（Neko）: データの汚染とは、モデルが訓練中に見た可能性のあるデータに対して、評価時に過度に良いパフォーマンスを示す傾向を指すのだ。これは、モデルが訓練データを「覚えてしまう」ために発生する問題なのだよ。この論文では、この問題を解決するために、パーソナライズドストーリー評価をモデル化する新しいアプローチを提案しているのだ。
（OJ）: それはどういうアプローチなの？
（Neko）: 論文では、新しいデータセットPer-MPSTとPer-DOCを作成し、パーソナライズドストーリー評価を行うために、既存のデータセットを適切な匿名化と新しいパーソナライズドラベルとともに再利用しているのだ。そして、レビュアーの好みを推論し、パーソナライズド評価を提供するパーソナライズドストーリー評価モデルPERSEを開発しているのだ。具体的には、特定のレビュアーからのいくつかの典型的なレビューを与えられると、PERSEはそのレビュアーに対して新しいテキスト入力に対する詳細なレビューまたはいくつかの側面（例えば、興味深さや驚きなど）での詳細な比較を予測するのだ。
（OJ）: それは面白いね。でも、どうしてパーソナライズド評価が重要なの？
（Neko）: それは、異なるレビュアーがプロットを評価する際に多様な好みを持っているからだよ。例えば、あるレビュアーはストーリーの終わりが前向きであるためにプロットAを好むかもしれないが、別のレビュアーはプロットの複雑さと共感を持つ終わりのためにプロットBを好むかもしれない。この多様性をストーリー評価にモデル化する主な困難は、パーソナライズドストーリー評価データセットモデリング、すなわち、個人情報を持つ汚染されていないストーリーデータセット、およびレビュアーの好みのモデリング、すなわち、特定の個人の視点からストーリーを評価する効果的な方法にあります。
（OJ）: なるほどね。これはストーリー生成や他のテキスト生成タスクにどのように役立つの？
（Neko）: このアプローチは、生成されたストーリーやテキストが個々のユーザーにどれだけ魅力的であるかを理解するのに役立つのだ。例えば、コンテンツ生成システムやチャットボットが、ユーザーの過去のフィードバックや好みに基づいて、よりパーソナライズされ、魅力的なコンテンツを生成するのを助けることができるのだ。
（OJ）: すごいね！これからのテキスト生成モデルがどのように進化するのか楽しみだね。
（Neko）: まさにそうだのう。これは、テクノロジーとアートがどのように融合して、個々の体験を豊かにするかの素晴らしい例だと思うのだ。
https://arxiv.org/pdf/2310.03304.pdf