2023年版LLMホワイトペーパー公開: AIの未来をリードする大規模言語モデルの全貌【日刊AIニュース 10/10】
2023年版LLMホワイトペーパー公開: AIの未来をリードする大規模言語モデルの全貌
（OJ）: ねぇ、Nekoちゃん、「Large-Scale Language Model (LLM) White Paper 2023 Edition」って聞いたことある？
（Neko）: ああ、それは最近の大ニュースだったのだ。2023年10月10日に、次世代社会システム研究開発のための日本研究所（INGS）がその発表をしたのだ。このホワイトペーパーは、LLMの基本、システム、タイプ、機能の特性、使用パターン、LLMを取り巻くグローバルなトレンド、問題、リスク、リスク対策、投資とスタートアップのトレンド、エンジニアリングと技術の側面、企業のLLM、ロボット技術との連携、メタバースなどに関する包括的な説明をカバーしているのだ。
（OJ）: それはすごいね。でも、具体的にLLMって何？
（Neko）: LLMはAIの動きをリードしているのだ。大規模言語モデルはAIアルゴリズムの一種で、AIの言語モデルの概念の進化だ。LLMは、深い学習技術と大量のデータセットを活用して、人間の言語を理解、生成、応答する洗練されたAIシステムだ。LLMは、学習と推論に使用されるデータを劇的に拡大することで、AIモデルの力を劇的に増加させることができるのだ。
（OJ）: それは驚きだ。どんな用途で使われているの？
（Neko）: LLMは、常識の質問応答から、脚本や物語のモデリング、言語処理や他のテキスト作成活動での確率的アルゴリズムの合成まで、さまざまなアプリケーションでの有用性があるのだ。その影響は、健康、金融、教育、エンターテインメントなどの幅広い業界ですでに顕著に見られるのだ。
（OJ）: それはすごいね。これからのLLMの展望はどうだろう？
（Neko）: 今後、LLMはモデルの開発とチューニングだけでなく、デプロイメントやモニタリングなどの運用面にも焦点を当てることが期待されているのだ。それは、LLMソリューションのライフサイクル全体をカバーする新しい柔軟なフレームワークへと進化するだろうのだ。
AI vs Google: 最新の研究が明らかにするAIの驚異的な正確さ
（OJ）: ねぇ、Nekoちゃん、AIが「hallucinations」という現象で情報の信頼性が低いって聞いたことある？
（Neko）: ああ、それはAIが実際に存在しない情報や事実とは異なる情報を提供することを指すのだ。しかし、最近の研究では、一部のAIモデルの正確さは非常に高く、Googleの検索結果を上回ることもあるらしいのだ。
（OJ）: えっ、それは驚きだね。どんな研究が行われたの？
（Neko）: Googleとマサチューセッツ大学アマースト校の科学者たちが大規模言語モデル（LLM）というAI技術を使って実験を行ったのだ。彼らは、LLMに現在の世界の知識をテストする質問に答えさせてみたのだ。
（OJ）: LLMって何？
（Neko）: LLMは、ユーザーに有用だが事実上誤った情報を提供することが知られている。これはAIが訓練された古いデータに起因することが多いのだ。特に最新の情報を扱う際には、この問題が顕著になるのだ。
（OJ）: なるほど。で、その研究の目的は？
（Neko）: 研究の目的は、異なるLLMの事実性を明らかにし、モデルのパフォーマンスを向上させる解決策を提供することだったのだ。科学者たちはChatGPT-3.5, GPT-4, Perplexity AI、そして普通のGoogle検索の正確さを特別に作成されたQ&Aでテストしたのだ。
（OJ）: どんな質問が行われたの？
（Neko）: さまざまなトピックや難易度の600の質問がLLMに提供されたのだ。質問には、答えが常に同じである「変わらない質問」、答えが数年の間に通常変わる「ゆっくり変わる質問」、そして迅速に変わる世界の知識を必要とする「高度な質問」が含まれていたのだ。
（OJ）: 例を教えてくれる？
（Neko）: もちろん。変わらない質問の例としては、「イギリスのエリザベス2世女王が有名に飼っていた犬の品種は何か？」や、ゆっくり変わる質問の例としては、「テスラが提供する車のモデルは何種類か？」、高度な質問の例としては、**「ブラッド・ピットが最近の映画での役者としての最新の映画は何か？」**などがあるのだ。
（OJ）: それは面白いね。結果はどうだったの？
（Neko）: 実験の結果、AIの「ホールシネーション」にもかかわらず、LLMはGoogleの検索に比べてかなり正確な答えを提供することができたのだ。最も性能の良いLLMはPerplexity AIだったのだ。
（OJ）: でも、AIはリアルタイムの情報を持っていないんじゃないの？
（Neko）: その通り。AIモデルは文脈情報を分析する能力を持っているが、検索エンジンが持つリアルタイムの知識は持っていないのだ。しかし、科学者たちはこのギャップを埋めるために、FRESHPROMPTという新しいアルゴリズムを提案しているのだ。このアルゴリズムは、検索エンジンから取得した最新の情報をプロンプトに組み込むことで、LLMの応答の正確さを向上させるのだ。
https://cybernews.com/news/chatgpt-ai-more-accurate-than-google/
新しい多モーダルAIモデル「LLaVA v1.5」が登場！GPT-4との競争が激化
（OJ）: ねぇ、Nekoちゃん、LLaVA v1.5って聞いたことある？ （Neko）: ああ、それは新しいオープンソースの多モーダルモデルのことらしいのだ。GPT-4と競合する存在として登場したのだよ。このモデルは、事前に訓練されたCLIP ViT-L/14ビジョンエンコーダとVicuna LLMを接続するためのシンプルな投影行列を使用しているのだ。結果として、画像とテキストの両方を扱うことができる堅牢なモデルが生まれたのだ。
（OJ）: それはすごいね。どのように訓練されているの？ （Neko）: モデルは2つのステージで訓練されているのだ。まず、CC3Mのサブセットに基づいて投影行列を更新し、より良いアライメントを得る。次に、Visual ChatとScience QAという2つの特定のユースケースのためにモデル全体を微調整するのだ。特にScience QAでは、最先端の精度を達成しているのだよ。
（OJ）: 他にも注目されている点はある？ （Neko）: はい、このモデルは無料のデモとともにリリースされ、その印象的な多モーダル機能が主に注目されているのだ。ユーザーは、食品の画像に基づいて食品のレシピを提供したり、CAPTCHAコードを解決したり、UIコードを生成したり、オブジェクトや動物を識別したりするような多くのユースケースでの経験を共有しているのだ。このモデルは、上記のすべてのタスクでうまく機能しており、GPT-4の有効な競争相手となっているのだ。
（OJ）: それは驚きだね。他にもAI関連のニュースはある？ （Neko）: そうだね。MetaはLlama 2 Longという新しいモデルをリリースしているのだ。これは、長いトレーニングシーケンスとアップサンプルされた長いテキストで継続的に事前トレーニングを受けたLlama 2の強化バージョンなのだ。また、Microsoftは来月、初のAIチップを発表する予定で、これによりデータセンターでのAI加速のためのNVIDIA設計のGPUへの依存を減少させることができるかもしれないのだ。
This AI newsletter is all you need #68 (towardsai.net)
本日の論文 LongLLMLingua: 大規模言語モデルの長い文脈の課題を解決する新しいアプローチ
要約
この論文は、長い文脈のシナリオにおける大規模言語モデル（LLMs）の課題に取り組んでいます。LLMsは、長い文脈のシナリオで高い計算/財務コスト、長い待ち時間、および劣るパフォーマンスの3つの主要な課題に直面しています。この論文では、LongLLMLinguaという新しい手法を提案しています。これは、入力プロンプト内のキー情報（質問に関連する情報）の密度と位置に依存するLLMsのパフォーマンスを向上させるためのプロンプト圧縮を目的としています。
LongLLMLinguaの主要な貢献
プロンプト内のキー情報の密度を向上させるための質問意識のある粗粒度圧縮手法を提案します。
中央の情報損失を減少させるためのドキュメントの再順序付けメカニズムを導入します。
粗粒度圧縮と細粒度圧縮を橋渡しするための動的圧縮比を提示します。
キー情報の完全性を向上させるための圧縮後の部分列回復戦略を提案します。
さまざまなベンチマークでLongLLMLinguaを評価し、元のプロンプトと比較して、LongLLMLingua圧縮プロンプトがはるかに低いコストで高いパフォーマンスを達成できることを示しています。
革新的なポイント
LLMsの長い文脈のシナリオにおける課題に対処する新しい手法、LongLLMLinguaの導入。
質問に関連するキー情報の認識を強化するためのプロンプト圧縮技術。
複数のベンチマークでの実験により、LongLLMLinguaが元のプロンプトよりも高いパフォーマンスを持ち、コストと待ち時間を大幅に削減できることを示しています。
（OJ）: ねぇ、Nekoちゃん、LongLLMLinguaって聞いたことある？
（Neko）: ああ、それは**大規模言語モデル（LLMs）**の長い文脈のシナリオでの課題を解決するためのものらしいのだ。詳しく説明するのだ。
（OJ）: 長い文脈のシナリオって何？
（Neko）: 長い文脈のシナリオでは、LLMsは高い計算/財政コスト、長い待ち時間、そして劣る性能の3つの主な課題に直面しているのだ。LongLLMLinguaは、これらの課題を同時に解決するためのプロンプト圧縮を提案しているのだ。
（OJ）: それはどのように機能するの？
（Neko）: プロンプト圧縮は、LLMsがキー情報をよりよく認識するためのものだ。研究によれば、LLMsの性能は、入力プロンプトのキー情報（質問関連）の密度と位置の両方に依存することが示されているのだ。LongLLMLinguaは、この発見に触発されて開発されたのだ。
（OJ）: それはどのような利点があるの？
（Neko）: 実験結果によれば、LongLLMLinguaの圧縮プロンプトは、はるかに低いコストで高い性能を達成できるのだ。例えば、NaturalQuestionsベンチマークでは、LongLLMLinguaは、GPT-3.5-Turboへの入力としてのトークン数が約4倍少ないオリジナルのプロンプトに対して、最大17.1%の性能向上を達成しているのだ。
（OJ）: それは驚くべきことだね。他に何か特徴的な点はあるの？
（Neko）: はい、LongLLMLinguaは、質問に関連するキー情報の密度を向上させるための質問意識のある粗粒度圧縮方法を提案しているのだ。また、中央の情報損失を減少させるためのドキュメントの再順序付けメカニズムも導入しているのだ。