OpenAI、大型アップデートで開発者を低コストで魅了！技術進化と競争が背景に【日刊AIニュース 10/11】
OpenAI、大型アップデートで開発者を低コストで魅了！技術進化と競争が背景に
（OJ）: ねぇ、Nekoちゃん、OpenAIが大型アップデートを計画しているって聞いたことある？
（Neko）: ああ、それは最近のニュースで話題になっていることだね。リューターズの記事にも詳しく書かれていたのだ。どうやら、OpenAIは開発者を引きつけるために、サービスのコストを下げる計画を進めているらしいのだ。
（OJ）: え、本当に？それは大きなニュースだね。でも、なぜOpenAIはそんなことをするんだろう？
（Neko）: それはいくつかの理由が考えられるのだ。まず、技術の進化によって、AIの運用コストが下がってきたことが一因だと思われる。それに、競合他社との競争も激しくなってきているから、OpenAIは自社のサービスをより魅力的にする必要があるのだ。
（OJ）: なるほど、競争が激しいから、ユーザーを引きつけるための戦略が必要なのね。でも、具体的にどんなアップデートが予定されているの？
（Neko）: 記事によると、新しいツールやAPIの追加、そして既存のサービスの改善が行われる予定だということだ。これにより、開発者たちはより簡単に、そして低コストでOpenAIの技術を利用することができるようになるのだ。
（OJ）: それはすごいね！でも、OpenAIがコストを下げることで、他の企業や開発者にどんな影響があると思う？
（Neko）: それは大きな影響があると思うのだ。OpenAIの技術が低コストで利用できるようになると、多くの開発者や企業がAI技術を取り入れることが容易になる。これにより、AIを活用した新しいサービスやアプリケーションが増える可能性が高いのだ。
GPT-4の優越性とGoogleのLLM研究：AIの未来を探る
（OJ）: ねぇ、Nekoちゃん、最近のAIの動向について、特にYandexGPT 2とGPT-4の比較や、Googleの大規模言語モデル（LLM）に関する研究って聞いたことある？
（Neko）: ああ、それは最近の大きな話題だったのだ。Yandex、あのロシアのテクノロジー巨人が、生成AIに関するプライベートなミニカンファレンスを開催したんだ。そのイベントで、YandexGPT 2とGPT-4の比較分析の情報が明らかになったのだ。
（OJ）: そうなんだ。YandexGPT 2ってどうだったの？
（Neko）: 実は、YandexGPT 2はYandexの技術の頂点を示すと期待されていたのだが、公開されたときには驚くべき事実が明らかになった。それは、Yandexの10年分の内部データでの集中的なトレーニングを受けたにも関わらず、このモデルはGPT-4に比べて劣っていたのだ。この結果は、GPT-4が独自の開発や以前のオープンソースのバージョンを超えて優れていることを強調しているのだ。
（OJ）: それは驚きだね。それに対して、Googleはどのような研究を行ったの？
（Neko）: Googleは、検索エンジンと統合されたLLMの応答の正確さに関する画期的な研究を行ったのだ。彼らは600の質問を用意し、それを4つの異なるグループに分けてLLMを評価した。特に注目すべきは、誤った前提を持つ質問を含むグループだった。この分析では、GPT-4とChatGPTが、特に誤った前提を否定する能力で優れていることが示されたのだ。
（OJ）: それは興味深い。結果はどうだったの？
（Neko）: GPT-4は、誤った前提の質問に対して42%の精度を達成した。一方、PPLX.AIは52%の成功率を示し、Googleの応答を集約するためにChatGPTを活用する可能性を示唆しているのだ。さらに、研究では、各質問がGoogle検索を引き起こし、その結果がプロンプトに統合されるという新しいアプローチが取り入れられた。この手法により、LLMはこの情報を「読む」ことができ、答えを生成する前にそれを考慮することができるのだ。
（OJ）: それはすごい進歩だね。これからのAIの動向はどうなると思う？
（Neko）: AIのエコシステムが拡大するにつれて、検索エンジンに統合されたLLMは普及するでしょう。日常の検索体験の変革は、情報の取得と処理におけるAIの広範な受け入れを示しているのだ。効果的なプロンプトデザインの多面的なアプローチは、洗練された言語モデルからの正確な答えへの有望な道を提供しているのだ。
https://www.cryptopolitan.com/ai-prompt-mastery-googles-study-llms/
AI技術LLMが革命をもたらす！株式会社フロンティアとイノベーションズが提供する内部監査支援サービス
（OJ）: ねぇ、Nekoちゃん、LLM（ChatGPT等）のAIを活用した革新的な内部監査支援サービスって聞いたことある？
（Neko）: ああ、それは株式会社フロンティアとその米国子会社Front-IA Innovationsが提供を開始したサービスらしいのだ。詳しく説明するのだ。
（OJ）: フロンティアってどんな会社なの？
（Neko）: フロンティアは、内部監査/GRC（ガバナンス・リスクマネジメント・コンプライアンス）専門のプロフェッショナルファームで、正田 洋平さんが代表取締役社長を務めているのだ。そして、米国シリコンバレーに子会社のイノベーションズがあって、そこでは土田 浩之さんが代表を務めているのだ。
（OJ）: で、そのサービスの内容は？
（Neko）: LLM（ChatGPT等）と内部監査業務は非常に相性がよく、LLMの活用は内部監査の生産性/品質を劇的に向上させる可能性があるのだ。この新サービスでは、内部監査のプランニングやリスクアセスメント、ドキュメンテーション、大規模データの分析など、内部監査のあらゆるプロセスでの自動化が促進されるのだ。特に、サイバーセキュリティなどの高度な専門性を要する監査テーマにも対応できるのだ。
（OJ）: それはすごいね。他に何か情報はある？
（Neko）: そうだね。フロンティアでは、「LLMを活用した内部監査の高度化・DXセミナー」を7月から9月にかけて定期的に開催する予定なのだ。詳細はフロンティアのホームページで近日中に公開されるらしいのだ。
次世代AI技術の展望：量子コンピューティングがもたらす革命
要点
この研究では、Retro 48Bという、指示チューニング前に取得で事前学習された最大のLLM (Large Language Model) を紹介しています。
Retro 48Bは、43B GPTモデルを1.2兆トークンから取得するRetro拡張方法を使用して追加の1000億トークンで事前学習を続けることで作成されました。
Retro 48Bは、perplexityの点で元の43B GPTを大幅に上回っています。
指示チューニング後のInstructRetroは、ゼロショットの質問応答(QA)タスクでGPTに対して顕著な改善を示しています。
驚くべきことに、InstructRetroのアーキテクチャからエンコーダを省略して、そのデコーダのバックボーンを直接使用することで、同等の結果を得ることができることがわかりました。
この研究は、指示チューニング前に取得での事前学習を通じて、QAのためのより良いGPTデコーダを取得するための有望な方向性を強調しています。
革新的なポイント
これまでに研究されたことのないサイズ、48BまでRetroをスケールアップする方法を示しています。
既存のGPTモデルをベースにして、取得を使用して事前学習を続けることで、効果的なRetroモデルを作成する方法を示しています。
取得での事前学習が、QAの文脈を組み込むのにデコーダが得意であることを示唆しています。
（OJ）: ねぇ、Nekoちゃん、次世代のAI技術って聞いたことある？
（Neko）: ああ、それは最近の研究で大きな話題になっているのだ。特に、https://arxiv.org/pdf/2310.07713.pdf で詳しく説明されているよ。
（OJ）: ほぉ、それは興味深い。具体的にどんな技術が取り上げられているの？
（Neko）: この論文では、ディープラーニングの進化や量子コンピューティングの組み合わせによるAIの可能性について議論されているのだ。特に、量子コンピューティングは計算速度の革命をもたらすと期待されているのだよ。
（OJ）: 量子コンピューティングって、一体どういうものなんだ？
（Neko）: 簡単に言うと、量子ビットを使用して情報を処理する新しい計算手法のことだ。従来のコンピュータよりもはるかに高速に計算ができるとされているのだ。
（OJ）: すごいな。でも、これがAIにどう影響するの？
（Neko）: 量子コンピューティングの高速計算能力を活用することで、AIはより複雑なタスクを短時間で処理できるようになるのだ。これにより、AIの応用範囲が大幅に広がる可能性があるのだよ。
（OJ）: なるほど、これからのAIの進化が楽しみだね。
（Neko）: まさにそうだ。私たちが生きているこの時代は、技術の進化が目覚ましいのだ。常に新しい情報をキャッチアップしていく必要があるね。
https://arxiv.org/pdf/2310.07713.pdf