見出し画像

PLaMo-13B, Mistral 7B, Qwen-14B, etc - Generative AI 情報共有会 #10

Masatoshi Kurihara

今週、10月3日（火）にZENKIGEN社内で実施の「Generative AI最新情報共有会」でピックアップした生成AI関連の情報を共有します。

この連載の背景や方向性に関しては 第一回の記事 をご覧ください。


PFN、大規模言語モデル PLaMo-13B を公開

Preferred Networksが13Bの大規模言語モデルを公開。日英２言語を合わせた能力で世界トップレベルの高性能。

  • モデルのねらい

    • 日本で利用されるモデルとして、高い日本語能力を求めるのは必須として、英語能力も重要

      • 世の中のプログラムの多くが英語で書かれていたり、外部ツールを呼び出すような応用をする場合そのためのAPIは英単語を使うことがほとんど。

      • 日本語、英語両方で高い能力を出すLLMを目指す。

技術的な工夫も ブログ に記載されている。

Colab無料版で動かすデモ（https://x.com/__dhgrs__/status/1707393246803226805）

また、テキスト、画像、音声、映像、空間情報、ゲノム、センサ値など、様々な種類のデータを扱える高性能なマルチモーダル基盤モデルの開発を強化するために、新会社、株式会社Preferred Elementsを設立。

さまざまな英語LLMの公開

7Bモデルで、Llama 2 13Bモデルを上回る性能で話題のMistral 7B

フランスのスタートアップであるMistral AIが開発した大規模言語モデル Mistral 7B が、7Bというサイズで Llama 2 の13Bモデルよりも各種ベンチマークで上回る。

さらに、Llama 2は商用利用に制限ありだったが、Mistral 7BはApache 2.0ライセンスで自由に商用利用可能。

軽量で高精度なモデルがどんどん出てきている。

アリババクラウド大規模言語モデル「Qwen-14B」をオープンソース化

各種ベンチマークで Llama 2 13B（Previous 13B SOTAがそれか？）を上回る

10B超えのLLMのオープンソース化（商用利用化）もだんだん増えてきている印象

Stability AI、コンパクトな言語モデル Stable LM 3B を公開

Stable LM 3B により、各種端末または家庭用 PC で実行可能なアプリケーションの幅が広がる。

従来の最先端の 3B パラメーター言語モデルや、7B パラメーター規模のオープンソース言語モデルでさえも凌駕。

image-to-3Dの紹介

1枚の画像から3D画像を生成する技術。

先日（9/28）に公開されたDreamGaussianという手法は、高い品質を維持しつつ既存の手法と比較して約10倍の高速化（約2分で生成）を実現。

上記記事内にさまざまな事例が載っている。

1枚の画像（上段）から3D（下段）を生成
テキストから3Dの生成（サイト内では回転する3Dが見られる）
テキストから画像を生成し、3D化

実際に手元の画像を入力し、3D画像生成を試せるデモColabも公開されている。

マイナビの「転職活動における行動特性調査2023年版」。転職活動における生成AIの活用状況

転職活動を行った人のうち3人に1人が転職活動でChatGPTなどの生成系AIを活用。活用方法は選考書類の作成補助だけでなく、仕事のマッチング・転職活動の仕方の相談など。

↑ 約3人に1人が転職活動に生成AIを活用したことがある。（「活用したことはあるが、今後は活用したいと思わない」の人の理由が個人的には気になる）

生成AIを活用した人は「転職活動が簡単だった」という割合が高いという結果。プレスリリース内にもあるように、これは、”使ったから” 簡単になったのか、ITリテラシーが高いために採用されやすかったのか、は考えるべき。

AI活用者と非活用者では、転職活動の難易度意識、実際の内定獲得数などに大きな差が出ているようです。AI活用者にはデジタル分野への感度が高く、ITリテラシーの高い人材が多いことが要因の一つと考えられます。

プレスリリース 内の記載引用

↑ こちらも、「条件面談で生成AIを活用した結果、簡単だった」ということではなく、ITリテラシーが高く条件面談の対策方法などをよく調べられていたから、ということか？

↑ 転職活動で生成系AIを活用した人の内定獲得率と内定獲得社数はAIを活用しなかった人の2倍以上という結果。
こちらも、ITリテラシーが高く優秀層が多いため内定獲得数が高い可能性もあると思われる。

（ビジネス事例）生成AIを活用したオペレーターと顧客の会話要約

AI Shift、生成AIを活用したオペレーターと顧客の会話を要約する「AI Messenger Summary」の提供を開始。
オペレーターと顧客の会話データや録音データを大規模言語モデルで処理して要約し、導入企業に合わせたフォーマットで出力。

  • AI Messenger Summaryの特徴

    • サイバーエージェント独自の日本語LLMによる高精度の要約も可能。

      • 独自日本語LLMを活用することで、精度が高い要約の実現はもちろんのこと、専門用語などの要約も行うことが可能。

    • LLMエンジニアによる個社ごとのプロンプト設計を行う体制。

    • 要約結果の多様な出力形式とCRM（Customer Relationship Management）への自動格納機能。

お知らせ

（来週はお休みします）

少しでも弊社にご興味を持っていただけた方は、お気軽にご連絡頂けますと幸いです。まずはカジュアルにお話を、という形でも、副業を検討したいという形でも歓迎しています。


いいなと思ったら応援しよう！