Swallow, Nekomata, ELYZA-13b, etc - Generative AI 情報共有会 #13
今週、1月16日（火）にZENKIGEN社内で実施の「Generative AI最新情報共有会」でピックアップした生成AI関連の情報を共有します。
約1ヶ月ぶりの開催です。直近1ヶ月にあった内容からになります。
この連載の背景や方向性に関しては 第一回の記事 をご覧ください。
GPT Storeリリース
GPTsのアプリストア「GPT Store」がリリース。
「Top Picks」「DALL-E」「ライティング」「生産性」「調査分析」「プログラミング」「教育」「ライフスタイル」にカテゴリ分けされている。
第一四半期（1~3月）中に収益プログラムをアメリカで開始。
現在人気のGPTsをいくつか触ってみた
おすすめのトレイル場所を教えてくれるGPT。
2億件の論文をもとに研究のアシスタント（サーベイからイントロやドラフト作成まで）をしてくれるGPT。
おすすめの本を紹介してくれるGPT。
↑ 存在しない本や、著者誤りと思われるものなど、ハルシネーションを起こしている気がする…？
ChatGPT Team
OpenAI、小規模グループ向けのサブスクプラン「ChatGPT Team」の提供開始。
提供されるもの ↓
32KコンテキストのGPT-4へのアクセス。
DALL-E 3、GPT-4 with Vision、ブラウジング、Advanced Data Analysisをより大きな利用可能上限で提供。
ChatGPTに投入された社内データや会話は学習に利用されない。
チームのための安全なワークスペース
ワークスペースでカスタムGPTを作成・共有
ワークスペースとチーム管理のための管理コンソール
新機能や改良点への早期アクセス
日本語LLM
東工大とAISTの研究チーム、日本語LLM Swallowを公開。（2023/12/19）
英語で高い能力を持つLlama 2（7B, 13B, 70B）に対して、日本語のテキストを用いて学習を追加で行う継続事前学習により構築したモデルと、指示チューニングを施したモデルを公開。
工夫
日本語データ割合を大きく（日本語 : 英語 = 9 : 1）して継続事前学習を実施。
Llama 2トークナイザに16,000件の日本語トークンを追加（語彙拡張）し、日本語テキストのトークン長を56.2%削減。
Common Crawlから配布されているアーカイブから日本語テキストを独自に抽出・精錬し、商用利用可能なものとしては最大の日本語言語モデル学習コーパスを構築。
2023年12月リリース時点で日本語で最高性能。
性能
英語性能は元のLlama 2モデルから若干低下。継続事前学習に用いたテキストデータの割合が、日本語 : 英語 = 9 : 1であることが原因か？（今後調査予定）
Swallowの構築方法や実験結果に関するブログ記事も公開されている。
ライセンスはLlama 2のLLAMA 2 Community Licenseを継承し、ライセンスに従う限りにおいて商用利用可能。
rinna、日本語LLM Nekomataを公開。（2023/12/21）
多言語をターゲットとし、語彙サイズが多く、日本語推論においても高い効率を実現しているQwen（7B, 14B）に対して、日本語の学習データで継続事前学習行ったモデルと、指示チューニングを行ったモデルを公開。
14Bモデルで一部の70Bモデルと同等のスコアを達成。
QwenのTongyi Qianwen LICENSE AGREEMENTを継承し、ライセンスに従う限りにおいて商用利用可能。
ELYZA、GPT-3.5を上回る日本語LLMを公開。（2023/12/27）
Llama 2（Llama-2-13b-chat）に対して日本語テキストで継続事前学習を行ったモデル、それに対し、指示チューニングを行ったモデル、トークナイザに日本語の語彙を追加し推論を効率化したモデル、を公開。
ELYZA Tasks 100による評価で、GPT-3.5を上回る性能。
13Bながら、70Bモデルなどよりも高いスコアを獲得。
参考値（評価者が一部異なるため）だが、GPT-4は4.32、GPT-3.5-Turboは3.81。
高速に動かせるデモも公開されている。
ライセンスはLlama 2のLLAMA 2 Community Licenseを継承し、ライセンスに従う限りにおいて商用利用可能。
（ビジネス活用）ジェイックの就活AI
就活（転職）における様々なサポートをしてくれるサービス。以下で特にログイン等必要なく無料で気軽に試せる。
ChatGPTを活用した「逆質問作成」機能（2023/12/22）
「応募する企業情報」、「自分が大切にしている価値観やキャリアビジョン」を入力することで、”逆質問の叩き台”を作成。
触ってみた。
終わりに
少しでも弊社にご興味を持っていただけた方は、お気軽にご連絡頂けますと幸いです。まずはカジュアルにお話を、という形でも、副業を検討したいという形でも歓迎しています。