見出し画像

オープンソースGPTにclusterの記事を学習させてみた

さな

はじめに

皆さんいかがお過ごしでしょうか? さなです.
昨今話題が盛んな言語処理AIですが、この技術、実はclusterに盛り込むことができるんです. 目の前のコメントを読み取り、返答を生み出しコメントで返すことができます. 詳しくは以下の記事をどうぞ.

この記事の会話ロボに使っているのはGPT-3という、OpenAI社が提供している言語処理モデルで、文章生成, 翻訳, プログラミングといったあらゆる言語処理を非常に高いクオリティで行うことができます.

分かるようで最初のうちはよく分からないとも言われるclusterの楽しみ方を、自律して案内してくれるロボなんてできたら素敵だな〜、とか思ってこのモデルで遊んでいたのですが…

★有料化★

無償利用範囲を使い切って初めてトライアルであることを知った

いや…その、こんな高性能なものを無料で使わせてもらっていいの!?
とは思ってたんだけど…流石に駄目でした(汗)
「Open」AIって言うぐらいだからオープンなのかなって期待してた…

利用料金

無料範囲を使い切ったのはモデルを使い始めてから1ヶ月ぐらいで、月18ドル(1ドル130円として2340円)となると、まあまあお金かかるなぁ…と.
また、言語モデルに限らずAIというものは自分の使いたい用途に合わせて追加学習(ファインチューニング)することができまして.
もちろんOpenAI社の言語モデルも対応しているんだけど、学習にお金がかかるのはもちろん、学習後のモデルは使用料が4~6倍になる.
モデルを作るためにお金がかかるのは良くても、そこから継続的に延々お金もっていかれるのはなぁ…

いざ言語モデル探索へ

そこでお金をケチった私は、本当の意味で「オープン」になっている、無償で利用可能な言語モデルを探索することにしました.

オープンな言語AI

さて、前置きだけ見るとOpenAI社が「オープンを名乗ってるくせにバシバシお金を巻き上げる悪者」のように見えるかもしれません. しかし実は過去に開発した言語モデルを公開し、誰もがその中身を知りまた利用できるようにもしています. そしてOpenAI社が公開したGPTを改良したり、仕組みを学んで独自にGPTを作ったりしたものが、多く公開されています. また、GPTとは違ったやり方にせよ、同様に会話文章を生成できるAIモデルも色々あります.
そこで、そういったフリーでオープンな言語モデルを使って良い感じの会話ロボを作ることができないか模索することにしました.

以下の文章を投げかけて、どんな文章を生成するか試してみました.

参考

Rinna社が公開するGPT

言語AIと「りんな」と聞いて、思い浮かぶものがある方もいるのではないのでしょうか? そう、LINEで会話できる女子高生Botとして話題になった「りんな」を開発している会社です. 実はこの会社は、Wikipediaなどの文章から学習した日本語言語処理モデルを公開しており、誰でも自由に使うことができます. 女子高生口調ではありません.

今回はこのrinna社が公開する13億のパラメータを持つrinna/japanese-gpt-1bを紹介します.

まず投げかけた文章がこちら.

だれでも遊びに来られるバーチャル世界「cluster」の入口「ロビー」で, AIが客にclusterの世界を案内しています.
cluster: 3Dアバターを使ってバーチャル空間に入り, さまざまなワールドやイベントを散策できるサービス
クラスター株式会社: メタバースプラットフォーム「cluster」を開発・運営している組織. CEOは加藤直人氏. ミッションは「人類の創造力を加速する」.
客: こんにちは
ロボです: こんにちは! clusterの世界を楽しんでいただけていますか?
客: ここはどこですか
ロボです: ここは、バーチャル世界「cluster」の入口である「ロビー」です! clusterの中では、さまざまなワールドが創られ, 色々なイベントが開催されていますよ。
客: おすすめのワールドを教えて
ロボです:

AIの返答がこちら

「ウザいAI」です: シリアスな口調のAIが、Clusterの中の全てのワールドを案内してくれます!

どないAIやねん. ちょっと気になる.
完全に自然な文章とは言えませんが、ワールドを紹介してほしいというお願いに対し、きちんとワールド名とその中身の紹介を返していますね. 

早稲田大学 河原研究室が公開する日本語GPT

企業だけでなく、大学の研究室が公開している言語モデルもいくつかあります. 
今回はその内の1つである、早稲田大学の河原研究室が公開しているGPTを紹介します.

返答はこちら

 自分 好み の ワールド を 探して みて ください 。 ゲスト キャラクター が あなた の 行く 手 を 阻む かも しれ ませ ん よ 。

自分で探せって. しかも邪魔されるかもだと…?
ツッコミどころが無いわけではありませんが、文脈自体は通っています. バーチャル空間の会話でゲストキャラクターの存在を挙げてくるところがポイント高い.

所感

オープンになっている言語モデルの2つの例を挙げました. 他にも色々試しはしたのですが、最もそれっぽい返事をしてくれたのがこの2つでした. ただ、確かに文脈が通っていなくはないけれど、完全に自然な文章かと言われると若干疑問もあります. 有料版と比較するのもどうかと思いますが、OpenAI社が提供しているやつは自然な文体できっちりワールドを紹介してくれますので…
(ワールドの中身は想像で語ってきますが)

ファインチューニング

しかし、しかしですよ. 忘れてはいけません.
先程ちらっと言ったように、AIは自分の用途に合わせてチューニングができます.
そして、オープンな言語モデルはこのチューニングもし放題!
というわけで、clusterについて書かれた記事をいくつか拝借して、rinna社が公開しているGPTをチューニングしてみました.
以下の文章を投げかけました.

今日はバーチャルsns「cluster」について紹介します。

オリジナル

元のモデルの返答は以下の通りです. (5通り返答させました)

 ・まずはアプリから、アカウントの作成です。無料会員登録を行うと、  
 ・ネットフリックスの人気ドラマ「ゲーム・オブ・スローンズ」のスピンオフドラマの第3シーズンです。第1シーズンでは、デナーリスは、鉄の玉座につくという目標を立てた。第2シーズンでは、彼女は、スター
・facebookとtwitter、各一アカウントを運用してたらアカウントは2個まで持つことができます。                            
・ツイッターなどのSNSと何が違うのでしょうか?特徴をまとめてみました。                                  
 ・バーチャルsnsといえば「vks」が有名でしたが、2015年にvksの事業撤退により、バーチャルsns市場が寂れるのではないかと心配されていました。

このモデルはclusterについて、「バーチャルSNS」ということしか知りません.
なので、SNSアプリに関連する話をそれっぽく返す感じになっています.
まあ何も情報を与えずにここまで想像で語ってくれるのもなかなかすごい.

3epoch学習

それでは、clusterの記事を学習したモデルの返答を見ていきましょう.
まずは3epochの返答
(※AIは学習を行う際、より良いモデルを探索するために、学習データに合いそうな方向に一気に進むのではなく、少しずつ進み学習をやり直し方向を更新することを繰り返します. この繰り返し単位をepochと言います. まあどれだけがっつり学習したか、ぐらいの感覚で大丈夫かと)

・                 
・ ユーザーは無料で、月額510円で3ヶ月分のチケットが購入できます。 
・このサービスの良い所はチャットでのコミュニケーションがとれるという点です。      
・ Clusterとは、ソーシャルメディアで友達や恋人を見つけ、コミュニケーションをとれるサービスです。
・「cluster」は東京に本社を置く株式会社クラウドエイジが開発を行っている、

先程よりは、clusterの特徴であるコミュニケーションについて語られていますね.
しかし、clusterにサブスクリプションサービスはありませんし、開発元はクラスター株式会社です. clusterには明らかに当てはまらない内容もあり、また当てはまっている内容もSNSならだいたい当てはまりそうなものです.

6epoch学習

先ほどのものの倍、6epoch学習させたモデルの返答がこちら

・clusterは、バーチャル空間内で、ユーザーがバーチャル空間「ワールド(clusterワールド)」と呼ばれる自分だけの世界を作っていくサービスです。
・「cluster」はVRヘッドセットやPCのみで利用可能ですが、すでにスマートフォン版もオープンしています。    
今日はバーチャルsns「cluster」について紹介します。 2018年9月24日、バーチャルSNS・バーチャルコミュニケーションプラットホーム「cluster(cluster)」が公開されました。
・バーチャルSNSの特徴は、誰でも気軽に利用できることです。               
・ 誰でも簡単にバーチャルコミュニティを作成できるサービスが「cluster」です。

おっ、ユーザーがワールド制作ができること、少し日本語がおかしいですがVR, PC, スマホでプレイできることなど、clusterの大きな特徴を捉えていますね.
公開日は2017年6月なので間違っていますが…

9epoch学習

では、さらに学習を進めた、9epochの返答がこちらです.

・2014年7月に公開されたワールドで、3Dで描かれるアバターでバーチャル空間を共有するというコンセプトで作られたサービスです。
・会員登録(無料)することで、PC版とスマートフォン版(iOS/Android)で同じワールドでコミュニケーションが取れるようになります。VR機器でバーチャル空間にアクセスして、好きなコンテンツに参加、またはひとりで遊びます。
・最近では様々なコミュニケーションツールがありますよね。そのひとつが「VR/ARヘッドセット」を使ったソーシャルVR空間でのコミュニケーションです。
・2020東京オリンピックの競技は、3Dアバターでリアルに体験できます。
・ 2017年4月22日に「cluster」というスマホ専用のメタバースサービスが開始されました。

6epochと同様、様々なデバイスで3Dのバーチャル空間で遊ぶことができるというclusterの特徴を捉えた返答です. しかし相変わらずリリース日は間違っていますし、東京オリンピックの競技がclusterで体験できたという話は聞きません(実はあったらごめんなさい).

12epoch学習

さらにさらに学習を進めて12epoch

・ユーザーが作成したバーチャル空間上で遊べます。自分が作ったアバターで自由に飛び回れますよ。
・ バーチャルSNS(ソーシャルネットワーキングサービス)「バーチャルSNS(ソーシャルネットワーキングサービス)」とは、スマホやタブレットなどを使ってバーチャル空間に入り、様々な人と交流ができるサービスのことです。ユーザーは既に500万人を突破し、大人気となっています。
・「バーチャルSNS(ソーシャルネットワーキングサービス)のパイオニア」として知られており、「VR(バーチャルリアリティ)×音楽のライブ」という、今のトレンドを取り入れたサービスとなっています。
・バーチャルSNS(ソーシャル・ネットワーキング・サービス)とは、PCやスマートフォンなどの端末から利用できる、バーチャル空間(インターネット上の世界)です。
・ バーチャルSNSです。VR機器やPC、スマートフォンで気軽にアクセスでき、VRならではのイベントやライブに参加できます。

今までの内容に加え、clusterで盛んなイベントや音楽ライブの話が語られていますね. ただユーザーは500万人もいたっけな…?

15epoch学習

では最後に15epoch学習させたモデルの返答を見てみましょう.

・バーチャルSNS(ソーシャル・ネットワーキング・サービス)とは、インターネットを利用したオンライン上の仮想空間(バーチャルワールド)です。 ユーザーはパソコンやスマートフォン、タブレットなどの端末から、インターネットを通じてバーチャルワールドに入り、自由に遊ぶことができます。
・仮想空間とは、パソコンやスマートフォンなどの端末からアクセスして、インターネットを利用したコミュニケーションができるサービスのことです。PC版・スマホ版・VR版などのプラットフォームがあります。
・バーチャルSNSはスマホやPCから手軽に利用できるなど、今人気のコミュニケーションツールです。
・clusterとは、スマートフォンやPCからインターネット上で気軽にアクセスでき、バーチャルイベントやライブに参加できるサービスです。
・簡単に言うとオンライン上の遊び場です。パソコンやスマートフォンで気軽にアクセスでき、同じワールドやユーザーと交流しながら遊ぶことができます。

clusterの、
・インターネットを通して仮想空間で遊ぶことができる
・PC・スマホ・VRの全てのデバイスで気軽に遊ぶことができる
・バーチャルイベントやライブに参加できる
といった特徴を捉えた上で、clusterの実態から大きく外れた内容もありません.

感想

オープンソースとなっているrinna社のモデルをチューニングすることでclusterについて紹介してくれるモデルを作ることができました. ただ、今回学習に使ったデータはclusterを外部向けにざっくり紹介する記事だったので、clusterの中に入った人を案内するAIのモデルとしては少し物足りない部分もあります.
逆に言えば、教材次第でclusterをやり込んでいる人しか知らないようなディープなclusterの世界を紹介することもできる、そのポテンシャルを感じさせる結果でもありました.

元のモデルの処理能力がOpenAI社に比べて物足りない点については、それがオープンソースの限界…と言うとそういう問題でもなくて、どっちかと言えば計算能力の問題だったりします. 言語モデルはどんどん巨大にすることでその性能を上げることができますが、そうなると誰もが持っているようなマシンでは到底メモリが足りなくなってしまいます.
実際今回紹介したものより大きなオープン言語モデルはあるにはあります. 例えば、世界中の研究者がボランティアで作成したBloomというモデルは1760億のパラメータを持っていて、GPT-3に近い大きさです. しかし、google colabに課金することで利用できるcolab pro のマシンでもメモリ不足で使えません.

つまり、どんなに良い性能のモデルでも、オープンにしたところで必ずしも一般に利用可能とはならないわけですね.

この辺にもOpenAI社が最新モデルをオープンにしない理由があるのかもしれませんね. 多くの時間と資金と労力をかけてモデルを作り上げそれを公開しても、結局高性能なマシンが必要でほとんどの人は使えないか、GPUを有料で貸し出しているような競合他社に利益を渡すような結果になる. それなら、モデルと一緒に計算能力もまとめて貸し出すサービスを提供したほうがユーザーにとっても良い、という判断なのかもしれません. 恐らくOpenAI社が開発した最新モデルを本当に「オープン」にしたところで、利用できるのはごく少数の人だけでしょう.

まあ本音を言ってしまえば、そんな高性能なAIを使い放題遊びたいものですが…今後の計算機器や省計算なモデルが発展を待つことになるんでしょうか.
あるいは、AIの開発能力, それをオープンにする思想, 加えて大量の計算能力を提供する資金, さらに別のところできっちり利益を獲得するビジネスモデルがあれば、可能でしょうか. それができるとすれば、やはりGoogleでしょうか…? 実はGoogleも以前から会話生成ができるAIモデルを開発はしているのですが、あまりオープンにはしていなんですよね.

ところがどっこい.

2022年の終わりにOpenAIが提供を始めたChatGPTの反響を受け、なんとGoogleが言語モデルの提供を発表(恐らく計算能力ごと貸し出す形?)
以下はGoogleのCEOであるスンダー・ピチャイ氏のツイート.

来るのか…来るのか? 誰もが最高の言語処理モデルを使って遊び倒せる日々が!
世の中のあらゆる部分にこのAIが普及する日々が!
いやぁ…世界はどうなっていくのでしょうか.
私たちの世界をどうしていきましょうか.
楽しみですね.

おまけ

ファインチューニングしたモデルと会話してみた

本文ではclusterについて紹介するように求めるだけでしたが、せっかくなので会話を投げかけてみました.
以下の会話を前フリとして投げかけました.

You: こんにちは。
AI: こんにちは!
You: ここはどこですか?
AI: ここは、バーチャル世界「cluster」の入口である「ロビー」です! clusterの中では、さまざまなワールドが創られ, 色々なイベントが開催されていますよ。
You: clusterについて教えて。
AI: ユーザーが3Dアバターを選んでバーチャル空間に入り、公開されているワールドを散策したり、イベントや音楽ライブに参加したりできるサービスです

そして自分の質問として、まず以下の文を投げかけました.

You: おすすめのワールドを教えて

AIの返答がこちら

AI: clusterには、ハイクオリティな3Dワールドが300以上も用意されており、ユーザーはその中から好きなものを選んで遊ぶことができます

お〜、それっぽい回答. だけどワールドの具体名とか挙げてほしかったところでもある. まあ学習に使った記事にもバーチャル渋谷とか一部の企業ワールドしか記載してなかったしな…
もう少し質問を具体的にして、次の文を投げかけました.

You: おすすめのワールド名を1つ提示して

AIの返答がこちら

AI: それでは、ワールド「バーチャル渋谷」に行ってみましょう!

おっ、数少ないワールド名をきっちり拾って紹介してきました. これはポイント高い.  もう少し尋ねてみましょう.

You: どんなワールドなの?

AIの返答

AI: 個性的で遊び甲斐のあるワールドが多く用意されており、中には「バーチャルの遊園地」や「バーチャルテーマパーク」のように、大人から子供まで楽しめるようなワールドも存在します

おぉう…? バーチャル渋谷の中にさらに色々なワールドが用意されているってことか…? 文脈が通っているような通っていないような…
やはり質問をもう少し明確にしてみましょう.

You: バーチャル渋谷について教えて

返答がこちら

AI:バーチャル渋谷は、誰でも気軽に遊びに行けるような、居心地の良い空間を目指して作られました

おぉ〜. 言ってることはふわっとしてますが、きちんとバーチャル渋谷について説明しようとしてますね.
楽しい.

この記事が気に入ったらサポートをしてみませんか？