見出し画像
Photo by take_kuroki

一万字で振り返る2023年のSaldraと、来年の抱負

Saldra

はじめに

この記事はSaldraの2023年の振り返り記事です。やってきたことベースで書きつつ、ちょこちょこ私見やその時思ってきたことを書ければと思っています。

まず、自分のアウトプット量をざっくり見てみます。

記事 : 29記事 (zenn:10,Qiita:8,note:11)
登壇（プライベート、仕事含む）: 12回
LT主催: 3回
オフイベ主催: 3回
商業本 : 1回
寄稿（インタビュー形式） : 1回

軽い記事を沢山出すこともできるので活動量が多いことが誇れることではありませんが、少なくとも「まったく活動していない！」と言われない量にはなっていて、大分頑張ったように思います。最近告知ばっかしているなという感覚はあったのですが、そりゃ一年で50弱Twitterで告知してたら、うん…
一週間に一回ペースで告知を出していることになります。


月ごとの活動振り返り

1月 ~ AITuberとの出会い

自分は2022夏からmidjourney触り始めた層で、知人に「去年の夏から画像生成触っている人、まじでイノベーターだから今まで見てきた景色をきちんと定期的に振り返って、当時の状況を思い出せるようにした方が良い」と言われ、取り敢えずChatGPT入門と、今まで自分が観測した画像生成AIのまとめ記事を出しました。

今でこそプロンプト内容は晒してる人も多いが、「秘術」として隠していた人も多かったし、プロンプト内容を売る人も出てきていた。そんな状態だった10月に「元素法典」という文章が流通した。

https://qiita.com/sald_ra/items/4b6d87976654ad8c689c

2022年9月の思い出話が書いてある。

精度云々の話はいずれ上がるので無視をしたとして、何ができないかを考えたのですが、「無から新しいひらめきを出す」はAIには難しいと思います。

https://qiita.com/sald_ra/items/2949869424002804e38b

ChatGPTはまだ出始めでハルシネーションも多く、「こんなに精度が悪ければ使えない」とまで言われていましたが、「精度なんてどうせ上がるんだから今のうちに使っておける範囲で限りなく使わないとだめでしょ」と思って単体テストの生成とかはここでやってました。Langchainは12月とかに試していてTwitterでレポ書いてますが、これは12月なので今年の振り返りではない…

色々遊んでいましたが、1月上旬には人生を賭けて取り組もうと思えているものがなかったのを覚えています。

これを変えたのがNeuro-samaでした。

やることもないし作ってみようと考え始めたのが1/22で、その日のうちに今も作っているデータフローを構築していました。

一旦整理する
input ->コメントから取得
LLM ->任意の何か
VOICEVOX ->LLMのoutputを受け取る
OBS->VOICEVOXの音声を受け取って再生する

ここで問題になるのが、どこで中央整備を行うか。
つまり、それぞれにデータを投げ、データを受け取る管制官的なポジションが必要になるはず。
具体的には以下
・Youtubeのコメントを取得してLLMに投げる
・LLMの結果を取得してVOICEVOXのAPIに投げる
・VOICEVOXの取得結果をもう一度VOICEVOXAPIに投げる
・返ってきた音声データを再生ストリームに流す

https://zenn.dev/link/comments/f647b3a7e9d73b

この時はまだOpenAI APIがtext-3-davinchiしかなかったので高いな～と思ってケチってローカルに移行しようとしている。APIはなんとなく不気味だしなぁと思っていたのは今も昔も変わっていない。当時からnpakaさんはnoteを残してくれていて、0から勉強する僕みたいな人は、つくもちさんとnpakaさんには頭が上がらないのです…

こうして1月末から本気を出し始めました。今思えばもうちょっと早く色々動けただろうと思えるし、いや、あれが最速だったし良いタイミングだった、とも思えます。多分後者が正解で、1月下旬より早くても多分挫折していたと思います。Neuro-samaが人生を狂わせるくらい、とにかく凄かった。

2月 ~ AITuber完成

2/4に外見なしのテスト配信、2/10に外見、BGMを整えた本番配信を行いました。この時点であき先生やまじょさんといった、AITuber開発者がコメント欄にいます。

Qiitaで二記事、AITuberについての記事を出しました。
どちらも既存開発者がAITuberの最初の入り口となるような記事になっていますが、まだまだ「やり方をつたえる」というところまでは気が回っていませんでした。

技術の話でいうと、この時点で働いていた会社が、かなりソフトウェア設計に関して熱量がある会社だったこともあり、きちんとしたアーキテクチャにして、時代の変化に立ち向かえるようにしようという方針は建てていました。

2月下旬、実はあき先生と「プログラマーでなくてもAITuberをできるようにしたいよね」という話をしていて、一緒にものづくりをしていました。3月までやっていたので後述します。

また、AITuberに関する知見が散逸しているという問題を解決するべく「あいちゅーばーわーるど」というDiscordコミュニティが出来上がったのが二月末です。

軽く作ったこのサーバーですが、かなり大きくなってしまいました。一つ反省点を上げるとするなら、一時期サーバー攻撃をされたことがあり、それから複数人体制の運営になったのですが、逆に「チャンネル構造を変更したかったりしたら一旦運営相談した方が良いかな？」などを考え始めてしまった点にありました。自分が作ったサーバーなので、自分の責でババっとやりたい変更は行って、事後にこんなことをしました～にして、本当に迷った時に相談する形にすべきだったなと。来年からはもうちょっと意識しようと思います。

3月 ~ あき先生とのものづくり

3/2の深夜にOpenAI APIで3.5がリリースされまして。寝て起きたらAPI公開、AIキャラクターの実装、Qiita公開まで逆瀬川さんがやっており、なるほどAIの時代というのはこういうことなのだ、一晩で全てが変わってしまうのだとわからせられました。

3/14にGPT-4がリリースされました。これを見て「精度はいずれ人間を超える」という確度の高い予想は確信に変わりました。この時点で仕事や作業のやり方が転換したように思います。この時点では回数制限が設けられていました。五月に言われた言葉を思い出します。「GPT-4が出て今日まで、毎日回数制限にならなかったのであれば、引っかからなかった分、あなたがボトルネックになっているのだ」と。

3/20まではあき先生と一緒にものづくりをしていました。結果的に社会人である自分の時間が確保できず解散となりましたが、凄い良い時間を過ごせたのと、様々な方とお話をして、とても勉強になりました。本業が終わってからだと本当に時間が足りないと自覚したのはこのタイミングだったように思います。

3/22にAITuberLT大会を行いました。AITuberを題材にしたLT大会は日本で初めてだったと思います。

いままで自分はLTには参加したことがあるものの、主催経験はありませんでした。タイムマネジメントとかはそこまで苦手ではなかったのでなんとか大きなトラブルなく終了することができました。大体同接は100人くらいを上下するという、個人+Discordのサーバー開催にしてはかなり大きいイベントになったと思います。

また、3月末に青春ヘラという同人誌のインタビューを受けたりしました。8月発売だったので予言みたいになってて面白かったのですが、当時予言した内容は大体当たりました。

4月 ~ 転職決断、外部リアイベ登壇

友達が「受託会社でもやる？」と言っていたので友達と会社やるか～と思いネットで起業しようと思いますって勢いよく言ったものの、「やっぱよくよく考えたらフルタイムで仕事しながら受託は無理では」とその友達に指摘され、「確かに…」と納得し起業やめました。エイプリルフールを避けるために午後に投稿したものの結局やらなかったので普通に嘘つき野郎になりました。アホ過ぎです。

とはいえ3月にやっていたこともなくなったので時間に空きはある。自分が本当になにやりたいかわからなくて、でもAIで仕事したかったので仕事募集をしたところ明渡さんから話があり、転職を決意、二週間で数社他を当たってPictoriaにしようと決めました。

前職では二週間に一回のペースでマネージャと雑談する機会があり、「いやぁ、まだ後半年は辞めないと思いますよ」と言っていたのですが、次の週では転職が決定しており「実は辞めます…」と伝えた時に「辞めないって言ってたじゃんｗｗｗ」と二人で笑ってました。最後の仕事としてGithubCopilotの社内導入を進めたのですが、これはやっておいて本当に良かったなと未だに誇りに思っています。楽しい会社でした。

あとはllama-indexを用いた今でいうRAGの実装をやったら3060だとVRAM不足になったりしてました。

ここからは永遠に「AIキャラクター」にひたすら焦点が当たってます。175Bをフルパラメータでチューニングさせて音声合成ソフトでTTSさせて外見はUnityでやって…を夢見て色々やってました。

あとは今後の自分のキャリアについて悩んでいたり。飲み会でインフラエンジニアの方と話してAWSが来た時の話とかを聞いたりして、数年後のなんとなくのイメージをつかみ始めようともがいていました。

月末はChatGPT Meetup Tokyo #0というイベントに登壇、250人超くらいの人に見守られながらAITuberの話をしていたところ、日経BPのせんごくさんに見つかり本を出すことになりました。リアイベ登壇は実はこれが初めてで、凄い緊張したのですが、自分の人生を変えることになるイベントになりました。

この次の日にすでぃーさんとニコニコ超会議で遊んでます。彼は多分偉人になるので、彼とニコニコ超会議で遊べたことを10年くらい自慢しようと思います。

5月 ~ ローカルLLM鯖作成

1bモデルをCPUでファインチューニングを行い、3060で推論を指せていたのですが、VRAMの限界が見えたので3090に載せ替えました。確かまだこのあたりはLoRAがなかったり量子化モデルもなかったので、頑張って1bを使いこなそうとしてました。

AITuberではさくらのUnity実装などを頑張っていて、VRM+URP+Unlitでやってて心が折れた音がしました。この時に「僕がやりたいのは別に外見じゃなくて、LLMなのかも」と悟った気がします。

この辺りから「誰かがやるのを待つのではなく、自分がなす必要がある」と気が付き始めました。

中旬にPanoraさんからAITuberの座談会がありました。インタビューに出れなかったし話題にも全くのぼれなかったので非常に悔しかったのを覚えています。最後に玉置さんがあいちゅーばーわーるどの宣伝をしてくれたので嬉しかったですが、いつか自分が話す側になるか、話されるようなものを沢山作れる人になりたいと考えていました。

この時が一番ファインチューニングを頑張っていた時期で、3bが出たのにファインチューニングできないとわめいていたようです。

rinna3bやCalm7bが出たタイミングということもあり、タイムラインで色々議論したり、Meetupで議論したりということをしていました。凄い覚えているのが LLM Lounge by masuidriveで、リアルタイムコーディングしながらLoRAについて語るというのは、本当に前線で皆わからないながらも頑張るという体験で、とても楽しかったです。

dolly-15k-jaが出たのもこのあたりで、これを使ってチューニングさせた後、さらにファインチューニングでAITuberの回答用モデルを作成しようとしていました。

この辺でAITuberと同じ問題が発生し始めます。情報の共有がリアルかタイムラインしかなく散逸するという問題です。欲しいと喚いて一日経っても誰も作らないので自分で作りました。やっぱり本当にやりたいことは他人を待たずに自分でやった方が良いです。

これも今や大きいコミュニティになってしまいました。generate関数がわからない有志で立ち上げて、今では基盤モデルの作者が当たり前のように発言するサーバーになりました。参入難易度が高くならないと良いな～と思ってはいますが、最初の入門記事が増えたこともあり、発言量自体は減ってないように思います。むしろ自分が発言しなくても、そこそこサーバーに活気があるので助かります。

6月~ イベント、sakura_dataset

第一回あいちゅーばー開発者オフが実施されました。

色々な人に挨拶したり、技術の話をしたり、乗り換えミスって終電なくしてZoePの家にお泊まりさせてもらう等、何やってるんだかわからない状態になってました。

第二回AITuberLT大会を行い、前回と同じくらいの100人規模イベントを無事終わらせることができました。同日、Pictoriaへのジョインを話したりしていました。LLM転職組にまさか自分がなるとは。

技術の話で言うと、LIMAの論文見て「商用利用可能な小規模高品質データセット」が欲しくなり自作したりとかしてました。PJチャンネルをローカルLLM鯖に作り、有志でやるという感覚はなんとなくこの時に出来上がったような気がします。名前をsakura_datasetといいます。

個人のAITuber活動が元気だったのがこの頃までだったように思います。いつか詳しく書こうと思いますが、自分のAITuberを進めて行った時、「あれ、こんなにうちの子って配信をするんだっけ」という部分にぶち当たったことがきっかけで頻度が激下がりしました。

ローカルLLMでもかなり色々な変化がありましたがOpenAIも例にもれず変化が大きかったです。特にfunction callingの威力はすさまじく、「定型データの形で自然言語でプログラミングできてしまう」という衝撃はとても大きいものがありました。

上半期まとめ

AIにハマり、プレイヤーとしてもがいた上半期でした。0からの立場だったので、本当にやりたいことを勝手にやって、アウトプットもそこそこにファインチューニングだのRVCだの画像生成だのを片っ端から触りました。下半期も色々動いたように思うのですが、アウトプットがとにかく多く、上半期と下半期どちらが自分が成長できたかと言われると、もしかしたら上半期かもね、と答えると思います。ただし、じゃあ自分の社会的な影響は下半期と比べてどうでしたかと聞かれたら、まあ確かに0ではなかったけど、かなり微々たるものだっただろうと答えます。別に社会的に影響を与えることが是ではないですが、ひとつの側面として。6月下旬から登壇やらイベント開催が多くなってきたように思います。これの準備にそれなりの時間を食ってしまうので、やはりインプットは少なくなってしまうな、という印象です。

7月 ~ イベント参加、登壇、主催

7月は何か作っていたというよりもとにかくイベントの参加や登壇、主催ばかりしていました。
AITuberオフとLT大会の運営をやって、CodeInterpreter記事とかも出して、LLM関連のMeetupは片っ端から出ていました。途中で色々なメンバーと話すと知見が広がるので、なるべく界隈がかぶらないMeetupを行おうと考え始めました。

登壇はLangChain Japan meetupというものに出ました。覚えているかわかりませんが、LangChainのCEOはAITuberという単語を目にしたことがあります。正気か？

片手間でAITuber特化型質問用データセットのPJを立ち上げました。AITuberはファインチューニング用のQAデータセットが必要なんですが、それを一から作るのは面倒だと。なのでQの部分をリストにしたデータセットを有志で作成しました。これは「あいちゅーばーわーるど」で作ったはずです。

あとはllama2-70bを目にして、「ファインチューニングを毎回やるのが一強だったわけだが、いつかいらなくなるのでは？データセット作り面倒だし」という仮説を建てだしました。いまだにこの仮説はちょっと信じています。

第三回AITuberLT大会はスポンサーがつきました。このスポンサー代はあいちゅーばーわーるどのブーストにぶち込みました。次やる時はスポンサーつけてブーストにぶち込んで余ったお金は美味しいご飯にしたいですね。調整とか大変だし…

あとはAIにゲームをやらせるDiscordコミュニティを作ったものの、何から話せばよいかわからずコミュニティとしては息絶えました。これは僕の運用が悪かったです。

執筆を本格的に進め始めたのも確かこの時期からで、普通にきつかったです。

8月 ~ 初リアイベ主催

LLMの新しいモデルが出るたびに倫理チェックが厳しいかの検証をしつつ、AIキャラクターオフを行いました。

30人くらい来ていただいたと思います。普通に一人運営だとキャパオーバーで、受付崩壊、入り口を溢れさせるという惨事を起こし、誰かと一緒にやらないとだめだというのを痛感しました。ただ、イベント自体は凄い活況で、今後もやっていこうとようさん氏と話し、今後のリアイベは二人体制+協賛という形でやることにしました。

8月は「ネンクラ」というものにヒイコラ言ってる時期で、Pictoriaの紡ネンにどうやったらマイクラをさせることができるか？に必死でした。

あとはAITuberオフの三回目があり、ローカルLLMの最前線と自分の予言を話したように思います。ggufやGPTQもこの時には普通に使える状態だったので一般的なPCで33Bモデルの推論とかで遊んでいました。ローカルLLMの敷居は下げないとダメだと感じ、text-generation-webuiの布教を始めました。

こうやってみるとそこまで動けていないのかも？

9月 ~ ローカルLLMとミートアップ

執筆がうまく進まず悩みつつ、Meetupを引き続き行いました。
AIエージェントMeetupという名前で40人くらい集めて話すイベントでした。主催をしていて思ったのですが、イベント運営に結局バタバタになっちゃうのであまり話はできないという…

癖にきちんと向き合って日記生成ツールを作ったのも9月です。

これを作った後9月の生成AIなんでもLT会で話したのですが、複雑なプロンプトで複雑な指示をするのではなく、それぞれのタスクに分解して、きちんと複雑な要件を達成しましょうというのはもう少しやるべきだと感じました。その上でファインチューニングが必要ならやれば良いし、プロンプティングで済むならそうした方が良いだろうと。この辺りからファインチューニングに対する熱量は減っています。自分がやりたいのは自分の好きなキャラの発言を生成することで、そのためにファインチューニングが必須であればやりますが、もし必須でないならやらずにプロンプトで済ませるだろうなと考え始めたためです。

10月 ~ AITuber本原稿完了

数か月かけて行っていた執筆は10月中旬～下旬がデッドラインだったので、本当に死にそうになってました。なので目立った動きはそこまで行っておらず、ローカルLLMもくもく会をおこなったくらいです。趣味でキャラクターIPもこの月から運用を始めていますが、メインはあくまでもAITuber本にありました。

本はひたすら編集者さんと二人三脚で書いていて、書いては出して校正してもらってそれをさらに自分が修正点として投げて～を繰り返していました。

編集さんに日付を回ってから提出する鬼

できた時には10月も終盤で、web-llmに触り始めたのもこの辺りからです。この辺りから「いかにAIという分野にカジュアルに触ってもらうか、表現したい人への参入コストを減らすか」を考え始めていました。webでローカルLLMを配信してCPUで推論させるのも、LLMを利用してもらうハードルを下げたいことにあります。少しだけ「キャラクターの理想の発言をさせる」から方針が変わり始めていました。

11月 ~ 本販売開始、登壇

AITuber本はかなり売れたらしく、ありがたいことに販売初日で増刷が決定しました。この一年で一番社会に影響を与えることができたのはどれですかと聞かれたら、多分自分はこの本を出版できたことを挙げると思います。時点でDiscordサーバーかも。

一応技術もいくつか試したことがあります。Calm2がとても良い性能だったので、ファインチューニングのデータセット作りをそもそもCalm2にやらせてはどうかという記事を書きました。これはかなり反響が良かったのと、今までの「ローカルLLM」と「ハードルを下げる」の両取りができたかなと思います。

この辺りで「LLMにおいてどのようにプロダクトに組み込むか」をもっと話した方が良いという実感も出てきました。ただ、2023年の大みそかではあるものの、まだまだ新技術が出てきているため、一旦落ち着いてプロダクトについて考える、というのは開発者からしたらし辛いのもわかります。

「AIxゲームキャラ」という題材でMeetupも行いました。これは大体50人くらいかな、本当に色々な方に来ていただけて良かったです。やはり、主催は挨拶で終わってしまうのが残念です。2月、3月のAITuber黎明期にキカイちゃんという子がいたのですが、その子の開発者の方と挨拶ができて本当にうれしかったです。最近話せていない人が沢山います、それでも、春あたり、全然環境が整ってない中あいちゅーばー開発者オフ会で話した人やTwitterのタイムラインで一緒になって情報を集めたり、全然見本がいない中もがいていた方たちは戦友だと思っています。

12月 ~ 単独登壇と「どう生きるか」

12月に、衝撃的な記事が出てきました。それは「何故日本のAI技術は中国人に完全敗北したのか」という記事です。これを見て、やはりできるだけ社会的な影響を大きくしつつクリエイターが誰でもAIを気軽に使える環境にしないとダメだと感じました。

今月は特にこの話を片っ端から色々な人にしました。技術は勝手に進歩するが、技術を普通の人でも使えるようにするのは勝手には誰もやらない。誰かがやらないといけない。これが今月の自分のかなりコアの思想だったように思います。

意図したわけではないですが、テレ東さんのtamaribaという配信にPictoria社員として自分が出ることができました。これは子供たちにAIを知ってもらってAI観光大使を作ろうという企画で、とても楽しいものでした。

できるだけ若い層は若い内にAIに触るべきだと考えています。スマホネイティブのように、AIネイティブになるべきで、AIネイティブになりやすい環境を作るのは我々エンジニアになるでしょう。なんとか、来年は頑張っていきたいです。

また、人生初の単独登壇イベントを行うことができました。AITuber本、様様です。最終的な予約枠は500超え、同接も250、アーカイブも一週間経たずに700再生されていて、大成功と個人的には言える出来になりました。


来年の抱負

来年の抱負ですが、大き目の野望としては「創る人を創る」にしようと思います。これはしらいせんせーのパクりですが、やはり下の世代にすぐ抜いて行って、どんどん飛躍していってほしい気持ちがあります。AIという新しい道具でどんな素晴らしいものが沢山できるかを見てみたい。余裕があればそのお手伝いができれば良いなと思っています。

中目標は「技術の一般化を進める」と「アプリケーションレイヤーでの実装をもっときちんと深ぼって考える」という感じです。やるべきことは沢山ありますが、身体を壊さずに、これからも頑張っていければと思います。

ちなみに2023年の目標は「有言実行」でした。有言実行自体は凄い沢山できた良い一年でした。それでは皆さん、2024年もよろしくお願い致します！

この記事が気に入ったらサポートをしてみませんか？