5000字で振り返るサルドラの2024年上半期総括

Saldra

はじめに

2024年も7月に入り、一年の半分が過ぎた。

2024年の大目標は「創る人を創る」、中目標は「技術の一般化を進める」と「アプリケーションレイヤーでの実装をもっときちんと深ぼって考える」だった。今回の記事はやったことを月ごとに振り返って、最後にこの大目標に沿ってたかを確認する。


月毎の振り返り

1月

「アプリケーションの実装」と「コミュニティ運営」と「AIキャラクター」の三要素を主軸に考え始めた一ヶ月だった。これは現時点でも主軸の三要素になっていて、まだまだ荒削りだけど自分なりに色々考えていたのがログからわかる。

例えば正月三が日は実家に帰るイベントが発生していたので、Twitterをあまり見ずに、AIキャラクターについて一人で深夜に考えたりしていた。

「AIキャラクターは原罪を背負いうるのか？」とか「二次元の存在にはどうしても三次元的な要素が入ってしまうけど、今の技術を使えばかなり純度を高めることができるぞ」とか、そんなことを考えていた。LLMを使った上でのというか、現時点で使える技術を広範に見た際に、何が達成できるんだろうかについてをひたすら考えていた。最近やってないから、またやろうかな。

これは三が日何も動けなくて悔しかったので、正月休みに一気に作り上げたLLMプロダクト。「CPUで動く」「環境構築がいらない」「API使わない」の三要件を満たしたツールを作ってみたかった。せっかくローカルLLMで遊んでいるなら、遊ぶだけじゃなくてオモチャでも良いなら実装しないと〜と思って作ったのを覚えている。ウケがそこそこだったのと、「これCursorとかGithubCopilotでよくね？」っていうのに勝てなかったのと、単に飽きてやめた。

ローカルLLMに向き合う会というコミュニティを運営していたのだが、どんどん話が高度になってしまっていて、それはそれで嬉しいのだけれど新しい人が入った時に途方に暮れてしまうと思って質問部屋を分けた。これは正解だった気がするので実績としてここに書く。「いかにコミュニティが熟成され過ぎないか」はずっと考える必要があって、なんというか新しい人は一定入り続けないと死にコミュニティになってしまうという危機感は常に持っておくと良い、と思う。

ローカルLLMについて色々やっているにも関わらず、そもそもGPU持ってない人もいることがコミュニティをやっていて感じていた。ある時、ぴゅう太氏が「有志で中古GPUを有望な若人に渡して、中古GPUの流動性を高くしつつ有望な若人のできることを増やせるのではないか？」という発想を出してくれて、「僕の家にGPUを集めてLT大会してくれた若人に送付する」とかいう謎のイベントをやるに至った。結果的にだけど、このイベントはコミュニティの方向性を決める一番最初のきっかけになったような気がする。

これは当時のPictoriaのオフィス（京橋）でやった。人生初のサイン会で、このイベントあたりまでは全然サインの書き方が安定していないので、皆と違うサインが書かれた本が一定ある。すみません。。。

あとはllama-cpp-pythonのexe配布の記事やllama-cpp-python+cuBLASの入門記事を作ったりした。

2月

2月は「LLMを使ったキャラクターの認知拡大」と「ブラウザ駆動LLMの挫折」、「ローカルLLMに向き合う人が直面するハードルを下げる」が大きなトピックだった。

まず、Witness氏と組み、ローカルLLMに向き合う会の内部で無料GPU貸出を行いました。

当時の募集
突発で発生したお祭り

まだ環境のセキュリティ状況が確立されていなかったため、Twitterで公募するとまずいと思いクローズドで募集した。現在はこのサービス自体は終了し、セキュリティがしっかりしている環境を用意し、後述するハッカソンという企画に落とし込むことができた。「企業では利益問題がある、研究室では革新性がないといけない」となった時、我々ホビープログラマがやりたいことは現状でできることがどんどん減っていくはずで、それは2024年においてほとんどの場合はGPU資源が原因となる。なんとかしてその断念を減らしていきたいと考えている。

二月中旬にデブサミに登壇し、ChatGPTの話からさらに派生して、ローカルLLMの布教とCuBLASやCLBlastの話もした。

「LLMでできることは業務効率化だけでないよ」というのは、継続して話していきたいと思っている。

普通にいつものノリでデブサミに参加したら、皆きちんとした服だったので、一人だけ浮いていた。早く僕も社会に溶け込めるようになろう。
話した内容は記事になったが、ChatGPTの記事だったのでかなりカットされた。でもそれで良いとも思っている(かなり本筋からズレた話ばっかしてたから)

あとは将来のことをぼんやり考えていた。

定期的にキャリアや将来のことは考えている。面白いことを追求し続けて、結果的にそれで楽しく生きることができたら満点だが、一方で自分がそちら側の人間でないことも薄々わかってきている。自分が幸運なのは、AIという技術が台頭してきた時に、ぐんぐん伸びていく少年や青年を身近でみることができたことだろう。

3月

ここら辺から、コミュニティ運営及びイベントにかなり自分の時間を渡すことが多くなった。あまりアプリケーション実装をしなくなったし、入門記事や講座もできていない。だから2024年の目標だった「創る人を創る」を厳密に守れているかはわからない。だけど自分がやる意味がなんとなくあると思ったからそっちに自分の時間の舵を切った。

ローカルAIハッカソンの企画が立ち上がった。「240時間、A5000*7をぶん回してMITライセンスの成果物を作れる」という、日本最大規模のAIハッカソンの参加資格は面白く、「成果物を作るにあたり17GB以上のVRAMが必要である」というものだった。

慣れてないからすごい時間がかかった。開催は4月1日だったが、準備期間や決勝期間自体は3月だったのでこっちに残しておく。
決勝チームのランダム選考もpublicにしたかったで、はサーバー内でシード値を決めてコードを公開するという遊びをした。

あとはgguf変換がかなり大事になってきたので単発でgguf変換記事は書いた。


4月

第0回ローカルAIハッカソンを開催した。水面下で一ヶ月半くらい？調整した。色々な人に会って話を聞いて進めて〜…というのを頑張った。物事を始めるのは得意で、進めるのは得意でなくて、きれいに進めるのは苦手だと思った。

「中古のGPUでやることを増やす」という試みだけだと限界はあって、その限界を突破するためのイベントとして最初の試みとしては大成功と言えたと思う。

その1週間後にNISAに突っ込みすぎたとか色々あって普段使いの口座が大変なことになっている、新卒から何一つ変わっていない…

2週間後には次のハッカソンの募集を始めた。同じノリでいけそうであることと、過労対策でチームにするのをやってみた(後述するけどチームにすること自体はそこまで大きな効力はなかったのかも)

あとは「生成AIなんでも展示会」の実施があった。

自分が諸々の諸準備を沢山やったかというとそうでもなくて、宣伝と当日の入り口案内が主な担当になっていた、一緒にやってくれているようさん、抹茶もなかさん、みけたこさん、やなぎさんが優秀すぎる…

 個人開発で生成AI使ったプロダクト作ってる人と、どういうプロダクトがあるかを知りたい人のハブになるイベントにできた、と思う。これは今後もやりたいけど正直個人でハンドリングできる範囲を越えているな〜とも感じていて、如何にチームでやるかと、そのチームで自分は何ができるかは継続に考えようかなと。

あとはAITuberのワークショップをやった。

この本、Python初心者向けの本になってて、環境構築さえやればかなり良い教材には、なり、そう…だと自負はしている。

OS差分が思った以上に色々あって、特にOBS周りで文字が上手くでないとかのトラブルが発生して、これはやってみないとわからない知見だよな〜と思った。物事の詰まりごとは事前に予測することはできない。

5月

これはAI声づくり研究会との共催という形で進めた「ローカルAIハッカソン」は、発表内容も興味深い物が多く「GPUも足りないし何よりデータセットが足りない」という話は面白かった。それこそコミュニティでなんとかできそうなものだが、、

金賞と銀賞にそれぞれ音声とLLMが入ったのは良かったし、LLMに関しては7b程度の小説生成という「使えるLLM」がコミュニティからapache2.0ライセンスで出せたのは進歩だと思う。

あと超突発で大阪に遊びに行った。

「おだやかおせち倶楽部」さんという日本橋にある雑貨屋さんでインターネット老人イベントをやるというので、急遽きめた。ついでに見せびらかすために空港で「AIでじこ」を作った。

あとファングッズも貰った。

現状でも楽しめるようなプロダクトは少なくとも作れるのはわかったし(AIでじこは喜んでくれた)、可能性も感じた。LLMの話もキャラクターの話もできたし良い旅行だった。

中旬にやったさくらのミートアップ登壇は結構必死に話した。

確か「推論にかかるGPU負荷はかかるしOpenAIもあるけど、LLMを作る遊びをしようとすると一気に参入障壁が上がるよね。できればそれを下げてコミュニティの力でapache2.0を増やしていくぞ！」みたいな話をした。楽しかった。

あと初めての5000バズを達成した(やった〜)

「最近個人開発できてないな〜」と思って、前々から思ってたアイデアを土日でコーディングした。最近はcopilotもあるから実装時間少なくなって良いですね。下記はこれを作るときの最初のアイデアメモ

発言内容のtokenと確率をリアルタイムでババババって出したらかわいいかも

会社のslack(なんで？)

このあたりからちょっとだけ仕事が忙しくて、Twitter見る時間がかなり減っていた。まぁでもタイムラインって意外とそんなに見なくてもなんとかなるという気がしてきている、本当にやばい技術は複数日見てなくても驚かれ続けているし、怖くなったらXの話題の記事見ておけばなんとかなる、みたいな…

元々外部にDM撃つ用でXに課金してて、結果的に数カ月はお小遣い貰ったけど以降は全然呟いてないのもあって赤字。でも話題の記事読むことで可処分時間確保できるからTwitterで時間潰しちゃう人は課金する手も考えて良いな〜と感じている。

6月

LLMに向き合う会、データセット人力生成部が爆誕した。

 主催、ロゴ作成はすでぃさんで、すでぃさん主導のもと10人くらい？集まって論理学系のデータセットをチマチマ作って公開。悪習因果とか「自分が何のデータセットを作っているか」を意識しつつ作るのは結構面倒ではあった、それこそLLMに任せたい気もするが、最初のデータはどうしても人が必要になる…

中旬はGoogle for JAPANに遊びに行った。

「確かにgemini良いな〜」という気持ちもありつつ、「これプロダクションにぶちこむなら各クラウドプラットフォームに依存することになるから、気軽にすぐ切り替えるとかしやすいプロジェクトならいいけどプラットフォームごと切り替えるのかなり手間だよな…」とかも考えていた。やっぱり個人の遊びと安定性やデグレを出せないプロダクトの違いはどうしてもある、この辺皆どうしてるんだろう。

後は月末恒例個人開発。今回のは「無限の掛け合わせをLLMに生成させることで対応できるようにする」というのがテーマだった。

「膨大な掛け合わせが必要になる」というのが個人的にLLMの台頭によって技術的な限界にならなくなってきたな〜と感じていて、(求める形式になってるかの後処理は必要だけど)掛け合わせ結果やそれに応じて発生したイベントの説明をLLMにさせるのは面白いと、思う。

これが僕の上半期。

まとめ

序盤は「創る人を創る」っていう言葉が良いな〜と思ってたから例えば環境構築がいらないツール作れないかなとかぼんやり考えてたんだけど、最終的にイベントブン回して登壇して時々個人プロダクト作って…という動きに最適化されていった気がする。特に3月以降からはかなり仕事や私生活含めバタバタしてたから自分からみたらバタバタ動いてるつもりだったけど、こうやってTwitterでの発信内容をベースに他人目線でみるとそこまで動いてないようにも、見える。一方で、一回一回の動きは去年に比べて大きくなってきてる気もしていて、だからあまりにも悲観的になる必要はないのかな〜

ということで2024の上半期総括を終える。2023年の総括もあるのでお暇な方はぜひ。

一万字で振り返る2023年のSaldraと、来年の抱負｜Saldra @sald_ra https://note.com/saldra/n/n01dce8eb5b61

Twitterはこれなので、よかったらフォロー
してやってくたさい。


いいなと思ったら応援しよう！

この記事が参加している募集

#自己紹介

273,733件