生成AIが世界をどう変えるか

今日は、初めての記事を書いてみる。
２０２４年も実に多くのAI・MLに関する論文が投稿された。

筆者は、３月ごろから論文の投稿状況をウォッチしている。
というのも、これまでの技術開発から技術調査にシフトした。
これはこれで実に興味深く、これまでにない面白さを感じてる。

幸い、Pythonは実に多くのライブラリを揃え、
扱う対象が変われど非常に便利にできていて関心するばかりである。
調査の基本スキルとして、自然言語処理やデータの可視化について
触れる時間を持った。

• ワードクラウド：文書内の頻出単語の可視化

• 共起ネットワーク：文章間に相関を見つける可視化

• 文書要約：機械学習やTransformersで誰もがすぐにサマリーができる

• データ分析：Pandasのおかげで、データ集計がとても簡便

• データビジュアライゼーション：Plotlyで綺麗なグラフ化

これら、すべてPythonの知識があれば、楽しく学べる。
もはや、かつて経験した難解なプログラミングの知識はいらない。
誰でもすぐさま取り組める環境があり、
なんていい時代になったのかとすら思う。
Pythonの全方位さは、プログラミングの敷居を一気にさげてくれた。

そんなPythonのおかげで、Rに手を出さずに、統計処理も簡便で
分析したい内容に専念できたのは大きくOSS文化に感謝するとことである。

さて、本題の生成AIだが、昨年同様に非常に多くの論文がでており、
その勢いは、とどまることはない。
とはいえ、今年は昨年同水準になる見込みである。
中でも生成AI周りは変化が激しいのはご承知の通りだ。
Stable Diffusion　で遊んだものの、半年もたてばその精度はすごく上昇する。
もちろん、画像だけでなく、LLMにおいても同様である。
以下は、モデルごとのトークン数の概略である。

モデル　　　トークン数の上限
GPT-3　　　 約 4,096 トークン
GPT-3.5　　  約 4,096 トークン
GPT-4　　　 約 8,000 トークン
GPT-4 (128K) 約 128,000 トークン
GPT-4o          約 32,768 トークン
T5                 約 512 トークン
BERT             約 512 トークン

とくに注目したいのは、128,000を超えたあたりから、
世界が変わることである。
これまで、4000トークンくらいでは、長い文章でのプロンプトが作れなく
selenumuなどで、ブラウザを操作して、
分割してトークン数を調整していた。
それが、３２倍程度に増えると何が起こるかというと、
質問が複数になっても、一度に応答できるといことが可能になる。
つまり、あらかじめ用意したプロンプトで、条件の変わる部分だけど
書き換えればよく、状況に応じて、ひな形を使いまわせる。
つまり、書き溜めたコードをもとに開発して、スクラッチから開発することがないように、プロンプトを書き溜めることができる。
また、同時にそれは共有できることにもなる。
誰かの専門性の高いプロンプトが公開されることに等しい。

これはよくある事象で、サイズが変わるとあるとき劇的に
利用シーンが広がるのと似ている。
記憶に新しいモバイルコンピューティングとしては、
スマホがその好事例と言える。

今後、トークン数がさらに増えると、たとえ処理待ちがあっても、
翌日には知りたいことが整理された形式で手に入ることになる。
この変化は大きく、ニュースの配信や知識の学びとあらゆるドキュメントの入手の仕方に変化を起こすことにつながる。

もう少し身近な事例を述べると、
当然、旅行プランを練る必要もなく、モデルコースが自分の好みを付与したプロンプトがあれば、テキスト生成されることになる。
自己の好みが今後、価値を増すことは言うまでもない。