2023年のLLM界隈できごとまとめ
こんにちは。IVRyの町田です。
この記事は IVRy Advent Calendar 2023 白組 の 25 日目の記事です。
昨日は Riko Hagiwaraの「IVRyは実際に自分の市場価値が高まる会社？YWTからわかったこと」でした。
こちらでIVRy Advent Calendar 2023 白組の最後の記事になります。
白組はこちら
紅組はこちら
さて、アドベントカレンダーも最終日、2023年ももうあと少しです。今年は皆様どのような1年だったでしょうか。今年の漢字は「税」でしたが、自分にとってはなんといってもLLM(大規模言語モデル)です。
流行語大賞でも「生成AI」という技術ワードが選ばれているほどで、ど真ん中の業界にいる自分にとっては今年は衝撃の連続でした。
年の瀬に今年のLLM関連ニュースを振り返ろうと思います。改めて、すごい年でした。
※本当に色々あり過ぎなので印象に残ったものだけ掲載しています。これ以外にも各種LLMモデルが沢山発表されたり、LLM関連アプリケーション・サービスがどんどんリリースされたすごい1年でした。
1月
日本でもChatGPTが話題になる
今年はいきなりChatGPTから始まった気がします。
実際のところ、ChatGPTのWeb Interfaceが公開されたのは2022年11月末ですが、本格的に日本で話題になったのは1月くらいだった気がしています。
性能はもちろんですが、無料で使えるということもあり、公開6日で100万ユーザー突破は今となっては納得です。
3月
(3/1)ChatGPTのAPIが公開される
開発者としてはこれが一番のインパクトでした。
WebのUIでChatGPTの凄さに驚いていたのに、すぐにAPIが公開されてしまいました。衝撃でした。
時間をかけてデータを整備して、色々なモデルをコストかけて学習して比較するという従来のサイクルが変わってしまい、AIエンジニアとしては本気で職を失うかもなと危惧しました。
ハルシネーションのような問題はあるにせよ、汎用的なケースはChatGPTでほぼ解決できてしまいそうで、これ以降山のようにLLM関連サービスが出てきたと思います。一気に時代が変わりました。
(3/9)AzureがOpenAIに対応
さらに、AzureがOpenAIのモデルをホストするという発表もこのころです。企業で開発するにはデータの取扱が心配なところだったので、この対応によって検討が加速したところもあったように思います。
(3/14)GPT4・Whisperが発表される
畳み掛けるように、更に高性能なGPT4が公開されたのも3月です。そして音声認識モデルであるWhisperのAPI対応も発表されました。
(3/14)ChatGPTで自然言語処理は終わるのか？
ちなみに、毎年3月には日本中の自然言語処理関係者が一堂に会する言語処理学会が行われるのですが、そこでChatGPTで自然言語処理は終わるのか？というセンセーショナルなディスカッションも行われました。「(これまでの言語処理は)終わる。そして新しい言語処理が始まる」という提言があり、研究者・技術者の双方が新しい時代に向けて活発な議論をし始めたのも印象的です。(と言ってる間にGPT4が出たのも衝撃)
(3/23)Copilot Xが発表される
さらにさらに、GitHubからCopilot Xもこのタイミングで発表されました。
書こうと思っていたコードが一瞬で生成され、思ったよりずっとすごい補完機能に再び衝撃を受けました。やっぱり職を失うかもと思って寿司職人を目指すと社内に宣言し始めました。
ここまでが3月です。人類にとって濃密すぎる3月でした。
5月
(5/11)GoogleのBardが日本公開
続く5月にはGoogleのBardが日本で公開されました。
2月にはGoogleはBardを公開していましたが、この時点では日本からは使えず、日本で使えるようになったのは5月のことです。Bardは返答結果からすぐに検索エンジンで検索できるという強みがありました。
同時にBardのベースLLMであるPaLM2のAPIも公開され、BigTechによるLLM戦国時代が始まった感がありました。
ちなみに、この時期(4月~5月)は各社が色々な活用方法を模索していた時期で、我々も電話GPTやひろゆき電話GPTなどを実験的にリリースしたりしていました。
7月
(7/6) ChatGPTのFunction Calling, Code Interpreter機能がベータ版に
このリリースもかなりインパクトありました。
ChatGPTに関数呼び出し機能であるFunction Callingと、コード実行機能であるCode Interpreterが追加されました。これにより、ChatGPTの内部でコードの実行が可能になりました。
この機能の追加で、ChatGPTを通じて事前に定義した関数を実行したり、CSVなどのファイルをアップロードをすれば、あとは指示をするだけでデータ分析ができるようになりました。
簡単なデータ分析には十分で、特にデータの可視化などのやればできるけど面倒、のようなケースではすごく楽になりました。
LangChainを始めとしたOSSで似たような取り組みがなされていたように思いますが、OpenAIの対応の早さにも驚きました。
ちなみに、IVRyではFunction Callingとほぼ同等の機能を自前で開発しており、公式のFunction Callingではうまくできない事例を見つけてニヤリとしたりしていました。
(7/19) MetaがOSSのLlama2を発表
Metaから、OSSでGPT3.5に匹敵する性能のLlama2がリリースされました。こちらはChatGPT等の企業が提供するサービスとは異なり、環境さえあれば誰でも使えるオープンソースのモデルです。これまでは精度面ではBigTechが公開するサービスを使う以外の選択肢がほとんどなかったのですが、Llama2の発表でローカルでも試すことができるようになったのは大きいです。
現在では研究機関や企業からLlamaをベースにしたたくさんのモデルが発表されています。今後はLLMをサーブするための環境もますます充実してくることが見込まれますので、このLlama2の発表も2023年の非常に大きな出来事だったと思います。
9月
(9/29) AWSがBedrockを発表
9月末にはAWSのLLMサービスとしてBedrockが発表されました。
言語モデルとしてはAnthoropicのClaude2.0(現在は2.1)やCohere等の複数のモデルが提供されています。
実際のところ、AWSをクラウドに採用している企業はかなり多いはずなのでAWSでLLMがマネージドで提供されている点は魅力です。モデルの精度は引き続き向上していくことが予想され、既存のAWSリソースとの組み合わせも考えるとBedrockの動向は今後も要注目です。
ちなみに、Claude(だけではなく他のLLMも)とChatGPTでは効果的なプロンプトの書き方が異なるので、独自データで複数のLLMを比較・利用する際は注意が必要です。
直後の10月はIVRyとしては記念すべき月でした。
LLMに完全に振り切って開発したAI自動応答システムの実証実験をリクルートさんと開始しました。デモがあるので是非御覧ください。
11月
(11/6) OpenAI DevDay
OpenAI DevDayでは、3月に続きたくさんの発表がありました。
まず、各種モデルの価格がめっちゃ安くなり(1/3程度)、速度も改善しました。これまで価格が高く、気軽には使いづらかったGPT4も、GPT-4 Turboの登場でサービスでの大規模利用も現実的になってきました。
さらに、ユーザーが独自のAgentを簡単に開発・公開できるGPTsやAssistant APIなどの新しい機能も公開され、より簡単に高度な機能が開発できるようになりました。
ちなみに、ある日起きたらサムアルトマンが解雇されていて、すげぇなアメリカと思っていたら、一週間後くらいにCEOに復帰していて、アメリカはお家騒動もスケールがでかいなと感心したのも11月です。
チャンスがあれば行動するIVRyですが、サムアルトマンにDMでIVRyに入ってよというチャレンジをしなかったことが悔やまれます。やはり、早いが価値。
12月
(12/7) GoogleがGeminiを公開する
2023年の締めくくりは、Googleが本気を出したと思われるGeminiの公開です。
ベンチマークスコアの上ではGPT4を上回っていますし、デモとはいえどマルチモーダルで多彩なことが実現できそうな点はやはりすごいです。Googleが本当に本気を出しているのが伝わります。直近では、APIも公開されていますので年末に色々と試そうと思っております。
2023年は歴史に残りそう
ここまでわずか1年。2023年、最初から最後まですごすぎました。
AI、特に自然言語処理の歴史に確実に残る1年ではないでしょうか。2024年もLLM界隈は研究・応用ともに一層の発展を遂げそうで、ますます楽しみです。
We're hiring!
この記事ではほとんどIVRyのことを書いていませんでしたが、IVRyはかなり初期からLLMを中心にしたプロダクト開発を行っています。
LLMの可能性は間違いないのですが、実際の社会の役に立てるためには素晴らしいプロダクトと素晴らしいチームの両方が必要です。
IVRyにはそれがあります。
本気でLLMを社会実装したい方、是非お問い合わせください！