見出し画像

LLMの巨大化！LLMへのレトリバの向き合い方をご紹介いたします！

株式会社レトリバ

はじめまして。株式会社レトリバ取締役の河原一哉（@kawaiti）です。
今回は、昨今話題になっている生成AIを支える大規模言語モデル（LLM)がもたらす可能性と課題、そして、レトリバがLLMをどのように活用していくかについて実際の取り組みを用いながらご紹介していきます。

生成AIがもたらした変化

OpenAI社が提供する生成AIツール「ChatGPT」の登場により、今まで人の手でしかできなかったような文章の要約や添削、翻訳に加え、アイディアの提案からプログラムの作成までもが生成AIでできるようなりました。ChatGPT以外にもGoogleによるBardなど様々な生成AIツールが公開されたことで、これからもAIの利用範囲が大幅に広がっていく未来が想像できます。


生成AIが精度を向上させた要因

ChatGPTのような生成AIの精度が劇的に向上したのは、生成AIの背後にある大規模言語モデル（LLM）の進化が大きな要因になっています。
ここ数年LLMも劇的に進化、巨大化しています。言語モデルの大きさは、パラメータ数で表されます。GPT−3のパラメータ数は175B（1750億）で、GPT−4はさらに大きいと言われています。


LLMとは

LLM（大規模言語モデル）とは、巨大なデータセットを使用して訓練された人工知能のモデルで、自然言語処理の能力を持っています。数十億以上のパラメータを持ち、文法や文脈の理解、文章生成、質問応答、翻訳など、多様なタスクを処理することができます。大量の文章データを学習し、言語のパターンや関係性を把握し、日常的に使われるような文章の生成や理解を実現することができ、さまざまな自然言語タスクにおいて人間に近い結果を生み出すことが可能となりました。


LLMの巨大化による課題

LLMの発展によってできることが増えた一方、多くの課題が存在しています。海外サーバの国内での使用の際のセキュリティに対する法律がないこと、半導体供給量の影響で機材の調達が困難であること、エンジニアの不足など、課題は多岐にわたります。 その中でも私が注目しているのが、LLMの巨大化によって生じた課題です。 LLMを作成（学習）するために、必要とされているGPUの性能のハードルも上がってきてしまってます。
BERTは、現在であればGPU1台あれば学習できます。ですが、ChatGPTを提供しているOpenAIは、2万5000台ものGPUを使用しています。これは、日本の保有する最大規模のスーパーコンピュータである富岳よりも大規模な計算機システムになっていると予想されるほどです。 そのため、かなり大規模な計算機システムを保有、運用できる体制や資金を持っている組織以外でLLMを作成することが難しくなっています。
加えて、このような大規模な計算機システムをフル活用しても、LLMの学習にはかなりの時間がかかり、多額の運用費用がかかってしまいます。
このような課題が多く存在する状況下ではありますが、国内では10B規模のLLMの公開、サービス化、取り組み開始などの発表がされています。具体的にはサイバーエージェント、rinnaから数B規模のLLMが公開され、レトリバも3BのLLMを公開しています。これからの動きが楽しみですね。


国としてのLLMに関する動き

LLMに対して動いているのは、AIに関する企業だけではありません。
5月9日には、岸田首相が生成AIやLLMの開発・研究に携わる関係者と意見を交わし、課題やリスクへの対応を検討する「AI戦略会議」を新たに設置する考えを示しました。

AI戦略会議では、有識者と意見交換をしてAI技術の大革新に対する方針を検討していくようで、国産LLMの検討などがされるのではないかと考えています。
日本のLLMへの動きについてもしっかりアンテナを張り巡らしておく必要がありますね。


レトリバの動き

LLMの発展により、私たちの可能性も大きく広がり、ワクワクしております。
私たちレトリバも、LLMをより活用できるように力を発揮していきたいと思います。
現状、LLMには設備やセキュリティーの問題があるため、外部の大規模なLLMを使う部分と個別にチューニングした小規模なLLMを使う部分とを見定め、うまく使い分ける必要があると考えております。
その一例として、5月12日には日本語データによる学習を行ったT5モデルを公開いたしました。（以下に該当のnoteがございますので、ぜひご覧ください。）T5モデルはGoogleが発表した自然言語処理モデルで、そのモデルに私たちで日本語学習を行ったところ、要約等の生成タスクを精度高く実施することができるようになりました。日々巨大化しているLLMですが、T5モデルほどのパラメータ数のモデルでも、十分に活用できる部分があるということをお伝えできたのではないでしょうか。

学習をさせたT5モデルは、Huggingface hubにて公開しておりますので、Huggingface Transformerから簡単に扱うことができます。
ぜひ一度使用してみていただけると幸いです。以下の記事に詳細等掲載されております。
日本語T5モデルの公開｜株式会社レトリバ (note.com)


AI技術で、 人を支援する。

レトリバでは、「AI技術で、 人を支援する。」をミッションに掲げています。私自身、技術は役に立って初めて価値があると考えていますので、レトリバではLLMを多くの人が活用できる形にして、お客様の役に立つことで、「AI技術で、 人を支援する。」の実現を目指していきます。
また、「活用できる形」も様々です。AI技術をどのような体験に変えるか、どのように使うとお客様の課題を解決できるのかを多角的なアプローチでご提案し、お客様と共に歩むということを大切にしていきます。