【LLM as a Chatbot Service】英語解説を日本語で読む【2023年4月28日｜@WorldofAI】

ビジネスや個人的なプロジェクトで使えるチャットボット『LLM as a Chatbot Service』の紹介です。
従来のルールベースのチャットボットシステムよりも高いレベルの洗練された精度を期待することができます。
公開日：2023年4月28日
※動画を再生してから、インタビューを読むのがオススメです。

---

Hey what is up guys welcome back to another YouTube video at the WorldofAI.

こんにちは、WorldofAIのYouTubeビデオにお帰りなさい。

In today's video I'm going to be showcasing LLM as a Chatbot Service.

今日のビデオでは、チャットボットサービスとしてのLLMを紹介したいと思います。

Now this is a new project that is gaining a lot of different liking with this repository that they have provided and what this application does is that it gives users the access to cutting edge language models for their actual chatbot service which you can see over here.

これは、提供されたリポジトリで多くの人気を集めている新しいプロジェクトで、このアプリケーションはユーザーに、実際のチャットボットサービスに最先端の言語モデルにアクセスする機能を提供しています。

Now the project focuses on four specific models in particular they have LLaMA based alpaca, stable LLM based alpaca which is something that was released very recently and the third one it is LLaMA based dolly and lastly flan based alpaca.

このプロジェクトでは、特に4つの特定のモデルに焦点を当てています。LLaMAベースのアルパカ、安定したLLMベースのアルパカ、そして3つ目はLLaMAベースのドリー、最後にFlanベースのアルパカです。

Now each fine tuned to offer users a unique and engaging chatbox experience so all four of them are able to provide such unique as well as fine tuned response to different generative context.

それぞれ、ユーザーにユニークで魅力的なチャットボックス体験を提供するために微調整されており、4つとも異なる生成文脈に対してユニークかつ微調整された反応を提供することができます。

Now, to simplify the process of using these models, the project includes a powerful library called ping-pong, and this is something that the contributors of this actual project have established.

さて、これらのモデルを使うプロセスを簡略化するために、このプロジェクトにはping-pongという強力なライブラリが含まれていますが、これはこの実際のプロジェクトの貢献者たちが確立したものです。

And what this basically means is that it basically offers different models with different types of conversation and context towards the management of the actual chatbot.

これは基本的に、実際のチャットボットの管理に向けて、さまざまなタイプの会話や文脈を持つさまざまなモデルを提供することを意味します。

Now the LLM chatbot service project basically aims to make it easy for anyone to take advantage of the state of the art language model regardless of their experience with natural language processing or machine learning.

LLMチャットボットサービスプロジェクトは、自然言語処理や機械学習の経験に関係なく、誰でも簡単に最先端の言語モデルを活用できるようにすることを目的としています。

Now, by utilizing this project, users can basically create their own chatbots that are basically more engaging, personalized, and responsive than ever before by utilizing four of these different language models which are fine-tuned, and they can be incorporated into your chatbot.

このプロジェクトを活用することで、ユーザーは、4つのファインチューニングされた言語モデルを利用して、これまで以上にエンゲージングでパーソナライズされたレスポンシブなチャットボットを作成できます。これらの言語モデルは、チャットボットに組み込むことができます。

And this is something that we're going to be doing in today's video, in which I'll be demonstrating how you can actually utilize this project, talking a little bit more about the analysis by going a little bit more in depth of how it operates, talking a little bit about the advantages as well as the limitations, and we will also be taking a look at how we can take a demo as well as how we can tweak and play around with this on Google Colab.

そして、今日のビデオで行うことが、このプロジェクトを実際に活用する方法をデモンストレーションしながら、それがどのように動作するかをもう少し詳しく解説し、利点や制限についても少し話し、デモの方法やGoogle Colabでこれをいじる方法を見ていきます。

So with that thought guys I hope you enjoyed this video.

というわけで、このビデオを楽しんでいただけたでしょうか。

Now if you guys haven't seen any of my previous videos there's a lot of content and a lot of value that I post.

もし皆さんが私の過去のビデオを見たことがなければ、私が投稿するコンテンツや価値はたくさんあります。

There's different things that I talk about and put emphasis on throughout the AI world so I highly recommend that you check it out as there's a lot of things that will be very beneficial for you.

AIの世界では様々なことを話したり、強調したりしているので、ぜひチェックしてみてください。

Now if you guys aren't subscribed it would mean the whole world to me guys if you guys can go subscribe like this video and comment anything that you want to see in the future and with that thought let's get right into the video.

もしまだ購読されていない方がいらっしゃいましたら、この動画に「いいね！」を押していただき、今後見たいものがあればコメントしていただけると、私にとってはとてもうれしいです！それでは早速、動画に入りましょう。

The LLM chatbot service project offers several benefits that makes it an excellent choice for those seeking to create engaging chatbot experiences.

LLMチャットボットサービスプロジェクトは、魅力的なチャットボット体験を作りたい人に最適ないくつかのメリットを提供します。

First and foremost the project basically leverages the state of the art language models which we talked about at the start where it utilizes four different models that are fine-tuned to provide users with personalized responsive and engaging chatbot interactions.

まず第一に、プロジェクトは最先端の言語モデルを活用しており、最初に話したように、4つの異なるモデルをファインチューニングして、ユーザーにパーソナライズされたレスポンシブでエンゲージングなチャットボットの対話を提供します。

This basically means that users can expect a higher level of sophistication and accuracy than traditional rule-based chatbot systems maybe in cases where certain chatbots hallucinate and you're not able to get the right accurate responses.

これは基本的に、ユーザーが伝統的なルールベースのチャットボットシステムよりも高いレベルの洗練さと正確さを期待できることを意味し、特定のチャットボットが幻覚を起こし、正確な回答を得ることができない場合があります。

Now moreover the LLM chatbot service project is basically a highly user-friendly interface which is something that a lot of people are always striving to create as extensive experience in natural language processing can be quite like difficult for the average person.

さらに、LLMチャットボットサービスプロジェクトは基本的に非常に使いやすいインターフェイスであり、自然言語処理の幅広い経験を持つ多くの人々が作成しようとしているもので、一般的な人にとってかなり難しいことがあります。

Now, what they have done is that the ping-pong library, which is one of the repositories that they have included with this project, offers a simple model, which is an approach to have conversations and context management of different types of generative content to be reduced within terms of its complexity.

彼らが行ったことは、このプロジェクトに含まれるリポジトリの1つであるピンポンライブラリが、会話や異なるタイプの生成コンテンツのコンテキスト管理を行うシンプルなモデルを提供し、その複雑さを減らすというアプローチです。

And this is something that we can see in this example over here, where it tries to take off the fluff of an actual hallucinated response, and this is something that they've done with stable LLM in this example.

この例では、実際の幻覚のような反応を取り除こうとしているのですが、これはこの例で安定したLLMで行われたことです。

So it sees what the actual model sees, and this is what the actual response is given out to show the actual creativity as well as the contextual generative content.

つまり、実際のモデルが見ているものを見て、実際の反応を出すことで、実際の創造性と文脈上の生成内容を示しているのです。

And we're able to see that this ping-pong library that is included with this project is trying to like basically fine-tune the response so that it is more simple and more responsive to the actual person that is creating the response.

このプロジェクトに含まれるピンポン・ライブラリは、基本的にレスポンスを微調整して、よりシンプルに、レスポンスを作成する実際の人間に反応するようにしようとしていることがわかります。

Now overall I believe that this is an amazing service and it represents a significant step forward in the chatbot industry.

全体として、これは素晴らしいサービスであり、チャットボット業界において重要な一歩を踏み出したと思います。

Now let us take a look and emphasize a little bit more on the purpose of this repository.

さて、このリポジトリの目的について、もう少し見て強調してみましょう。

One of the most significant advantages of this project is that its ability to provide users to access a wide range of open source instruction following as well as fine-tune LLM models for their chatbot services.

このプロジェクトの最も大きな利点の一つは、ユーザーが幅広いオープンソースの命令に従ってアクセスし、チャットボットのサービスのためにLLMモデルを微調整することができることである。

We can see over here there's a list of different supported models, and obviously, you're not going to get very high token like data sets.

こちらには、サポートされているさまざまなモデルのリストがありますが、明らかに、データセットのような非常に高いトークンを得ることはできません。

Obviously, you can get supported ones such as like Alpaca Laura, which is quite big in some sense relative to the other ones that are provided, but you're able to get these on an open-source basis, and these are all refined LLMs.

もちろん、Alpaca Lauraのようなサポートされているものは、他のものと比べてかなり大きいですが、オープンソースベースで入手することができ、これらはすべて洗練されたLLMです。

And the project is currently focused on four specific models which we talked about.

このプロジェクトは現在、4つの特定のモデルに焦点を絞っており、先ほどお話ししたとおりです。

Now however these different models might be like placed there is a differentiation that requires prompts to formulate certain types of responses.

しかし、これらのモデルがどのようなものであったとしても、ある種の反応を示すプロンプトが必要であるという差異があります。

Now to address this challenge the project is including this ping pong library which we talked about and this is something that they've tried to incorporate into this repository and basically as we talked about it offers a model that approaches the conversations to take off the flux the fluff sorry as well as it manages the context of it.

この課題に対処するため、プロジェクトではこのピンポンライブラリを含めており、これはリポジトリに組み込もうと試みたもので、基本的には会話のフラフを取り除き、コンテキストを管理するモデルを提供しています。

Now, this simplifies the integration process as well as allowing users to create the chatbot so that it can work seamlessly with different language models regardless of their specific requirements.

これにより、統合プロセスが簡素化され、ユーザーがチャットボットを作成する際に、特定の要件に関係なく、異なる言語モデルでシームレスに動作するようになります。

So this is something that is quite unique, guys, as to what they've done in terms of incorporating this library, and it's something that will be quite beneficial for you guys if you use it as a service.

このライブラリの導入は非常にユニークなもので、サービスとして利用する場合、皆さんにとって非常に有益なものになるでしょう。

So definitely keep an eye out for this.

ぜひ注目してください。

Now what are some of the actual compelling reasons why someone would actually you choose this LLM service over any other app.

では、他のアプリではなく、このLLMサービスを選ぶ理由は何なのでしょうか。

Now first and foremost like we talked about the project offers an access to a wide range of fine-tuned LLMs.

まず第一に、私たちが話したように、このプロジェクトは幅広い種類のきめ細かいLLMへのアクセスを提供しています。

Now, what this will put other like chatbot services aside is that you're gonna be able to get these open source, and they're already fine-tuned, so you already have access to these, and you don't even need to go through the struggle to actually set up and as well as fine-tuning them because you're able to access them for free.

他のチャットボットサービスとの違いは、オープンソースで、すでにファインチューニングされているので、すぐにアクセスでき、セットアップやファインチューニングに苦労することなく、無料で利用できることです。

And if there are any different types of advantages, that is basically the releases as well as the contributions that they continuously keep, as they're always actively working towards improving this service.

そして、もし違う種類の利点があるとすれば、それは基本的にリリースと、このサービスを改善するために常に積極的に取り組んでいる貢献です。

And moreover, the project's ping-pong library, which we talked about, is often, I think, one of the most effective approaches that they've done to the conversations as well as the context management because it's basically making it easier for users to integrate the language models into their chatbot services.

また、このプロジェクトのピンポンライブラリは、会話やコンテキスト管理に効果的なアプローチの一つであり、基本的には、ユーザーが言語モデルをチャットボットサービスに統合しやすくしています。

Now even without the extensive experience in natural language processing people are able to basically integrate these different types of applications and chatbots easily and it saves them so much time and resources doing so.

自然言語処理の経験がなくても、さまざまなアプリケーションやチャットボットを簡単に統合できるようになり、多くの時間とリソースを節約できるようになりました。

Like we talked about in every video there's obviously gonna be limitations to a project.

どのビデオでも話しているように、プロジェクトには明らかに限界があります。

Not one limitation is that the project focuses on language models that may make it less suitable for chatbots because chatbots usually require a lot more data sets as well as more logic and functionality.

そのひとつが、このプロジェクトが言語モデルに焦点を当てていることで、チャットボットにはあまり適していないかもしれないということです。

Now while language models can provide much more sophisticated and accurate responses they may not be able to provide and handle certain tasks and that's one of the main issues as well as the main reasonings why someone would not actually use this chatbot service.

言語モデルはより洗練された正確な回答を提供することができますが、特定のタスクを提供し処理することができない場合があり、それが主な問題の1つであり、実際にこのチャットボットサービスを使用しない主な理由です。

Now another limitation that I was actually able to think about is that the project's ping pong library it is a good thing that they integrated but while it is simple and effective it may not offer the same level of customization and flexibility as other chatbot development platforms.

もう一つ考えられる制約は、プロジェクトのピンポンライブラリが統合されていることは良いことですが、シンプルで効果的ではありますが、他のチャットボット開発プラットフォームと比較して、同じレベルのカスタマイズ性や柔軟性を提供できない可能性があります。

Now this is just a small drawback obviously it's not something that is huge but for users who require highly specialized chatbot functionalities it could be a small setback as you're not able to integrate as well as edit certain things that you would with this library.

これは小さな欠点で、大きなものではありませんが、専門性の高いチャットボットの機能を必要とするユーザーにとっては、このライブラリでは統合や編集ができないため、小さな欠点となる可能性があります。

So that's something to keep in mind but in terms of running it it's quite easy to run it and I'll leave the links down in the description below so that you can get a better idea of how you can actually integrate this into your own chatbot.

それは心に留めておくべきことですが、実行するのはかなり簡単で、説明の下にリンクを残しておくので、独自のチャットボットにどのように統合できるかをよりよく理解できます。

Now, basically, I'm gonna leave this link down in the description below, as I'm not gonna show you guys how to actually run it on your desktop because it's something that is quite self-explanatory.

さて、基本的に、このリンクは下の説明文に残しておきます。

But if you do want me to make a video on it, I can do so.

しかし、もし私にビデオを作って欲しいということであれば、そうすることもできます。

But obviously, if you want me to give you a little breakdown, this is something that you will require, which is Python.

しかし、もし私が少し説明することを望むなら、Pythonが必要です。

You can also use Conda, which is another code prompting editor.

また、コードプロンプトエディタであるCondaを使うこともできます。

Now, you need to clone the repository onto your desktop and install the required files.

さて、リポジトリをデスクトップにクローンして、必要なファイルをインストールする必要があります。

And obviously, you can use Gradio, which is another GUI menu, and this way, you can run the chatbot with a good UI, which is easy to use, and it actually looks appealing.

そして、GUIメニューの一つであるGradioを使うこともできます。

So, I definitely recommend that you run Gradio, and they have an instruction base to follow.

ですから、Gradioを動かすことを絶対にお勧めしますし、そのためのインストラクションベースも用意されています。

So, I highly recommend that you check it out if you are not, if you do not want to run it off your actual Google Colab.

GoogleのColabで動かすのはちょっと...という方は、ぜひ試してみてください。

Now if you want to do this on Google Colab I'll leave the link down in the description below it's fairly easy to do so you just search it up on Google Colab and add the actual repository into the Google Colab.

Google Colabでやりたい場合は、下の説明にリンクを貼っておきます。

Now, first things first, what you want to do is click on connect, and this basically is going to show if your CPU is able to run this with your actual V-RAM, and once you are able to allocate enough, you're, oh, in this case, it's not going to be able to do so.

まず最初に、接続をクリックし、CPUが実際のV-RAMでこれを実行できるかどうかを示します。十分な割り当てができると、この場合はできないことがわかります。

But if you have Google Colab Pro, and if you have HiRAM, then you're going to be able to allocate it and connect it.

でも、Google Colab Proがあれば、そしてHiRAMがあれば、それを割り当てて接続することができるようになります。

But in this case, let's see if I'm able to run like maybe small prompts for this, and what you need to do is click on runtime and make sure that you are running your GPU and nothing else so that way you're able to perform the actions properly with this actual initialization with this demo.

しかし、今回は、小さなプロンプトを実行できるかどうか見てみましょう。ランタイムをクリックし、GPUを実行していることを確認し、それ以外のことはしないようにして、このデモの初期化を適切に実行できるようにします。

Now, what it will do is you need to first check if you have the right requirements as well as the capacity to run this with your GPU.

さて、何をするかというと、まず、GPUでこれを実行するための正しい要件と容量があるかどうかを確認する必要があります。

So what you want to do is run this command Nvidia-SMI, and you can do so by getting an idea of your GPU's memory capability.

そこで、Nvidia-SMIというコマンドを実行し、GPUのメモリ容量を把握することで実行できます。

And if you do meet the capability, which is 40GB, and that way, you're going to be able to run this actual application on the web.

そして、40GBという能力を満たしていれば、ウェブ上でこの実際のアプリケーションを実行することができるようになるのです。

Now if you are then you want to click on each of the play buttons and this way you're able to clone the repositories on this actual application and once you are done by clicking and installing all the dependencies as well as the different prompts you're going to be able to run that chatbot virtually on this web server.

もしそうであれば、再生ボタンをそれぞれクリックして、このアプリケーション上でリポジトリをクローンします。そして、すべての依存関係やプロンプトをインストールしたら、このウェブサーバー上で仮想的にチャットボットを実行できます。

So it's easy as that guys and from this you're going to be able to utilize the different four packages as well as models which we talked about above and that's basically it for today's video guys.

このように簡単に、4つのパッケージやモデルを利用することができるようになります。

I hope you get a better understanding of this chatbot.

このチャットボットについて、より深く理解していただけたと思います。

Now overall while LLM Chatbot Service Project offers many benefits you should be definitely considering that this is more of a specific chatbot service that is more until to different needs and I believe that this is going to be a quite unique as well as a quite revolutionary project in the future so I highly recommend that you keep a tab on this guys.

全体として、LLMチャットボットサービスプロジェクトが多くの利点を提供している一方で、これはより特定のニーズに合わせたチャットボットサービスであり、今後かなりユニークで革新的なプロジェクトになると思うので、このプロジェクトに注目しておくことを強くお勧めします。

Now if you guys haven't seen any of my previous videos please do so, please subscribe, comment anything that you want to see in the future uploads.

もし、まだ私の過去のビデオをご覧になっていなければ、ぜひご覧ください。また、購読やコメントなど、今後のアップロードに望むことは何でもお寄せください。

Thank you so much for watching guys it means the world to me and with that thought guys have an amazing day and I'll see you guys next time.

そして、素晴らしい一日をお過ごしください！また次回お会いしましょう。

Peace out.

それでは、また次回お会いしましょう。