ChatGPTの90%クォリティと呼ばれるFastChatを使ってみた(コード付き)

ChatGPTの90%クォリティと呼ばれるFastChatを使ってみました。

Google Colabで実行しましたが、読み込みも軽くて使いやすかったです。

また、Google ColabのGPU標準だけで使えるのも良いです。

ただ、英語は会話になりますが、日本語は理解できないようです。

しかし、この軽さで英語で会話が成り立つということは、個人用の言語モデルとしては合格点です。今後、個人所有の言語モデルという方向性にも進む流れがあることを示唆しているように見えました。

今回、参考にしております。

今回、利用のコードはGoogle Colabで以下です。

!pip install transformers accelerate
!pip install fschat
!pip install --upgrade pip  # enable PEP 660 support
!pip install -e .
!python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

上記を実行しますと、Humanと書かれた枠が出てきますので、そこに色々と質問を英語でしてみますと回答が返ってきます。

また、今回FastChatを走らせたときのGoogle ColabのRAMやディスクの使用状況を載せておきます。