200億パラメーターの言語モデルで自分だけのチャットボットを作ろうとしたが失敗した

GPT-NeoXT-Chat-Base-20Bは、OpenChatKitの基礎となる200億のパラメータの言語モデルです。この言語モデルは、EleutherAIのGPT-NeoXというオープンソースのGPT-3クローンから派生したもので、対話に特化したデータで微調整されています。この言語モデルは、Huggingfaceにて公開されており、Google ColabやLangChainなどで利用することができます。

今回は、下記のページを参考にさせて頂いております。

togethercomputer/GPT-NeoXT-Chat-Base-20B · Hugging Face

コードは、非常にシンプルです。Google Colabで実行するのでtransformersをインストールしておきましょう。

!pip install transformers

from transformers import pipeline
pipe = pipeline(model='togethercomputer/GPT-NeoXT-Chat-Base-20B')
pipe('''<human>: Hello!\n<bot>:''')

結果は、Google ColabのProプランで、システムRAMが80GBくらいありましたがクラッシュしてしまいました。もう少し大きめのシステムRAMで実施しないとならないかと思います。ただ、200億パラメータがユーザ側でも持つことが出来るようになりそうなのは感慨深いです。