マガジンのカバー画像

LLM

336
本
運営しているクリエイター
thomas
shi3z

shi3z

完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す

完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す

Transformerは分散できる代償として計算量が爆発的に多いという不利がある。

一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。

なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。

そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?)
RWKVはRNNなのでGPUメモリをそれほど大

もっとみる
mah_lab / 西見 公宏

mah_lab / 西見 公宏

LangChainとFastAPIのストリーミング機能を使って、ChatGPTで生成したテキストをAPIでリアルタイム送信する方法

LangChainとFastAPIのストリーミング機能を使って、ChatGPTで生成したテキストをAPIでリアルタイム送信する方法

こんな動作をするAPIの話。

LangChainの以下のIssueでも取り上げられていたのでメモです。

ソースコードimport threadingimport queueimport uvicornfrom fastapi import FastAPIfrom fastapi.responses import StreamingResponsefrom langchain.chat_mode

もっとみる