人気の記事一覧

色々なライブラリでLLMを量子化してみる

7か月前

ローカル環境でRAGを用いた文書生成とCTranslate2を用いた高速化

【ローカルLLM】Gradio+CTranslate2で日本語LLMのチャットUIをつくる

1年前

CTranslate2でrinna instructionをquantizeして動かす

1年前

PEFTでLoRAマージしてCTranslate2で遊ぶメモ

CTranslate2 というのをよく見かけるようになったのでシュッと調べてみた

1年前

rinnaをCTranslate2から遊ぶメモ