「#GPTQ」の人気タグ記事一覧｜note ――つくる、つながる、とどける。

Command R+ GPTQをローカルLLMとしてvllmでOpenAI API互換サーバ動作させてみた話

7か月前

26

キャリブレーションデータにもっと気を配ろうの話

10か月前

26

日本語対応の大規模言語モデル（LLM）をローカル環境で試す：VRAM 8GBの挑戦

¥300

7か月前

2

FastChatでGPTQの使い方

9か月前

4

【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド

1年前

26

【ローカルLLM】text-generation-webUIのAPI機能を試す

1年前

27

【ローカルLLM】ELYZA-Llama-2を機械翻訳APIとして使ってみる

1年前

16

Transformers でサポートされている量子化 bitsandbytes と auto-gptq の比較

1年前

25

【ローカルLLM】GPTQ-for-LLaMAによるモデルの量子化を試す

1年前

10

【ローカルLLM】ExLlamaでtext-generation-webuiによるテキスト生成を高速化する

1年前

16

GPTQ なるものをシュッと

1年前

6

Google Colab で AutoGPTQ + Vicuna-v1.5 を試す

1年前

8

Command-rのGPTQとvLLMを使ってGoogle Colabで動かしてみる

1か月前

SpQR なるものをシュッと

1年前