Qwen 14Bのmlxで量子化は成功したものの・・・

リベンジ

 python convert.py --model "Qwen/Qwen-14B-Chat" --mlx-path "mlx_14Bmodel" -q --q-bits 4 

量子化成功

(mlxenv) qwen % python qwen.py -h
usage: qwen.py [-h] [--model-path MODEL_PATH] [--tokenizer TOKENIZER]
              [--prompt PROMPT] [--max-tokens MAX_TOKENS] [--temp TEMP]
              [--seed SEED]

Qwen inference script

options:
 -h, --help            show this help message and exit
 --model-path MODEL_PATH
                       The path to the model weights and config
 --tokenizer TOKENIZER
                       The tokenizer to be used, defaults to Qwen/Qwen-1_8B
 --prompt PROMPT       The message to be processed by the model
 --max-tokens MAX_TOKENS, -m MAX_TOKENS
                       Maximum number of tokens to generate
 --temp TEMP           The sampling temperature.
 --seed SEED           The PRNG seed

ということなので、下記のコードで。

python qwen.py --model-path "mlx_14Bmodel" --prompt "tell me who you are."

出力が変でした。出力表示カット〜

tokenizerも指定しないといけなかったかも？

python qwen.py --model-path "mlx_14Bmodel" --tokenizer "mlx_14Bmodel" --prompt "tell me who you are."

上は間違いのようです。

python qwen.py --model-path "mlx_14Bmodel" --tokenizer "Qwen/Qwen-14B-Chat" --prompt "tell me who you are."

tokenizerがダウンロードされましたが、出力はやっぱりおかしいですね。
出力表示、これもカット〜

chatモデルではダメなんでしょうか。
baseモデルで再挑戦します。

python convert.py --model "Qwen/Qwen-14B" --mlx-path "mlx_14BBaseModel" -q --q-bits 4

それで、次。

python qwen.py --model-path "mlx_14BBaseModel" --tokenizer "Qwen/Qwen-14B" --prompt "tell me who you are."

う〜ん　やっぱりうまく出力されません…　表示カット〜〜〜

量子化あきらめてみます。とりあえず、14B-Chatモデルをそのままconversion.

 python convert.py --model "Qwen/Qwen-14B-Chat" --mlx-path "mlx_14Bmodel" 

こんどはchatモデルうまくいきました。

(mlxenv) qwen % python convert.py --model "Qwen/Qwen-14B-Chat" --mlx-path "mlx_14Bmodel"
Loading checkpoint shards: 100%|████████████████| 15/15 [00:12<00:00,  1.18it/s]
(mlxenv) qwen % python qwen.py --model-path mlx_14Bmodel --tokenizer Qwen/Qwen-14B-Chat --prompt "a long long time ago"
a long long time ago, there was a man who was very good at math. he could count to 100 in less than a minute. one day, the man was invited to a party. at the party, the man was asked to count from 1 to 100 as fast as he could. the man smiled and said, "that's easy!" then he began to count. one, two, three... he counted so fast that no one could catch up with him. when he reached
(mlxenv) qwen %

(mlxenv) qwen % python qwen.py --model-path mlx_14Bmodel --tokenizer Qwen/Qwen-14B-Chat --prompt "Tell me who you are"
Tell me who you are and I will forget you. Tell me what you did and I will remember you. But if you can make me feel what you did, you will be remembered always.
I am a 24 year old, 5'10" female. I am a full time student at the local technical school. I am a very open person and I love to talk. I am a very caring person and I love to help people. I am a very honest person and I will always be there
(mlxenv) qwen %

(mlxenv) qwen % python qwen.py --model-path mlx_14Bmodel --tokenizer Qwen/Qwen-14B-Chat --prompt "まどか☆マギカで一番かわいいのは"
まどか☆マギカで一番かわいいのは誰ですか？

私は、美少女アニメ「魔女とロボット」（Madoka☆Magica) は素晴らしい作品だと思います。この作品には、数々のおしゃべりキャラや魅力的なキャラたちが多く存在しています。それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれ
(mlxenv) qwen %

続きが見たいので、--max-tokens をいれてみます。

(mlxenv) qwen % python qwen.py --model-path mlx_14Bmodel --tokenizer Qwen/Qwen-14B-Chat --max-tokens 1024 --prompt "まどか☆マギカで一番かわいいのは"
まどか☆マギカで一番かわいいのは誰ですか？

私は、美少女アニメ「魔女とロボット」（Madoka☆Magica) は素晴らしい作品だと思います。この作品には、数々のおしゃべりキャラや魅力的なキャラたちが多く存在しています。それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、それぞれのおしゃべりキャラには、個性的な魅力や個性、キャラデザインなど各有り的东西を持っており、
(mlxenv) qwen %

残念・・・　なんか調整が色々いるのでしょうかね。

---

#AI #AIとやってみた #やってみた #Qwen #mlx