mlx_lm.generate --model mlx-community/OpenELM-270M-Instruct --prompt "Write a story about Einstein" --max-tokens 512 --temp=0.0 on M3Max64GB
StableLM 1.6bおもしろいので、terminalにregenerationを付け加えたけど、スクリプトがごちゃごちゃしてる気がする なんかスッキリしたスクリプトにしたいけど、Python入門者でまだ修行が必要〜〜
mlx-community/CodeLlama-70b-Instruct-hf-4bit-MLX 途中まで生成されたあと、<EOT> Source: <SUF> <MID>などがでてきた暴走する… なぜだろう
頑張ってコードを見直してます〜