bartowskiさんの Mistral Large Instruct 2407(123B)が M1 macで動くのだ

　Mistral Large Instruct 2407 がすげぇ
　LM Studio をダウンロードして、bartowski/Mistral-Large-Instruct-2407-GGUF を検索、自分のmacのメモリーに合わせたのをダウンロードしてください。私のmacはM1 max 64GByteなので、Q2_K_L.gguf が動作しました

　直接ダウンロードする人ここ。まぁLM Studio使いましょう

プログラムの性能がすごい

　この間 Meta社がLLama3.1が脅威の405B(4050億パラメーター)をフリーで出してくれたんだけど、これがローカルで動かないのは仕方ないとして、日本語がね、全然ダメなのよ
　ここまで日本語がダメなのも珍しい
　LLama2の時はそこそこ上手だったのに、なんで？
　サイバーエージェント社が日本語追加学習してくれたそうだけど、そっちは小型版なんだよね

　で、件のMistralなんだけどbartowski氏の量子化の凄さもあってなんとmy macでも動作しました
　しかもわざわざ LM Studio 対応とか書いてある
　bartowski版はQ2_K_Lで46GByteすよ！
　他の人の変換は同じくらいのサイズだとQ2_K_XS とかなのに、なんでこんなにちっちゃいんですかね？？

　これなら我がM1 max(64GB)でも動作する！
　2文字秒くらいと、すんげー鈍いけど！
　質問してアニメ前半みたら答えが揃ってる感じ(12分くらい)

　ただ性能はすごかった。確かにプログラム面ではChat-GPT4oに匹敵するかも。Q2でわずか(?)123Bなのに (Chat-GPT4oの1/10とも!?)

　ただしおフランスの会社なので日本語のトーカナイザー使ってないで学習しているのが残念すぎる…
　日本語の部分が一文字ずつ、ポツポツと出るんだよね
　英語の部分はワード単位ででるから、まぁプログラム部分はそこそこ早いんだけど、その説明をさせるとつらい
いやいやいや、瑣末ですよ、そんなこと。ありがとう Mistral様

　早くスーパー円高、M5 Exterm出てくれぇ

なんかM4はiPad用みたいっすよ？