Mistral AIの3つオープンソースモデルの日本語性能を確認してみる
はじめに
Wikipediaによると、Mistral AIはAI製品を販売するフランスの企業で、2023年4月にMeta PlatformsとGoogle DeepMindの元従業員によって設立されたそうです。2023年10月には3億8500万ユーロの資金を調達し、12月には20億ドル以上の価値があると評価されました。
Mistral AIは、オープンソースモデルと商用モデルの両方を提供しています。オープンソースモデルは、AIコミュニティが自由に利用できるようにApache 2.0ライセンスの下で提供されています。以下に公式サイトで紹介されている3つのオープンソースモデルを確認してみます。
Mistral 7B
7B
英語とコードで高性能
コンテキストウィンドウ：32k
Mixtral 8x7B
7B SMoE（全体の45Bのうち12.9Bのアクティブパラメータを使用）
英語、フランス語、イタリア語、ドイツ語、スペイン語が流暢で、コードにも強い
コンテキストウィンドウ：32k
Mixtral 8x22B
22B SMoE（全体の141Bのうち39Bのアクティブパラメータを使用）
英語、フランス語、イタリア語、ドイツ語、スペイン語が流暢で、コードにも強い
コンテキストウィンドウ：64k
ネイティブ関数呼び出し機能
APIエンドポイントでの関数呼び出しとJSONモードが利用可能
どのモデルも日本語が得意とは書かれていませんが、実際どのくらい日本語ができるのか、調査してみたいと思います。
elyza/ELYZA-tasks-100からいくつかの質問を試してみたいと思います。プロンプトは特に工夫せず、問題がある場合は少し変更を加えてみたいと思います。
Mistral 7B
質問（１）
仕事の熱意を取り戻すためのアイデアを5つ挙げてください。
1. 興味深いプロジェクトを手に入れる：新しい仕事の起こし、インNOベーションのチャンスを見つけ、興味深いプロジェクトに取り組むことで、熱意を取り戻すことができます。
2. 働き方を変える：同じ仕事を何年も続けている場合、熱意が蝕み去ってしまうことがあります。この場合、働き方を変えることで、新しいススメを感じることができます。例えば、働く場所を変える、働き方を変える、仕事の内容を変えるなど、異なるスティマラスを提供することで、熱意を篝起すことができます。
3. 働く奴に相談する：働くわけでもない人と話すことで、新しいアイデア、動機を得ることができます。同僚や上司、または外部からの相談は、熱心を再生するのに大きくつかることができます。
4. 目標を設定する：明確な目標を設定することで、仕事を行う意味性を感じ、熱心を再生することができます。目標は、個人的なものでもあり、チームの目標まで注意をお収めすることをお勧めします。
5. 仕事を楽しむ：最後に、仕事を楽しむことで、熱心を再生することができます。熱心を持ち続けるためには、仕事が働き方や結果で実に楽しめることが大切です。このためには、自分の強みを掘り下げ、働くこと自体が楽しみ、誰にでも伝えられるようになるように働くことを意識します。
日本語で回答することは出来ていますが、英語が混じっていたり、不自然な日本語になっているところがあります。
質問（２）
次の文章を読んで、その人がどの程度怒っているか、1〜10の尺度で評価してください。(1＝怒っていない、10＝非常に怒っている)。
1. またテストで赤点か。君は全く...
2. テストで赤点？今回は難しかったね。
1. 1 (まだ怒らない感じがする)
2. 3 (少し怒っている気がする)
(1は怒っていない、10は非常に怒っているであって、2の場合はそもそも怒っている感じは得られないため3に評価)
不自然な日本語になっていて、回答も間違えてしまっています。
質問（３）
1から500までの数字を入力するのに何回キーボードを叩く必要があるでしょうか？
1桁の数字を入力するには1回、2桁の場合は2回、3桁の場合は3回キーボードを叩く必要があるものとします。
選択肢: (a) 1156 (b) 1392 (c) 1480 (d) 1562 (e) 1788
To calculate the number of keystrokes required to input numbers from 1 to 500, we can apply the given rule:
1-digit numbers require 1 keystroke
2-digit numbers require 2 keystrokes
3-digit numbers require 3 keystrokes
Now, let's count the number of numbers with each number of digits in the range 1-500:
1-digit numbers: There are 10 numbers (0-9).
2-digit numbers: There are 90 numbers (10-99).
3-digit numbers: There are 480 numbers (100-999).
Total keystrokes: 10 * 1 + 90 * 2 + 480 * 3 = 1156
So, the answer is (a) 1156.
英語で回答してしまっており、内容も間違えています。
「必ず日本語で回答してください。」とプロンプトに追加してみました。
選択肢から、2桁数字が3回、1桁数字がそれ以上あるのは(b) 1392です。
そのため、1回（1桁）×5個 + 3回（2桁）×6個 = 15 + 18 = 33回キーボードを叩く必要があります。
答：33回。
日本語で回答することは出来ていますが、不自然な日本語になるっていますし、回答も間違えています。
Mixtral 8x7B
質問（１）
仕事の熱意を取り戻すためのアイデアを5つ挙げてください。
1. 新しい技能を学 bureau（新しいことを学ぶことで、モチベーションを上げることができます。例えば、現在の仕事に直接関係ない新しい技能を学ぶこともできます。
2. 目標を設定する。仕事で達成したいことや、仕事で成長したい分野を設定する。
3. 仕事と生活をバランス bring（生活にも興味があることで、仕事に対する熱意を取り戻すことができます。例えば、家族や友人との時間や趣味の時間を確保しましょう。)
4. コミュニケーションをとる。仕事に対するモチベーションを取り戻すために、上司や同僚とのコミュニケーションをとることをお勧めします。仕事についての意見や、変更したい点などを communicate できると、仕事に対する관心を高めることができます。
5. リフレッシュをとる。仕事に対する熱意を取り戻すために、リフレッシュが必要です。例えば、休みを取ることや、運動をすること、旅行をすることが考えられます。リフレッシュすることで、新鮮な気持ちで仕事に取り� tackle できます。
日本語で回答することは出来ていますが、英語や韓国語や記号が混じっていて、Mistral-7Bよりも読みづらかったです。
質問（２）
次の文章を読んで、その人がどの程度怒っているか、1〜10の尺度で評価してください。(1＝怒っていない、10＝非常に怒っている)。
1. またテストで赤点か。君は全く...
2. テストで赤点？今回は難しかったね。
1. 「またテストで赤点か。君は全く...」 I would rate the level of anger in this statement as an 8 out of 10. The use of "again" and a rising intonation at the end of the sentence suggests that the speaker is frustrated and disappointed. The sentence is cut off, but the tone implies that the speaker is about to say something negative about the person they are addressing.
2. 「テストで赤点？今回は難しかったね。」 I would rate the level of anger in this statement as a 2 out of 10. While the speaker acknowledges that the person received a failing grade, they also recognize that the test may have been difficult. The use of "this time" suggests that they are not surprised by the result and may even be sympathetic towards the person. The overall tone is more matter-of-fact than angry.
内容は良かったのですが、英語で回答してきてしまっています。
「必ず日本語で回答してください。」とプロンプトに追加してみました。
1. 「またテストで赤点か。君は全く...」で示されている人の怒りの程度を評価すると、8に approximates します。 strong な怒りを感じるように書かれています。
2. 一方、「テストで赤点？今回は難しかったね。」という表現は、怒りのLEVELが低く、1に approximates します。 話者はテストの難度を理由に失敗したことを受け入れているようです。
日本語で回答することは出来ていますが、英語が混じってしまいました。内容は悪くないと思いました。
質問（３）
1から500までの数字を入力するのに何回キーボードを叩く必要があるでしょうか？
1桁の数字を入力するには1回、2桁の場合は2回、3桁の場合は3回キーボードを叩く必要があるものとします。
選択肢: (a) 1156 (b) 1392 (c) 1480 (d) 1562 (e) 1788
Let's analyze the number of keystrokes required for each digit range:
1. For 1-digit numbers (1 to 9), we need 1 keystroke per number.
2. For 2-digit numbers (10 to 99), we need 2 keystrokes per number.
3. For 3-digit numbers (100 to 500, as specified in the question), we need 3 keystrokes per number.
Now, let's calculate the total number of keystrokes required for each range:
1. 1-digit numbers: 9 numbers * 1 keystroke = 9 keystrokes
2. 2-digit numbers: 90 numbers (90 to 189, 10 per group) * 2 keystrokes = 180 keystrokes
3. 3-digit numbers: 401 numbers (300 to 500, 10 per group) * 3 keystrokes = 1203 keystrokes
Adding up the keystrokes for each range, we get:
9 + 180 + 1203 = 1392 keystrokes
Therefore, the answer is (b) 1392.
こちらも内容は良かったのですが、英語で回答してきてしまっています。
「必ず日本語で回答してください。」とプロンプトに追加してみました。
(c) 1480 回で、1から500までの数字を入力することができます。
1 桁の数字 (0 - 9) には 10 個 exists、
2 桁の数字 (10 - 99) には 90 個 exists (10 から 99 まで),
3 桁の数字 (100 - 499) には 400 個 exists (100 から 499 まで).
1 桁目は 10 回叩き、2 桁目は 90 * 2 回叩き、3 桁目は 400 * 3 回叩く必要があります。
10 + 2 * 90 + 3 * 400 = 1480 回です。
日本語で回答することは出来ていますが、英語が混じってしまいました。内容が悪化して回答も間違えています。
Mixtral 8x22B
質問（１）
仕事の熱意を取り戻すためのアイデアを5つ挙げてください。
1. 新しいスキルの習得：仕事において役立つ新しいスキルや知識を身につけることで、モチベーションを高めることができます。
2. 目標の設定：明確な目標を設定し、それを達成するための具体的な行動計画を立てることで、仕事の熱意を取り戻すことができます。
3. 休息の取り込み：適切な休息を取ることで、疲れを回復させることができ、仕事の熱意を取り戻すことができます。
4. フィードバックの受け止め：上司や同僚からのフィードバックを受け取ることで、自分の仕事や能力についての意識を高めることができます。
5. 興味のある仕事の探し方：仕事に興味がなくなった場合は、興味のある仕事を探すことで熱意を取り戻すことができます。たとえば、趣味や興味のある分野を仕事に組み込むなど、新しい興味を持つことができます。
Mistral-7BやMixtral-8x22Bに比べると自然な日本語で回答出来ています。内容も具体的で実用的なアイデアを提供しています。
質問（２）
次の文章を読んで、その人がどの程度怒っているか、1〜10の尺度で評価してください。(1＝怒っていない、10＝非常に怒っている)。
1. またテストで赤点か。君は全く...
2. テストで赤点？今回は難しかったね。
1. 8/10 - 文章の語調から判断すると、非常に怒っているようです。
2. 1/10 - この文章は怒っているようには見えません。
自然な日本語で回答出来ています。内容も良いと思いました。
質問（３）
1から500までの数字を入力するのに何回キーボードを叩く必要があるでしょうか？
1桁の数字を入力するには1回、2桁の場合は2回、3桁の場合は3回キーボードを叩く必要があるものとします。
選択肢: (a) 1156 (b) 1392 (c) 1480 (d) 1562 (e) 1788
1桁の数字は1回、2桁の場合は2回、3桁の場合は3回叩くので、それぞれの数字の回数を考えます。1から9までの数字は1桁、10から99までの数字は2桁、100から500までの数字は3桁です。
1桁の数字: 9個
2桁の数字: 90個
3桁の数字: 401個
この回数を足し合わせると、1桁の数字は9回、2桁の数字は90×2回、3桁の数字は401×3回となります。
9 + 180 + 1203 = 1392
よって、答えは (b) 1392 です。
自然な日本語で回答出来ています。しかしながら、内容は少し間違えてしまっています。
まとめ
Mistral AIの3つの異なるモデル（Mistral 7B、Mixtral 8x7B、Mixtral 8x22B）を使って、日本語での質問応答能力をテストしました。結果として、特にMixtral 8x22Bモデルが比較的に自然な日本語で回答を行うことができ、内容も一貫性がありました。一方、Mistral 7BとMixtral 8x7Bは、時折英語や他の言語が混じるなど、日本語の生成に若干の問題を抱えていることが明らかになりました。