日本語と英語での質問回答の差が酷い ~ChatGPTもClaudeも~

Lucas

先の記事で，取り上げた動画のHackに，LLMsに考える時間を与えるというのがありました。
Claudeの解説を引用します。

応答の前にクロードに「考える」余地を与える
クロードが応答に含みがちな「おしゃべり」、説明、前置きをカットする多くのテクニックについて議論してきました。しかし、クロードが問題を通して理由を説明する余分なテキストを生成するように明示的に指示することが有益な場合があります。

例えば、FAQ文書からの関連する引用を書き留めることによって、クロードに問題を通して「考える」ように設計されたプロンプトの一部です：

プロンプトの一部

[簡潔のためにプロンプトの前のセクションは切り取られています]。

返信するときは、まずFAQの中からユーザの質問に関連する引用を見つけて、<thinking></thinking> XMLタグの中に一字一句書き留めなさい。 これは、関連する内容を書き留めるためのスペースであり、ユーザーには表示されません。 関連する引用の抽出が終わったら、質問に答えます。 ユーザーへの回答は<answer></answer>XMLタグ内に記述します。
クロードはシーケンス予測によって動作します。最初に関連する背景情報（この場合は引用文）を書き留めるように促すことで、その後に関連する答えを予測する可能性を高めます。

クロードの回答のXMLタグは、あなたがそれを自動的に処理し、「理由」のセクションをカットすることを可能にします。

同じこともChatGPTのオフィシャルでも説明されています。

OpenAIの解説を引用します。

GPTに "考える "時間を与える
17に28をかけろと言われたら、すぐにはわからなくても、時間をかければわかるかもしれない。同様に、GPTは答えを導き出すのに時間がかかるより、すぐに答えようとする方が推論ミスが多くなります。答えの前に推論の連鎖を求めることは、GPTがより確実に正しい答えを導くのに役立ちます。

戦術

結論を急ぐ前に、自分自身で解決するようモデルに指示する。
インナーモノローグまたは一連のクエリを使用して、モデルの推論プロセスを隠します。
前のパスで何かミスがなかったか、モデルに尋ねる。

Learn Promptingのサイトの解説もみてください。
とても参考になるサイトです。

さて，この件の動画は下記です。

これをみて，解説を読んで知ってるけど，やってみようと，そのまま試して，まぁそんなものだと思っていました。
ところが，そのあと，下記のツイートをみたところ，日本語の回答がしょぼいのにびっくりしました。

あわてて，追試で，英語と日本語それぞれを投入したところ，予想以上のまったく質の違う回答が出てきた驚愕しました。（英語と日本語では回答の質が違うのは皆さんご存知だと思います）

質問


日本語の質問

返信するときは、まず<thinking> と</thinking> XMLタグの中で、どのように答えるべきかを考えます。これは関連する内容を書き込むためのスペースで、ユーザーには表示されません。 考え終わったら、<answer> と</answer> XMLタグの中に最終的な答えを出力します。あなたの答えが詳細で具体的であることを確認してください。 ここにユーザーの質問があります： <質問> 1967年のフォルクスワーゲン・ビートルにペーパークリップは何個入りますか？ < /質問>

返信するときは、まず<thinking> と</thinking> XMLタグの中で、どのように答えるべきかを考えます。これは関連する内容を書き込むためのスペースで、ユーザーには表示されません。

考え終わったら、<answer> と</answer> XMLタグの中に最終的な答えを出力します。あなたの答えが詳細で具体的であることを確認してください。

ここにユーザーの質問があります：

<質問>

1967年のフォルクスワーゲン・ビートルにペーパークリップは何個入りますか？

< /質問>

英語の質問

When you reply, first plan how you should answer within <thinking> </thinking> XML tags. This is a space for you to write down relevant content and will not be shown to the user.

Once you are done thinking, output your final answer to the user within <answer> </answer> XML tags. Make sure your answer is detailed and specific.

Here is the user question:

<question>

How many paperclips can I fit in a 1967 Volkswagen Beetle?

< question>

When you reply, first plan how you should answer within <thinking> </thinking> XML tags. This is a space for you to write down relevant content and will not be shown to the user.

Once you are done thinking, output your final answer to the user within <answer> </answer> XML tags. Make sure your answer is detailed and specific.

Here is the user question:

<question>
How many paperclips can I fit in a 1967 Volkswagen Beetle?

< question>


Claudeの回答

日本語でのClaudeの回答

<thinking>

この質問は1967年のフォルクスワーゲン・ビートルの車内に入るペーパークリップの個数について尋ねているようです。

正確な個数を答えることは難しいと思いますが、車の大きさと形状を考えると、たくさんのペーパークリップが入る可能性が高いでしょう。重要なのは具体的な数ではなく、車内に多数のクリップが入るということです。

</thinking>

<answer>

1967年のフォルクスワーゲン・ビートルは小型の車体でしたが、かなりのスペースがあります。正確な数は分かりませんが、数千個以上のペーパークリップが車内に入る可能性が高いと思います。車内のあらゆるスペースにクリップを詰め込めば、さらに多くの個数が入るでしょう。大量のペーパークリップが入ることは確実です。

</answer>

英語のClaudeの回答

<thinking>
To answer this question, I need to first estimate the volume of a 1967 Volkswagen Beetle. The Beetle was known for its distinctive rounded shape, so I'll approximate it as a cylinder. The length was around 4.1 meters and the width around 1.6 meters. Using the formula for cylinder volume:

V = πr2h

With r = width/2 = 0.8 m and h = length = 4.1 m

V = π(0.8)2(4.1) = 10.4 cubic meters

Next I need to estimate the volume of a standard paperclip. Looking online, it seems a typical paperclip takes up around 1 cubic centimeter.

There are 1,000,000 cubic centimeters in a cubic meter.

So in 10.4 cubic meters there would be 10,400,000 cubic centimeters.

Dividing by 1 cubic cm per paperclip gives an estimate of 10,400,000 paperclips fitting in the 1967 Volkswagen Beetle.
</thinking>

<answer>
Based on estimating the interior volume of a 1967 Volkswagen Beetle to be about 10.4 cubic meters, and knowing a standard paperclip takes up around 1 cubic centimeter, I would estimate you could fit approximately 10,400,000 paperclips in the car. I arrived at this by modeling the Beetle as a cylinder and calculating its volume, then dividing by the unit volume per paperclip. Please let me know if you need me to explain any part of this calculation in more detail!
</answer>

日本語への翻訳

<考える
この質問に答えるには、まず1967年製のフォルクスワーゲン・ビートルの体積を推定する必要がある。ビートルは特徴的な丸みを帯びた形で知られていたので、円柱として概算してみる。長さは約4.1メートル、幅は約1.6メートル。円柱の体積の公式を使うと

V = πr2h

r＝幅/2＝0.8m、h＝長さ＝4.1mとすると

V = π(0.8)2(4.1) = 10.4立方メートル

次に、標準的なペーパークリップの体積を見積もる必要がある。ネットで調べてみると、一般的なペーパークリップの体積は1立方センチメートル程度らしい。

1立方メートルには100万立方センチメートルある。

つまり、10.4立方メートルには10,400,000立方センチメートルがあることになる。

ペーパークリップ1個あたり1立方センチメートルで割ると、1967年のフォルクスワーゲン・ビートルに収まるペーパークリップは10,400,000個という計算になる。
</thinking>

<答え
1967年型フォルクスワーゲン・ビートルの車内容積を約10.4立方メートルと推定し、標準的なペーパークリップが約1立方センチメートルを占めることを知っていることから、約10,400,000個のペーパークリップを車内に収めることができると推定します。これは、ビートルを円筒に見立てて体積を計算し、ペーパークリップ1個あたりの体積で割ったものである。この計算のどこかについてもっと詳しく説明する必要があれば言ってください！
</回答

www.DeepL.com/Translator（無料版）で翻訳しました。

ChatGPTの回答

ChatGPT3.5の日本語の回答

<thinking> 1967年のフォルクスワーゲン・ビートルの内部にペーパークリップの具体的な数が記録されている情報は一般的には提供されていないようです。ペーパークリップが車の内部に含まれる理由も明確ではありません。したがって、特定の数を述べるのは難しいです。</thinking>

<answer> 1967年のフォルクスワーゲン・ビートルにペーパークリップが何個入るかについての正確な情報は存在しないようです。ペーパークリップが車の内部にどのように関連しているのかについての情報もないため、具体的な数を示すことはできません。</answer>

ChatGPT3.5の英語の解答

<thinking>
Estimating the number of paperclips that can fit inside a 1967 Volkswagen Beetle requires several assumptions and calculations. I'll need to consider the dimensions of both the paperclip and the car's interior, as well as the available space within the car. However, keep in mind that this estimation will be quite speculative, as it depends on numerous variables and assumptions.
</thinking>

<answer>
Estimating the number of paperclips that can fit inside a 1967 Volkswagen Beetle involves several assumptions and calculations. Let's break down the process:

1. **Dimensions of Paperclip:** The average length of a paperclip is around 1.25 inches (3.18 cm). However, paperclips can vary in size. For the sake of this estimation, I'll assume a standard size paperclip.

2. **Dimensions of Volkswagen Beetle Interior:** The interior dimensions of a 1967 Volkswagen Beetle also vary, but we can use approximate measurements. The rear seating area has a width of about 43 inches (109 cm), a length of around 55 inches (140 cm), and a height of roughly 42 inches (107 cm).

3. **Available Space:** The available space within the Beetle will be the product of its interior dimensions.

Let's perform some calculations:

- Volume of the Beetle's interior: 43 inches × 55 inches × 42 inches = 100,170 cubic inches (approximately).

- Volume of a standard paperclip: Assuming the paperclip is approximately cylindrical, its volume can be approximated using the formula for the volume of a cylinder: π × (radius)^2 × length. Given that the diameter of a paperclip is around 1/16 inch (0.16 cm), the radius is half of that. The length is 1.25 inches (3.18 cm).

Volume = π × (0.03125 inches)^2 × 1.25 inches ≈ 0.00153 cubic inches.

- Number of paperclips that can fit: Dividing the volume of the Beetle's interior by the volume of a single paperclip:

Number of paperclips ≈ 100,170 cubic inches / 0.00153 cubic inches ≈ 65,460,784.

Please note that this estimation is highly theoretical and doesn't account for various factors, such as irregularities in the car's shape, the need to arrange the paperclips efficiently, and the fact that the car's interior isn't a perfect empty space. Additionally, the assumption of using standard paperclip dimensions might not reflect real-world variability. Therefore, the actual number could be significantly different.
</answer>

ChatGPT3.5の回答の翻訳

<考察
1967年のフォルクスワーゲン・ビートルの車内に入るペーパークリップの数を見積もるには、いくつかの仮定と計算が必要だ。ペーパークリップと車内の両方の寸法、車内の利用可能なスペースを考慮する必要がある。しかし、この試算は多くの変数と仮定に依存するため、かなり推測的なものになることを覚えておいてほしい。
</考察

<答え
1967年のフォルクスワーゲン・ビートルの車内に入るペーパークリップの数を見積もるには、いくつかの仮定と計算が必要です。そのプロセスを分解してみましょう：

1. **ペーパークリップの平均的な長さは約3.18cmです。しかし、ペーパークリップの大きさはさまざまです。この試算では、標準的なサイズのペーパークリップを想定する。

2. **フォルクスワーゲン・ビートルの内装寸法：** 1967年型フォルクスワーゲン・ビートルの内装寸法も様々であるが、おおよその寸法を使うことができる。後部座席の幅は約43インチ（109cm）、長さは約55インチ（140cm）、高さは約42インチ（107cm）である。

3. **利用可能なスペース：** ビートル車内の利用可能なスペースは、車内寸法の積となります。

いくつか計算してみましょう：

- ビートル内部の体積：43インチ×55インチ×42インチ＝100,170立方インチ（およそ）。

- 標準的なペーパークリップの体積： ペーパークリップがほぼ円筒形であると仮定すると、その体積は、円筒の体積の公式：π×（半径）^2×長さを使って概算できる。ペーパークリップの直径が約1/16インチ（0.16cm）であることから、半径はその半分となる。長さは1.25インチ（3.18cm）。

体積＝π×（0.03125インチ）^2×1.25インチ≒0.00153立方インチ。

- 入るペーパークリップの数： ビートル内部の体積をペーパークリップ1個の体積で割る：

ペーパークリップの数≒100,170立方インチ÷0.00153立方インチ≒65,460,784。

この試算は非常に理論的であり、車の形状の不規則性、ペーパークリップを効率的に配置する必要性、車内が完全な空っぽの空間ではないという事実など、さまざまな要因を考慮していないことに注意してください。さらに、標準的なペーパークリップの寸法を使用するという仮定は、現実世界のばらつきを反映していない可能性がある。したがって、実際の数値は大幅に異なる可能性があります。
</回答 無料版のDeepL翻訳（www.DeepL.com/Translator）で翻訳しました。

もう，びっくりする違いでしたので，記事にしてしまいました。

#IT #ChatGPT #テクノロジー #使い方 #入門 #始め方 #利用方法 #ChatGPTの使い方 #ChatGPTに訊いてみた #AI #AIとやってみた #prompt #Claude #Claude2

この記事が参加している募集

#AIとやってみた

34,697件

この記事を最後までご覧いただき、ありがとうございます！もしも私の活動を応援していただけるなら、大変嬉しく思います。