日本語で質問すると、AIは日本の文脈で回答する？

お疲れ様です。

私は、日々ChatGPTをはじめとするLLMと対話をしています。

最近、法律や国の制度についてChatGPTなどに質問している中で、「あれ？特に日本であることを明言していないのに、日本のケースについて回答してくれているな」と気づきました。

例えば「児童手当について教えてください。」と聞くと、特に日本の制度について明言していないのにもかかわらず、日本の児童手当の制度について回答してくれます。

これは、私が「日本語」で児童手当について質問したため、LLM側が「この人は日本人で、日本のケースでの児童手当について回答を求めているな」と汲み取って、回答を生成してくれているようです。

試しにClaude 3.5 Sonnetに「児童手当について教えてください」と「Please tell me about the child allowance.」とそれぞれ聞いたところ、日本語で聞いたときは日本の児童手当制度について回答してくれました。

一方、英語で聞いたときは、より一般的な児童手当の制度について説明した後に「児童手当制度の詳細は国によって大きく異なります。特定の国のプログラムについて詳しく知りたい場合は、おっしゃってください。」という回答が返ってきました。

この結果から「日本語で法律の質問する」ということで、「LLM側は日本に関する情報を求めている」と汲み取ってくれていることが分かります。

まとめると、ChatGPTをはじめとするLLMと対話をするときに、「日本語」で日本の制度や法律について質問する場合、暗黙的に質問者が日本人であることを汲み取って、日本の法律や制度について回答してくれる場合があるようです。

LLMがユーザの使用言語に基づいて文脈を推測している点は、心に留めておいた方がいいのかなと思います。

最後まで記事を読んでいただきありがとうございました。