タイ語翻訳とプロの英文添削で気づいたChatGPT翻訳の微妙な困難
ChatGPTの翻訳精度はどうなのかという話は、もうみなさん耳タコな話だと思いますが、ちょっと違う視点で書けるかもと思ったので書いてみます。
事の始まり
うちの会社で運営しているAskaというSaaSですが、実は15ヶ国語に対応しています。なんでそんなに対応しているかはさておき、英語以外の翻訳は完全にChatGPT頼みです。
そのうちの１つがタイ語で、私はまったくタイ語は分かりませんが、文字がそれっぽいと出来た気になります（盛大な気のせい）。
先日とあるタイの会社の副社長にAskaのLPを見てもらう機会があり、
「タイ語もありますよ！（えへん）」
という感じで見てもらったところ、
「タイ語の出来は30点くらいかな。英語版を見ないと何言っているか分からない。」
との返事をもらいました。
（ちなみにコメントは伝言で聞いたので実際のニュアンスは不明です）
なるほど、３０点ですか。
ChatGPT氏と日本語や英語でやりとりしているときは、正直30点という出来をあまり意識したことはないので、最初は「そんなに低いの？」と思いましたが、よく考えるとそうだろうなと思い始めました。
文脈情報のない言葉の列を翻訳するのは無理
これは、たぶんChatGPTが翻訳出来ないというより、情報がないので原理的に無理という話です。
ウェブサイトの多言語化（いわゆるi18n）は、翻訳する部分の語句のリストを作ってそれをいろんな言語に置き換えていくわけですが、実際はその言葉の前後や周りに位置する様々な情報とセットで言葉が意味を成しているので、ブチブチに切れた短い言葉の列だけを読み込ませて翻訳させると、トンチンカンなことになりそうです。
（画面まるごと読み込ませて翻訳させると上手くいくかも…？比較してみた人がいればぜひ教えてください）
タイ語が読めないのでよく分かりませんが、たぶんそうなんじゃないかと思います。
では文脈情報があれば翻訳できるのか
じゃあ十分に長い文章になっていて文脈が汲み取れればChatGPT氏はちゃんとやってくれるのか。
ChatGPTの翻訳は100点ではない、という話はみんな言っていることだと思いますが、具体的にそれはどういう状態かを説明するのは結構難しいです。
文法的に間違っているかを問いかけると、ChatGPT氏は少なくとも英語の場合はかなり"完璧"に添削してくれます。（ちなみに私は英語ネイティブではないですが一応帰国子女なので、良し悪しを判断できるレベルではあります）
でも。
「文法的には正しいけれど、伝えたい表現とちょっと違う」ということが結構起こります。
いわゆる「意訳」と「直訳」の違いなんだと思います。
わずかですが、単語レベルでは直訳気味、文全体では意訳気味な印象があります。
「カジュアル表現」と「フォーマル表現」の違いの場合もあります。
（もちろん元来LLMの衝撃はfew-shot learnerであることなので、人間が"旧時代"に期待していたレベルからすると驚くほど意訳してくれるわけですが）
あと、単語が難し過ぎてネイティブな人にしか伝わらなそうな英文って、共通語としての英語としては、使い勝手が微妙ということもあります。
もちろん全て細かく指示すればよいですが、そこはできる限り何も言わず自然にやってほしいと思うところではないでしょうか。
しかし、そこで思い出したことがあります。
プロの編集者とやりとりしても似た問題にぶち当たる
研究者として学術論文を書くとき、私は英文校正サービスの編集者に原稿を添削してもらっていました。
文法的な間違いがあったときは素直に有難いと思うのですが、たまに思いっきり文章の意味が変わるような添削されてイラっとすることがあります。（この場合は英語→英語なので、日本語→英語とは少し違いますが。）
イラっとすると言っても、これは元の文章を書いた自分が悪いという側面も大いにあるわけなんですが、先のChatGPT翻訳と逆パターンだったり類似パターンだったりになっているのが興味深いです。
つまり、
プロの編集者は（プロとして）「意訳」を心掛け、ときに盛大に文章のロジックを破壊する [→ ChatGPTが直訳寄りで不満になるのの逆]
プロの意訳は、ネイティブな人が読めば実は元々の文章の意味と違っていないが、非ネイティブが読むと全然違って解釈される場合がある [→ ChatGPTが難しすぎる語句を使うのと類似]
プロは添削後の文が絶対良いと勧めてくるが、個人的に表現したい内容とニュアンスが少し違う[→ ChatGPTのフォーマルvsカジュアル問題と同じ]
自分が書いた元の文章が曖昧なので、編集者が頑張って意訳しないとどうにもならない場合がある [→ タイ語翻訳の例に近い]
具体例をChatGPT翻訳で
概念だけだとピンとこないと思うので、例を書いてみます。
こんな文をChatGPTに翻訳してもらいます。
XXXという事例が多く発生しており、多くの人がそれに不安を抱いています。
以下がChatGPT-4oの翻訳です。
There are many instances of XXX occurring, causing many people to feel anxious about it.
お分かりいただけるでしょうか。
「XXXという事例が発生していること」と「人々が不安を抱いていること」の因果関係は、元の文章では明示的に書かれていないのですが、英訳では因果関係が明記されています。
これは元文章が曖昧だということもできますし、ChatGPTが意訳し過ぎているという見方もできます。
また、単語レベルでは「事例」はXXXに入る言葉によって色々な語で翻訳され得るものですが、"instances"というのはなかなか無難というか直訳な翻訳になっていると感じます。
なので、後でXXXに具体的な言葉を入れたりすると文章として不自然になり得ます。
この感じは、最初のタイ語翻訳の例と通じるものがありますね。
実は昔から言われている問題
という感じでChatGPT翻訳と人間の添削の比較をしながら整理してみたのですが、「曖昧な表現は避けましょう」みたいな話は『英作文の書き方』みたいな書籍で昔から言われていることに触れておきます。
昔は、実際に他の人が読んでもらうまで自分が曖昧な書き方をしていることになかなか気づけませんでした。
でも今は、ChatGPTが翻訳してくれたものを読むことで元の文章が曖昧だったことに気づけます。
素晴らしい世の中になりました。
正解があるのかないのか分からない難しさ
この感じだと、ChatGPTが人間の編集者に近づいても、実際のプロの編集者との間で抱えるトラブルと同じことが起きて「やはりChatGPTは出来ない」という不満が出てきそうですね。
「同じ文章でも違う人（やAI）が見ると解釈が違う」んです。
ちょっと宣伝
「同じ文章でも違う人（やAI）が見ると解釈が全然違う（= noisy）」というのは、弊社のAska（SNS形式の自由記述式アンケートシステム）を使うと、はっきりと感じる場面がよくあります。特に人間は行間を読むので、そのままの意味で読む人と、「皮肉を言っている」とか「これは悪い例として書いているはず」と読み解いた人は真逆の反応を示します。あと、単純に文章をよく読まない人もいます。ChatGPTにはない「意識の集中度」みたいな要素も入ってくるので、そういう意味でも人の反応というのは面白いものです。
Askaは人間の意見集約もできますが、代わりにAIエージェントをたくさん用意してシミュレーションすることもできるので、もしご興味あればこちらもぜひ読んでみてください。