個人的な実験でChatGPTの英語力を試した印象
いまやChatGPTに代表される生成AIの話題を聞かない日はないと言ってもいいくらい、AIの進化と広がりが急速に進んでいます。
私の英訳とChatGPTの英訳を比較してみるという実験
前回の投稿で、Xで＋Mさん@freakscafeという方（名古屋在住のコンサルティング会社経営者）のポストを遊び感覚で英訳し、＋Mさんとコラボするのが私のXの楽しみの一つになっているという話をしましたが、英訳の際に同じ＋MさんのポストをChatGPTに英訳してもらったらどんな英文になるかを時々試して、私の英訳と比較してみるという個人的な実験を楽しんでいます。
例えば、一例として以下の例を見てみましょう。
・＋Mさんの原文
SNSでの論争って本当に無意味だね。互いに煽りあって、消耗して終わる。
異なる意見のある人とは、一対一で顔を突き合わせて議論すると面白いんだけどね。
まずはお茶でも飲んで、体勢を和ませてから徐ろに話題に入っていく。
そうしないと、絶対に生産的な議論にはならないんだよね。
私はこれを次のように英訳しました。
・私の英訳
Having an argument on social media is utter nonsense. The two stir up each other’s emotions and just end up totally exhausted. In fact, someone with different views is the one for you to have a face-to-face debate with.
・私の英訳
Get into a slow conversation in a relaxed mood over tea, and you’ll find yourself led to a productive debate.
さて、ChatGPTはこれをどう訳したかというと、次のような英文を出力しました。
このChatGPTの英文を読んで思うのは、原文に忠実な逐語訳で、英語の間違いやおかしい表現といったものは見当たらず、極めて無難で優等生的な英文を出力していることです。
もう一つ別の例を見てみましょう。
・＋Mさんの原文
ポストをたくさんしてるときって、全然何も考えてない状態のときで、そういうときって昨日とか一昨日くらいにぼんやりと感じたことがどんどん言葉になって出てくる。
言葉は「排泄物」だからね。あまり考えずにからだで出していく。
・＋Mさんの原文
「自分の頭で考える」ってさ、「ちゃんと自分で感じたことを話す」ってことなんじゃないかな。
どっかで拾ってきた言葉を、さして実感も伴わないまま、上手に加工してそれらしいことを話す、ってことをやめることなんじゃないかしらね。
私はこれを次のように英訳しました。
・私の英訳
When I post a lot, some vague thoughts that crossed my mind in the past few days often come out naturally in words. I “excrete” those words without thinking seriously.
・私の英訳
In my view, thinking on your own means expressing what you feel properly—breaking away from a plausible editing and description of others’ words without real feeling.
ChatGPTはこれに対して、次のような英文を出力しました。
このChatGPTの英文も、原文につかず離れずの逐語訳で、無難な英文を出力しているという印象を受けます。
ChatGPTの明らかな誤訳例
ただ、そんなChatGPTでも、明らかな誤訳をしでかす例も見受けられました。
次の例を見てみましょう。
・＋Mさんの原文
出会うべき人と出会い、そこに本質的な応答が交わされるとき、普段の表層の自分とは異なった、場合によっては自分自身にも全く自覚されていなかった「顔」が現われる。
複式夢幻能では、僧侶と出会った怨霊が、自らの怨念を激しく表現することで鎮魂を得る。
「相手がその人であれば、自己表現できる。」
そうした誰かに出会うことで、自分でも自覚できていなかった「顔」が顕になり、魂が鎮まっていく。
・私の英訳
In a Noh scene, a vengeful spirit encounters a Buddhist monk and puts his soul in repose by fiercely expressing his deep-seated grudge. The priest was the RIGHT one for the ghost to express his hatred, with his REAL face revealed and his soul put to rest.
・私の英訳
Encountering your destined one and having the REAL interactions even reveals a face that you were totally unaware of up until that moment—completely different from what you usually are on the surface.
さて、問題のChatGPTが出力した誤訳の英文は次のようなものでした。
ChatGPTは「複式夢幻能」を“complex dreamlike performance”と英訳していて、ここが明らかに間違っている箇所です。ここに出てくる「複式夢幻能」とは、能の一形態を表わす特定の用語ですが、ChatGPTはそれを正しく認識することができず、頓珍漢な誤訳をはじき出しました。
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
私がこれまでにXで＋Mさんのポストの英訳とChatGPTの英訳を試しに比較してみたのはせいぜい10回ぐらいのことで、決して事例数としては多くはありませんが、ChatGPTが明らかに頓珍漢な誤訳を出力したのは、この事例一件だけでした。
私がこれまでChatGPTが出力した英文を見た中で思ったことは、大きな間違いや不自然な表現のない無難で優等生的な英文で、もう英文出力ツールとしてかなり使えるレベルにまで達しているという印象です。
だからと言って、人間によるチェックが全く不必要だというわけではなく、どんなに精度が上がろうと、どこかで間違った英語をはじき出す可能性は常に消えることはなく、そういう観点から考えて、ChatGPTの出力英文が「永遠の仮免許」であることに変わりはないと思います。
今後もChatGPTの出力英文レベルの観察を続けていきたいと思います。
画像：pixabay