AI or Human? 質問への回答から区別できるか？
AIの進歩につれて、AIと人間の会話の境界が曖昧になってきています。対話相手がAIなのか人間なのかを判別することは難しくなりつつあり、これはユーザーだけでなく、システム運営者にとっても重要な課題となっています。例えば、Botによる不正なシステムへのログインを防ぐため、明確な区別が求められます。
会話の相手が人間かAIか？どれほど区別できる？
それでは、わたしたちは対話会話が人間なのかAIなのかをどれくらい区別できるのでしょうか？「Human or not?」というサイトが、この問いに挑戦しています。このサイトでは、「ソーシャルチューリングゲーム」と題した実験を実施し、ユーザーは2分間の会話を通じて対話相手が人間かAIかを判断します。
私自身もこのサイトで3回試してみましたが、結果は1勝2敗でした。人間相手の会話は、相手を用意するのが大変なため、大半がAIだろうという先入観が敗因かもしれません。このようなゲームが成立すること自体が、ChatGPTのような言語学習モデルの驚くべき進歩を示しています。
人間による返答かAIによる返答かひとつの質問で見極める
AIの進歩により、相手が人間なのかそうでないかを、人間が判断することは今後、より難しくなってくるかもしれません。そこで、AIがこの判断を行う研究が進められています。たとえば、「Bot or Human? Detecting ChatGPT Imposters with A Single Question」という研究は、１つの質問で人間とAIを区別するフレームワーク、「FLAIR」を提案しています。
たとえば、ASCIIアートで何が書かれているかと尋ねる質問がそのひとつです。このような高度な抽象性を持つ問題に対する答えは、人間には得意である一方、AIには苦手なためです。
CAPTCHA：人間が得意だけれど機械は苦手な質問
この方法は、CAPTCHA（Completely Automated Public Turing test to tell Computers and Humans Apart）というシステムで採用されている方法でもあります。CAPTCHAは、ウェブサイトを自動的なボットから保護するためのシステムとして広く使用されています。しかし、AIの技術進歩により、これらの問題もAIが解くことが可能になってきています。その結果、AIの進化に対応した新しい解決策が求められています。
人間の能力に近づき、やがては超えていくAI
FLAIRの論文で紹介されていた「人間は得意だけれど、ボットは苦手」と分類されていた質問の中には、既に最新のAIモデルであるGPT-4で答えられたものがありました。これは、AIの成熟度が人間の能力にどんどん近づいているひとつの証拠です。
現時点では、AIはまだ質問に答えるという分野で、人間を超越するには至っていません。CAPTCHAやFLAIRの研究なども、「人間には解けるが、機械には難しい」という問題が前提に進められています。
しかし、AIの技術が急速に進歩する中で、AIが人間と同じ問題を解けるようになるだけでなく、人間には理解や解答が難しい問題にも対応できるようになる日が来るかもしれません。つまり、AIは人間が提出する質問を完全に理解し、解答する一方で、逆に人間がAIの問いに対応できない状況が生まれるかもしれません。この観点から、論文の中でも、AIと人間を区別するもうひとつの方法として、「人間には解けないけれど、AIは解ける質問」についても取り上げられています。
近い未来、この「AIは解けるが人間は解けない質問」を用いた方法が、人間とAIを区別する主要な手段になっていくのかもしれません。
それでは、また。ciao.