ChatGPTなどの今後の進歩と限界を技術的概念はなるべく使わずに普通の人にわかりやすく説明してみる

(一部有償としてみました。だいたい無償で読めて、最後のおまけ的なところだけ有償です。なので、途中までしか読めない、という感じはしないと思います。)

このノートの目的

ChatGPTなどの、会話AIの話題があふれていますね。こんなこともできるよ、という報告には事欠かないし、こんな変な答えもある、という報告も多いです。

中にはそして、今後も進歩して、やがて人間と変わらない仕事が出来る、という人もいれば、まだまだ当分は人間のようにはならないという人もいます。

いったいどっちなんでしょう？

技術解説もありますが、一般人にはよくわからない。と思いませんか？

というわけで、人工知能の予備知識がない人にも、高度な技術的な説明はしないで、しかし原理をわかりやすく説明して、ChatGPTなどの会話AIの仕組みと限界を説明しようと思います。

僕の説明では、人工知能の専門家が使うような細かい仕組みの説明はなるべく避けて、だれでもわかることを目指します。これまでの説明が分かりにくかった人が、あ〜これならわかると思ってもらえれば幸いです。

この説明を読んで、
あ～こいういう仕組みだったのか。
こういうことはできるけど、これは苦手なのはそういうわけね。
という疑問が多少でも解消するとよいなと思います。
また、
自分が見ている文章はもしかしてChatGPTが作ったものではないか？学生がChatGPTを使ってレポートを書いてないか？
そんな時の判断にも役立つかもしれません。

まず、みなさんが現時点で持っている感想として、

ChatGPTは質問によっては100点満点の答えを出すのに、質問によっては、ひどく間違った回答をするのはなぜか？

こういう素朴な疑問があると思います。これにまず答えましょう。

まず、「今のところ」うまく答えられない質問があります。

たとえば今は日本語がやや不得意ですが、これは日本語の需要が少ないから後回しになってるだけで、すぐに改良されると思います。

また、2021までのインターネット上の文章を学習しているので、それ以後の情報はまったく出てこない。しかし、BINGの会話機能ならインターネットの検索が可能だからその問題はないし、本質的な問題ではありません。

でも、今後もしばらくは苦手だろうと思われる、現在の方式の会話AIが、生まれつき苦手なこと、というのがあるのです。

これをわかりやすく説明したい。

まず動作の仕組みをわかりやすく説明したいと思います。そこでいろいろ細かいことはありますが、2つだけ基本的な仕組みを説明しようと思います。

これは名前がついているからその名前を使います。難しく感じるかもしれませんが、丁寧に説明するので理解できると思います。

1 大規模言語モデル
2 Transfomer

この二つです

動作の説明

1 大規模言語モデル

これは、言語を学習してその言語に沿ったテキストを作る仕組みです。

どんな文字列が、その言語として正しいか。これを分析して回答するのです。

実は、ChatGPTの回答は、事実として正しいか否かはまったく保証されていません。が、一見すごくよい答えに見えるのは、文章として完全に正しく見えるからだと思います。それが大規模言語モデルの威力です。

いったいどういうことか？

まず、ChatGPTは昔の未完成の人工知能のようなおかしな日本語はまったく出力しない。これまで、素晴らしく見事な言葉を発するのは、アルゴリズムが優れていて、ある程度知能があるように感じられますが、そうではないのです。大規模言語モデルは、あくまで「言語として正しい分を出す」というだけなのです。

たとえばよく、足し算の問題は間違えたとかいうことが報告されている。この問題は解決しようと思えば可能なので、もしかするとそれはすでに解決しているか、やがて改良されるかもしれませんが、とりあえず、まちがった答えをしたとしてもその理由は言語的には正しいから、と説明できます

123たす25は148です。

という文と

123たす25は1257です。

という文は、日本語としてはどちらも問題がないということがわかりますか？

こうした、文の意味が合っているかということは、言語モデルだけでは解けないわけです。

でも、言語モデルも大きくなると、かなり効果を発揮します。

たとえば、警察官も客室乗務員も裁判官も人であることは、言語モデルに組み込まれます。大量の文章から言語を学ぶ過程で、これらは人物をあらわすのだ、ということが統計的にわかってくるからです。

また、帽子や、コートが身につけるもので、赤や黒が色であることも、言語の一部として学習できるのです。

すると、

「黒いコートの警察官」や、「赤い帽子の客室乗務員」は、自然な文章だが、「黒い警察官の客室乗務員」や、「赤い黒い帽子」は自然な文章ではなくなるわけです。こういう統計にしたがって文章を生成するのは、単に、

「文章としてほとんど起こりえない文章を作らない」

ようにしているだけなのですが、それだけでもかなり文章として意味を正しく理解しているようになってくるのです。

大規模言語モデルでは、本当に多くの文章を学習につかうので、われわれ人間が言語として知っているより、さらに細かい特徴までも言語として学習してしまう。

たとえば、英語の文章であれば、ChatGPTは客室乗務員はShe(女性)として、大学教授はHeで表します。もちろん他にてがかりがあれば、たとえば

妊娠3ヶ月の大学教授

ならSheとなるなど変わりますが、これはべつに男女を理解しているわけではなく、学習した文例のなかの出現頻度によってのみそういうことがおきているわけです。

これまでの説明をまとめると、ChatGPTは大規模言語モデルにより、恐ろしく大量の文例からもっとも「ありそうな」言葉を生成しますが、それは単に多くの文例から統計的に最も「ありそうな」文字や単語の並び方を選んでいるだけなんです。ですから、事実と異なる回答や計算がまちがっていても何も不思議はない、というわけです。

これで大規模言語モデルの効果は理解できましたか？

2 Transfomer

次がTransomerです。これも聞いたことはあるかもしれません。
Transformerを超簡単に説明していきましょう。

言い換えを自動で行う仕組みです。

よくある図は理解が難しいから言葉でなんとか説明しましょう。

おじいさんは山に芝刈りにいきました
おばあさんは川に洗濯にいきました

この2つの文章のおなじ部分一致を対応っけることができますよね。すると、

いきました

を

行くことにしました

とすることで2つとも文章を変えたりできるわけです。

このように2つの文章を関連付けるのは一方から他方に書き換える方法を示すことでもあります。

この書き換えの規則を使うと翻訳もできるわけです。

これは赤いペンです

が

This is red pen.

にどう変換できるか。この変換規則がわかっていれば、

ペン→バナナ
pen →banan
赤→黄色
red→yellow
となったら、英語は

This is yellow banana

とすることができることはわかりますか？

すごく限られていますが、pen, banana, is , red, yellow という英単語と ペン、バナナ、です、赤い、黄色いという日本語単語でだけならこのパターンで翻訳ができるようになりました。

そしてこんなふうな単純な変換なら、べつにプログラムをつくらなくても、また英語や日本語の文法をしらなくても、文例をたくさん与えることで、翻訳の規則をだいたい類推できる、ということがわかりますか？

transfomerというのは、まさにこのような変換の規則を、多くの文例から学習する仕組みなわけです。

なので、プログラムとしては意外に単純。与えられた年と月のカレンダーを表示するプログラムよりよほど簡単かもしれません。非常にうまく翻訳ができるのは、大量に文章例を与えて多くの変換ルールを覚えたからなんです。

このような変換のパターンを覚えればある種の問題には答えられます。

たとえば英語と日本語の変換ルールを覚えさせれば翻訳ができるようになる。

そして、

問 : 黄色いバナナがあります。バナナの色はなんですか？
答: 黄色です。

これも変換である、ということがわかるでしょうか。変換というのは、元の文字列をパターンにあてはめ、それにあてはまる出力のパターンを見つければ、後は文字列をパターン通りに書き写すだけで答えが出るということです。

問 : 黄色いバナナがあります。バナナの色はなんですか？
答: 黄色です。

というパターンを学習すれば

問 : 赤いリンゴがあります。りんごの色はなんですか？
答: 赤色です。

は同じパターンで答えられるというわけです。

質問から回答をつくる規則を覚えれば、なにも考えなくも同じような質問に同じように答えることで、質問に回答することができてしまう。

といっても、これまでコンピューターが行う翻訳や質問回答システムにはいろんな間違いや、問題が多かった。もちろんその改良にはいろいろ細かい工夫をして、だんだんと良いものにしていったわけですが、しかし、最近の進歩では、これまでになく大量の文例を与えた、というところがもっとも寄与していると言われています。また、文例を増やしてもこれまではそんなに良くならなかったのが、あるところから急に激しく進歩した。

学習する文章をここまで増やすだけで、劇的に良くなったという点は、やや予想外だった、と専門家の間では感想が持たれています。

これからの進歩と限界

現状を理解してもらえると、現在うまく答えられない質問でも今後は進歩して可能になるものは何か？今後も苦手な分野として残ることはなにか？

これも自分で考えて予測できるでしょう。

でも、具体的な例もいくつかあげたいと思います。

そして、僕は人工知能に取って代わられる仕事はそんなに多くない(せいぜい5%程度)と予想していますが、それはどんな職種か？そんなことも皆さんは考えられるようになったと思いますが、ここから先の有料エリアでは、僕もそれについても書いてみたいと思います。