棚の本：教養としての生成AI
清水亮(shi3z)さんによる生成ＡＩの本です。shi3zさんのnoteはこちら。
くまとら便り
一番はじめに、「ChatGPTの頭の中」※という本を読みました。
言葉遣いが新奇で刺激的で、他の読者の方と多分違う意味で、ぐっときてしまいました。
原理としては、各段降で目的の関数から「現時点でどのくらい遠いか」を図っていき、目標に近づくように重みを更新していくのである。（５１頁）
このような場合に最小値を求めるときには、数値解析によってさまざまな手法が用意されているが、よく使われる手法がひとつある。前の関数w１とw2から、最大の勾配で降下する道を少しずつたどっていく方法だ。 山から水が流れ落ちるのと同じように、この手法では、局所的に最も低い面（「山間の湖」のようなところ)に至るということしか保証されない。全体的に見て最小の地点に達しないこともある。（５３頁）
直観には反するものの、ニューラルネットでは単純な問題より複雑な問題のほうが容易に解けるということだ。その理由を大ざっぱに言うと、「重み変数」が大量にあると、高次元の空間に「多方面の道」ができ、それが最小値へとつながることがある。それに対して、変数が少なくなると、簡単に局所最小値、つまり「山間の湖」にはまりこんでしまい、そこから「抜け出す道」がなくなるのである。（５４頁）
稲葉 通将 (監訳),高橋 聡 (訳)
『ChatGPTの頭の中』(2023)早川書房
ー距離を測り、重みを変え、そこへ近づく。
山から水が流れるように。
高い場所から答えを求め、数多の重み用いるとき、いくつかの下り道ができ、海までたどり着くものがある。
だが、重み少なきとき、山間の湖にはまり込み、永遠に抜け出せない。
ヨーダか、ガンダルフの台詞のように、響きます。
棚主は、（フォースの）理解をさらに深めるため、次にもう少し分かりやすい本を読むことにしました。
それが、本書「教養としての生成ＡＩ」です。
ウィキペディアによると、著者の清水亮さんは、６歳からプログラミングを始められ、元マイクロソフト、ギリア株式会社を設立した方です。
旧twitterのプロフィールではUberEats配達員となっていますが、ただの配達員ではありません。
本書は、ChatGPT-４を利用しながら書かれたものですが、大規模言語モデルの仕組み、具体的なプロンプトから、ＡＩの歴史、ＡＩネイティブ時代の生き抜き方まで、幅広く解説されています。
特に、ディープラーニングの仕組みについては、表面的な解説にとどまらず、『ChatGPTの頭の中』のようなエッジの効いた本では理解が難しかった部分を埋めてくれる内容になっています。
重み（ウェイト）は、パラメータ（変数）で、神経細胞をコンピュータで模したニューロン同士のつながりの強弱の情報を集めたものであること、言葉のデータをベクトル（数字の並び）化すると言葉同士の距離（差異、違い）が測れるようになり、距離が測れるものはAIが学習可能であるなどと、比較的分かりやすく説明してもらえるので、理解しやすいです。
本書で使用されているプロンプトにも、目新しいものがありました。
物語やシナリオの執筆に使えるプロンプトも紹介されているので、使ってみると新しい切り口が増えて、面白いかもしれません。
棚主は、ChatGTPが出力した回答に「英語で」と返すと翻訳されたり、英語の文章を張り付けて「日本語で要約して」とお願いするといった例を見て、ざっくり簡単な指令でもいいんだと、思ったりしました。
「教養としての生成ＡＩ」は、抽象的・理論的な事象から、具体的・実践的な事柄までが網羅されていて、棚主がたどり着いた正解の一冊でした。
ー大規模言語モデルは、錯覚。
人間同士のコミュニケーションは、どうなんだろう？
※「ChatGTPの頭の中」は、（情報の）仮想空間の物理みたいな話をしているのかな、という印象の本でした（AIにも物理にも縁がない棚主の感想ですが、著者は理論物理学者だそう。）。
全く縁がないものを読んだせいか、言葉遣いの「体感温度」が高めでした。
ちなみに、ChatGTPには、ランクの低い単語を使う頻度を決める「温度」というパラメーターがあり、「温度」が高いとクリエイティブで多様な文章になり、低いと予測可能な文章になるそうです。
『ChatGPTの頭の中』スティーヴン・ウルフラム
— 早川書房公式 (@Hayakawashobo) July 19, 2023
ChatGPTの知られざる仕組みと基礎技術を、質問応答システムの開発に携わる理論物理学者が解説。今も進化し続ける生成AIの可能性と限界、そしてChatGPTが解き明かしつつある人間の「言語の法則」とは？ OpenAI CEO サム・アルトマン絶賛！ #ハヤカワ新書 pic.twitter.com/BmxVqqmLw1