ChatGPT4を飼い慣らす 43 「次のトークンを予想するLLM」という考え方は、ジャズのアドリブにとても似ていると、昨日突然思い当たったのだった
今、新潟ジャズフェスティバルに来ていて、連日ジャズを演奏している。ちんみに私はトランペッターだ。そして演奏しているのはキャノンボール・アダレイのバンドの曲ばかりをやっている。
ところで、ジャズとLLM（大規模言語モデル）って似てるなと思った。LLMTとは次のトークンを予想するというシステムだ。ChatGPTにそこを説明してもらうと。
LLM（Large Language Model）は、大量のテキストデータから学習するAIモデルで、人間の言語を理解し生成する能力を持ちます。モデルはテキストの連続性を学習し、特定の文脈から次のトークン（単語や文字の一部）を予測することで、文章の生成、質問応答、翻訳、要約などの言語タスクを達成します。GPT-3やGPT-4はその代表例です。
とのことだ。
これって昨日ライブでラッパを吹いていて突然思ったが、ジャズのアドリブに大変よく似ている。逆に言えばジャズのアドリブは、非常に言語性が高いということだろうか。どちらもしりとりのように、今のフレーズを受けて、次のフレーズが生成される。あるいは記憶から召喚される（→これはアドリブとしてはだめなパターンだが）
どうだろうChatGPT？ 「LLMとジャズのアドリブ演奏の類似性について述べよ」
「LLMとジャズのアドリブ演奏の類似性について述べよ」
ChatGPT
LLM（大規模言語モデル）とジャズのアドリブ演奏は、予測と生成のプロセスにおいて類似性を持っています。
ジャズのアドリブ演奏では、演奏者は既存のメロディー、リズム、ハーモニーに基づいて新しい音楽フレーズを生成します。これは即興性と創造性を必要とし、過去の音楽知識と現在の音楽的文脈から次に何を演奏するかを予測します。
一方、LLMもまた、大量のテキストデータから学習し、特定の文脈から次のトークン（単語や文字の一部）を予測します。これにより、新しい文章を生成することが可能となります。
両者とも、既存のパターンを基に新たな出力を生成し、それが適切な文脈に沿っているかどうかを評価する能力を持っています。しかし、重要な違いとして、ジャズの演奏者は直感と感情を用いて創造的な意思決定をしますが、LLMは統計的な確率に基づく予測を行う点です。
ちょっと腹が立つぐらい優等生なお答え。
やはり人間には進化するための「はみだしていく」力が重要だ。
「千万人と雖も我往かん」が重要。
な。ChatGPT
「千万人と雖も我往かん」は、日本の維新の志士である坂本龍馬が、自身の信念を貫き通す決意を表した言葉です。直訳すると「たとえ千万の人々が反対であろうとも、私は前に進む」となります。これは、どんな困難や反対があろうとも、自身の信念を守り、目指すべき方向に進むという強い意志を示しています。
うるせーよ
おっと、うかつに信じるところだった。さすが息を吐くように嘘をつくChatGPT。
正解は孟子だったわ。こら。