見出し画像

＜実験＞IPPONグランプリ決勝戦のお題にAIで面白回答できるか（中編）Claude3緊急参戦！

メイ博士のAIエンタメラボ

「前編」では・・・

ChatGPT（4 Turbo）に詳細なプロンプトを設定して
大喜利の回答を生成しましたがどれもイマイチでした

＜たどり着いた解決策＞
① 心の理論に関係がありそうな部分は処理をGPTに丸投げしない
② 冒頭で「面白さの定義」を行いそれを適宜、関数的に呼び出す
③ うまくいかない場合、プロンプト戦略自体を見直す
④ それでも精度が出ない場合は、諦めて最終選考は人間のセンスでチョイスする

今回は
「解決策にそってプロンプト改善！」
と行きたいところですが
その前に…

1ヶ月で新世代LLMがガンガン登場したので
「中編」はClaude3（クロード）の緊急参戦です

本当、流れがあまりに早くて追いつくのがやっとなんです！ 😅

「Claude3 Opus」選手です!!

画家のモネの名前と同じつづり「クロード」と読みます

＜特徴＞

  • コンテキストウインドウが20万、長文の読み取り脱落率が1%以下

  • 文脈の理解度がGPT4に迫り、一部GPT4を超えている

  • 初めてGPTに匹敵する他社製品が出てきたと界隈がザワついている

実際にpsymenが、過去GPT4で諦めていたいくつかのビジネス寄りの難易度の高い課題を解かせてみたところ、見事にタスクを完了しました
コンテキストウインドウの大きさと正確さというのはかなりのインパクトをもたらすようです

↓ Claude3についての詳しい説明は面倒なのでこちら専門のインフルエンサーさんのガチ記事からどうぞ！

ということで！

第二回開催です！「イープゥゥン！」

＜ルール＞
1️⃣前編の記事内容をそのまま上から下までまるごとコピー
2️⃣ コンテキストウインドウにプロンプトとして雑にペースト
3️⃣ おもむろにお題を出す

決して手抜きではありません マルチモーダルICL時代到来の検証の意味も兼ねています！

▼ 回答生成 ▼
行ってみましょう！

📌Claude3 使用感メモ
コンテンツ・クリエイティブな方向に使おうとすると

● 返答にいちいちポリコレ配慮条項を追加してくる
● すぐ「著作権」がどうのこうのと言い出す

という、実にまじめなClaudeらしい挙動がいくつか見られました
とはいえこのあたりはGPTのNerf化でこちらも済みなので、ひるまずに押し込むと、ほぼ望む方向に挙動させることができました

▼ 出てきた回答はこちら

「Claude3の解説：身体の謎の現象を誇る台詞に対し、下品だがユーモアのある意外な展開を持たせています。過剰な気功を使いすぎて放屁してしまった、といったギャグが潜んでいます」

文脈性高すぎで伝わって来ない！

考えすぎた結果アウトプットの技術が追い付いていないという、人間においても若い作家がやってしまいがちなのと同じ現象が起きています

続けて何発か行ってみましょう

「Claude3の解説：この回答が最も優れている理由: 1vs1の戦闘という状況設定に沿っており、「フッフッフ」という定番の笑い方から入ることで文脈にマッチしている 「私が本物だと思っていたのか？」という問いかけで、相手の認識を覆すどんでん返しを期待させる 「全ては幻術だ」というオチで、これまでの戦いが幻術によるトリックだったことが明かされ、相手の絶望が想像できる 現実と幻想の区別がつかなくなるような、相手の精神をも揺さぶる衝撃的な一言となっている 幻術という非現実的な設定でありながら、日本の忍者文化を連想させ、大喜利らしい現実と虚構の融合が効いている 以上の理由から、この回答は「フッフッフ それは残像だ」を超える、相手が驚愕しビビるセリフとして最も秀逸だと判断しました。審査員の方々の笑いを誘えるのではないでしょうか。」

解説がなげえ！

やはりこねくりまわしすぎてハイコンテクストになりがちな傾向がありますね
LLMの性格が出ていて面白いです
次行ってみましょう

「Claude3の解説：この回答が最も優れている理由: 1対1の戦闘状況下で放たれる、強者っぽい台詞として自然でリアリティがある 「3日前に見切っていた」という表現が、予知能力や超人的な先読みを想起させ、相手の攻撃が全く意味をなさないことを示唆している 攻撃を避けるどころか、はるか先の未来まで読んでいたことを匂わせ、圧倒的な実力差を感じさせる 残像云々の次元をはるかに超えた、時間をも超越するような力を誇示しており、相手の絶望感が伝わってくる 大げさな表現でありながら、ギャグとしてちょうどよい飛躍があり、笑いを誘う 漫画やアニメでよく見る無茶な設定を逆手にとったような、強キャラ感あふれる決め台詞になっている 以上の理由から、「その攻撃、3日前に見切っていた」が最も秀逸な回答だと考えました。 審査員やお客さんの笑いと驚きを引き出せるのではないでしょうか」

おぉ?大喜利の凡例ぐらいには到達してるかも？

あいかわらず解説がクッソ長いのは閉口しますが、どうやら先の２問の解説も併せて考えてみると、Claude3はGPT4よりは高めの「心の理論」が標準装備されている印象があります

▼ 実はSTEP3にみるべきものが複数ありました

Claude3（Opus）は、前編でGPTについて分析した「文化的な文脈と暗黙知の不足」が払拭されている印象です


有望な選手が登場したので、「後編」は改良したプロンプトでGPT4選手VSClaude3選手でガチバトルしてもらおうと考えています

2月半ばに登場したGemini 1.5Pro選手もいるのですが、相変わらずのGoogleさんムーブでウェイティングリストへの返答が待てど暮らせど帰って来ないのでおそらく棄権になりそうです

＜延長戦／「能力カセット」使用＞

延長戦！「イープゥゥン！」

面白くなってきたので、最近この記事で考察した技「能力カセット」を追加で投入してみます ↓

かいつまむと、LLMのモデル内に体系化されていないであろうマニアックなドメイン知識のアセットを、「能力カセット」として最新LLMの巨大なコンテキストウインドウに丸ごとベタ貼りして、インコンテキスト学習（ICL）させて回答の精度を即席で上げよう、という考え方です

「能力カセット」ダウンロード

「大喜利　コツ　お笑い入門」で検索して最上位に出てくる
笑いのコミュニケーションスクールさんの素晴らしい記事を、まるごと全選択で「能力カセット」として拝借して、Claude3のコンテキストウインドウに追加ペーストします

20万トークンなので記事一本分は余裕でペースト可能
再度出題！

ICLで大喜利能力を得た
スーパーClaude3の回答はこちら
▼

「能力カセット」がきちんと発動しているのか微妙なラインですが、中学生ぐらいのギャグセンスに進化しているように見えます

というかClaude3デフォルトの
ポリコレ仕様が吹き飛んで下ネタ全開になってしまいました

ICL面白いな！


＜Claude3 大喜利まとめ＞

● Claude3 はGPT4より心の理論、文化的な文脈の理解が高い
● 指示の仕方次第では下品な表現も出力可能
● ICL（インコンテキスト学習）での推論力補強が有効っぽい兆し

正直、予想をだいぶ上回る結果だと思いました
これは「後編」のプロンプト改良はふんどし締めてかからねばいかんです！

では近々、後編をお待ち下さい！

イープゥゥン！


＜おまけの余談＞

中期的なLLM進化→AGI到達の兆し

GPT4が登場してから既に１年が経過しており、SoraによるGemini潰しのようにClaude3に対して、今年前半早々にGPT4.5あたりが投入されてくるのではないか、という噂が流れています
Claudeでこの進歩なので、次のバージョンはまたSoraのような非線形な進化があるのかも、と期待してしまいます

さらに余談ですが、OpenAI内ではすでにAGIは達成されているという都市伝説めいた話も最近はAI関連のタイムラインを賑わせています

↓ OPEN AIからの漏洩文章とされるファイル

国内AIインフルエンサー木内氏による上記ファイルのまとめポスト ↓

かいつまむと
『OpenAI社はAGI開発終了していて
今はその過程でできたものを
世の中への影響を考慮しながら
後出しジャンケンで出しているだけ』

という、タイムスリップ未来人モノか転生チートモノみたいなお話です

信憑性は２割ぐらいな気はしますが、Soraの革新的なアーキテクチャーや最近のイーロンマスクとOpenAIの間の訴訟にまつわる奇妙な動向を見てしまうと、状況を察したイーロンがけん制をかけているようにも取れ、あながち間違ってもない？と妄想がはかどる展開になっています

↑ イーロン・マスクの訴訟にブチ切れて過去のメールのやりとりを晒すOpenAIのヤバいムーブ

X(Twitter)で
AIニュースをポストしています
フォロー頂けると嬉しいです！


この記事が参加している募集

#AIとやってみた

36,560件

この記事が気に入ったらサポートをしてみませんか？