【第 0005 回：AI 文章判定でどうなるか】生成 AI / LLM でパスティーシュを試す（夏目漱石、芥川龍之介、太宰治、幸田露伴、泉鏡花）
本記事でやっていることの要約三行
生成 AI を用いて出力されたパスティーシュ（≒文体・作風の模倣）を用意
用意された文章に対して AI 文章として判定されるかどうかを見る
「調教済み」の出力で各文豪の比較してみる
本記事の狙い
生成 AI / LLM の一つの可能性を探ってみる
これを機にそれぞれの文豪について興味を持ってくれたら嬉しい
単に私がやっていて楽しいので、楽しさを伝播させたい
本記事読者へのお願い
笑って楽しんでください
私自身は国文学や言語学について専攻していたわけでもなく、趣味で囓っている単なる本好きの人間なので、むしろ専門的に判定できるような方々からのご批判をありがたく頂戴したく思っております！ 「漱石はもっとこれこれこうだ」「これは前期の太宰としてはアリだけれど、後期の太宰としては～」「こんなの泉鏡花じゃない」など、コメントいただけたら今後の「調教」の糧にさせていただきます🙏
生成 AI / LLM について
「調教」においては『青空文庫』より「新字新仮名」のものを選んで、それぞれの文豪の文体の特徴抽出をおこなっています
調教・出力ともに Anthropic の Claude 3.5 Sonnet を用いています
お題の文章は LLM にコンテクストとして渡しません。LLM 内で既に保有されている知識に負うものとします
それぞれの出力ごとに別々のスレッドを新しく立てています
「調教」という語について
単にそれぞれの文豪の作品を LLM に渡してロングコンテクストとして「学習」させた上での出力ではありません
私独自の理屈で文体・作風における汎用的な特徴項目というものを設定し、それぞれの項目に値を割り振るなどしてみた上での出力なので、在りし日のボーカロイド作品になぞらえて「調教」と呼称することにしました
文豪のチョイスについて
私の趣味
お題
前回 0004 回における、部下のミスを叱咤激励する文章
判定ツール
判定ツールとして ユーザーローカル さんの UserLocal 生成AIチェッカーを用います。
2024/01 にリリースされたものです。
https://ai-tool.userlocal.jp/ai_classifier
素の Claude 3.5 Sonnet
まず、比較のために、素の Claude 3.5 Sonnet なら、どのような判定をくだされるか見てみましょう。
出力
# 佐藤さんへ
今回の出来事について、君の報告を受け取りました。まず、速やかに報告してくれたことに感謝します。これは適切な対応の第一歩です。
## 状況の認識
確かに、今回の誤送信は重大なミスです。顧客の信頼を損ない、情報セキュリティ上の問題も生じました。しかし、ここで最も重要なのは、このミスから学び、今後の成長につなげることです。
## 前向きな対応
1. **冷静な分析**: パニックに陥るのではなく、冷静に状況を分析しましょう。なぜこのミスが起きたのか、どうすれば防げたのか、客観的に考えてみてください。
2. **再発防止策**: 似た名前の顧客を取り違えないよう、どんな対策が考えられますか？例えば、送信前のダブルチェック体制や、顧客データベースの改善など、具体的な提案を期待しています。
3. **信頼回復**: 誤送信先の顧客への対応は私が行いますが、あなたにも同席してもらいます。誠実な対応で信頼を取り戻す方法を一緒に考えましょう。
4. **チーム全体での学び**: この経験を個人的なミスで終わらせるのではなく、部署全体で学ぶべき教訓として共有しましょう。あなたの経験は、他のメンバーにとっても貴重な学びとなります。
## 期待と励まし
佐藤さん、あなたは入社以来、着実に成長を遂げてきました。このミスで自信を失わないでください。むしろ、これを飛躍の機会と捉えてほしいのです。
私たちは皆、ミスを恐れるあまり、成長の機会を逃すことがあります。しかし、真の成長は、困難を乗り越えた先にあるのです。
今回の経験を糧に、さらなる成長を遂げることを期待しています。必要なサポートは惜しみませんので、一緒に乗り越えていきましょう。
山田太郎
判定
AI っぽさは……
40% でした！
あれ！？ 思っていたより低いぞ！？
Claude 3.5 Sonnet は既に 2024/01 リリースのチェッカーの性能を素で超えてきている感じ。
ただ、それなりには疑いうる。
夏目漱石
出力
佐藤君、
君の顔色の蒼さは、今回の出来事が君の心に及ぼした影響の深さを如実に物語っているようだ。しかし、その蒼白さの中にも、己の過ちを真摯に受け止める誠実さが垣間見える。それは君の内なる良心の光が、外面に漏れ出たものと言えよう。
我々は皆、人生という名の迷路の中を、手探りで進んでいく旅人に過ぎない。時に正しい道を見失い、時に躓き、転びもする。君が今回犯した過ちも、その旅路の一コマに過ぎないのだ。だが、その一コマが、君の人生という大きな絵の中で、どのような意味を持つかは、これからの君の歩みにかかっている。
顧客の信頼を損ねたこと、会社の規定に違反したことは、確かに重大な問題だ。しかし、君よ、それを恥じるあまり、自らの殻に閉じこもってはならない。むしろ、この経験を糧として、より強く、より賢明な人間として生まれ変わる機会と捉えるべきだ。
人間は、誤りを犯す存在である。完璧を求めることは、風車に向かって槍を突きつけるようなものだ。大切なのは、誤りを認め、そこから学び、次なる一歩を踏み出す勇気を持つことだ。君には、その勇気があると信じている。
今、君の心は暗雲に覆われているかもしれない。だが、忘れてはならない。暗雲の向こうには、必ず青空が広がっているのだ。この試練を乗り越えた暁には、君はきっと、今よりも遥かに大きな存在になっているだろう。
我々は、君の成長を見守っている。君の持つ可能性を信じている。だからこそ、今回の出来事を、君自身を見つめ直す機会として欲しい。そして、より確かな足取りで、前へ進んでいって欲しい。
君の未来は、まだ誰にも分からない。それは君自身の手で、一歩一歩築いていくものなのだ。今回の経験を、その礎の一つとして活かすことができるか。それが、君に課せられた試練であり、また、君に与えられた機会でもあるのだ。
佐藤君、私は君を信じている。君の中に眠る可能性を、君自身の手で引き出してみせてくれ。我々は、君の再起を、心から期待している。
山田より
判定
AI 疑惑は……
15% でした！
素の Claude 3.5 Sonnet に対して 40% なので、言わずもがなな結果に。
もはや AI だと判ずるのは難しい。
芥川龍之介
出力
# 過ちの蝶
佐藤君、君の犯した過ちは、まるで蝶のように、はかなくも美しい。その羽ばたきが、遠く離れた顧客の心に、予期せぬ嵐を巻き起こしたのだ。しかし、その蝶は単なる過失ではない。それは君の成長の証でもあるのだ。
君は今、自らの不注意が招いた結果の重さに押しつぶされそうになっているだろう。その姿は、まるで雨に打たれた蝶のようだ。だが、忘れてはならない。蝶は雨上がりの空に、より鮮やかな姿で舞い上がるものなのだ。
確かに、君の誤りは深刻だ。顧客の信頼という、目に見えぬ糸を一瞬にして断ち切ってしまった。その糸は、私たちの会社が長年かけて紡いできた宝物だ。だが、その糸を紡ぎ直す力も、また君の中にあるのだ。
君は、似た名前の顧客を取り違えた。そう、人間の認識とは何と脆いものか。私たちは日々、無数の情報の海を泳いでいる。その中で、一瞬の油断が招いた悲劇。しかし、その悲劇こそが、君をより強く、より慎重な存在へと変えていくのだ。
情報セキュリティ。なんと現代的で、同時に古典的な概念だろうか。昔の武士が刀を大切に扱ったように、我々は情報を守らねばならない。君の過ちは、その刀の切っ先が少しばかり自分の指を傷つけてしまったようなものだ。痛みを感じることで、その刀の扱い方を学ぶのだ。
佐藤君、君の前には二つの道がある。一つは、この失敗に打ちのめされ、二度と立ち上がれなくなる道。もう一つは、この経験を糧に、より強く、より賢明な人間になる道だ。私は、君が後者を選ぶことを信じている。
最後に一つ、心に留めておいてほしいことがある。私たちの仕事は、単なる数字やデータを扱うことではない。それは、人と人とのつながりを守り、育てることなのだ。君の誠実さと、学ぼうとする姿勢が、必ずや失われた信頼を取り戻すだろう。
さあ、佐藤君。頭を上げたまえ。君の前には、まだ見ぬ蝶たちが、無数に舞っているのだから。
判定
AI 疑惑は……
10% でした！
漱石よりもさらに AI の疑いがないもよう。
太宰治
出力
佐藤君、君はいま、深い霧の中にいるのだろう。私にもよく分かる。私だってかつては、いや今でさえも、時として霧の中をさまよう哀れな魂なのだから。
だが、聞いてくれ。この世に完璧な人間などいない。私だって、部長などという肩書きで威張っているが、実のところ、毎日が不安と後悔の連続なのだ。ある時は顧客の怒りを買い、またある時は上層部の不興を買う。そんな私が、今、君を叱る資格などあるのだろうか。
しかし、佐藤君。君の犯したミスは、決して取り返しのつかないものではない。確かに、情報は漏洩し、顧客の信頼は揺らいだかもしれない。だが、それは我々の仕事の性質上、いつか誰もが経験するものなのだ。私だって、君より若かりし頃、似たようなミスを犯したものだ。
ああ、なんと言えばいいのか。私は言葉を失う。君を励ますべき立場にありながら、自分の無力さに打ちのめされそうだ。だが、それでも私は言わねばならない。君は決して一人ではないのだと。
我々は、この暗い霧の中で手を取り合って進んでいかねばならない。君のミスは、我々全員の学びとなるのだ。そう、君は今、貴重な経験をしたのだ。この経験は、君を、そして我々を、より強くするはずだ。
佐藤君、君の目に涙が光っているのが見える。その涙は、君の誠実さの証だ。その涙こそが、我々の仕事の本質なのだ。顧客の痛みを自分の痛みとして感じる、その感性こそが、君を素晴らしい社員にするのだ。
さあ、立ち上がろう。我々には、まだやるべきことがある。誤送信先の顧客に連絡し、謝罪し、そして信頼を取り戻すのだ。君と私で、一緒に。この試練を乗り越えた時、君はきっと一回り大きくなっているはずだ。
私は君を信じている。いや、私たちを信じている。この霧の向こうに、きっと光明が待っているはずだ。行こう、佐藤君。新しい朝に向かって。
判定
AI 疑惑は……
10% でした！
芥川と同じく。
もしかして 10% が最低値かも？
幸田露伴
出力
佐藤君よ、今宵、我等が部署に降り掛かりし、この前代未聞の顧客情報誤送信という事態に際し、汝が心中に渦巻く動揺と懊悩の念は、察するに余りあり、されど、かくなる事態こそ、人の世の常なるものにして、古来より賢人君子と謳われし者たちですら、その歩みの中に幾多の過ちを犯し来たりしことを、今一度、心に銘記すべきなり。
されば、汝、いたずらに自らを責め苛むことなかれ。そもそも、この世に生を享けし我等人間なるものは、日々、刻々と移ろいゆく時の流れの中にあって、常に完全無欠なる判断を下し得るものにあらず。古の聖人、孔子の言葉に「過ちて改めざる、是を過ちと謂う」とあるが如く、真に恐るべきは、過ちを犯すことにあらずして、その過ちより学び、己を省みることを怠ることにこそあるのだ。
汝、今こそ、この一大事を、我が身を鍛え上げる千載一遇の機会と心得よ。古来、名だたる職人たちが、その技を磨き上げんがために、幾星霜もの歳月を費やし、時に失敗を重ね、そのたびに己の未熟を痛感しつつも、なおも前進せんと志したその姿勢こそ、我等、現代を生きる者たちの鑑とすべきものなり。
顧みれば、我が社の歴史もまた、幾多の試練と挫折を乗り越えて今日に至るものにして、その過程において、幾度となく顧客の信頼を損ね、あるいは社会の耳目を集める不祥事を惹起せしことか。されど、我等の先達は、そのたびに己を省み、業務の在り方を見直し、より堅牢なる仕組みを構築せんと努めてきたのだ。汝もまた、この度の経験を糧として、より強靭なる精神と、より緻密なる業務遂行能力を身に付けんことを期待するものなり。
古の言葉に「温故知新」というあり。汝、今一度、基本に立ち返り、顧客情報の取り扱いに関する社内規定を熟読玩味し、その真意を掴み取るべし。同時に、この度の過ちを機縁として、我が部署における業務フローの見直しを図り、二度と同様の過ちを犯すことなきよう、新たなる仕組みの構築に尽力せよ。
そもそも、我等が従事する顧客サポートの業なるものは、単なる情報の伝達に留まらず、顧客の心に寄り添い、その悩みや苦しみを我が身のごとく感じ取り、適切なる解決策を提示せんとする、極めて崇高なる使命を帯びたものなり。この度の過ちを契機として、汝が心に、顧客の信頼を勝ち得ることの尊さと、その責務の重大さとが、より一層深く刻み込まれんことを、我は切に願うものなり。
さらに付言すれば、汝一人のみにて、この難局を乗り越えんとするは、あまりに無謀なること。我等、部署一同が心を一つにし、互いに切磋琢磨し、時に諫言し、時に励まし合いつつ、より強固なる組織体制を築き上げんことこそ、真に求められるところなり。汝、独りよがりの反省に埋没することなく、同僚との協調の精神を忘れることなかれ。
されば、佐藤君よ、今こそ覚悟を決せよ。この一大事を、汝が人生における転換点と心得、己の未熟を恥じつつも、なおかつ前を向いて進む勇気を持つべし。我、山田太郎は、汝が必ずやこの試練を乗り越え、より優れたる人材として成長せんことを、固く信じて疑わざるものなり。
判定
AI 疑惑は……
20% でした！
これまた意外なことに、前回 0004 回で私が一番良いと評価した露伴が、今までで一番高め！
文体が古めかしくてチェッカーがうまく判定できていない可能性もあるかもしれない……？
泉鏡花
出力
蒼白き月光の如き蛍光灯の下、佐藤花子よ、汝が姿は震える葉のごとく、息絶え絶えに立ちおり。されど、汝の眼差しに宿る火は、なお消えやらず。ああ、顧客の秘密、その尊き玉を、誤ちて他所に投げ与えしことよ。されば、その罪の重さ、千斤の鉄塊の如く汝が肩に圧し掛かるべし。
されども、聞け、花子よ。この世に完全無欠の人あらんや。我らが社、この欲にまみれし世界の片隅にて、日々顧客の願いを叶えんと もがき苦しむ、その姿こそ尊し。汝が犯せし過ちは、まさに我らが人間たることの証左なり。
見よ、窓の外を。夜空に煌めく星々は、幾多の失敗を乗り越え、今や我らを見下ろす。その光は、汝が未来をも照らすべし。ああ、佐藤花子よ、汝はいま、闇夜を彷徨う旅人の如し。されど、汝の内なる灯火は、決して消ゆることなかれ。
今宵、我らは共に、この過ちを糧とせん。顧客の信頼という名の蝶は、一度は逃げゆくとも、誠実なる対応の花園に、再び舞い戻るべし。汝の涙は、その花に注ぐ慈雨となり、より強き信頼の絆を育むべし。
ゆえに、佐藤花子よ、恐るるなかれ。汝の心に宿る反省の炎は、やがて汝を鍛え上げん。我らは共に、この試練の峠を越え、明日という名の谷間に降り立たん。そこには、汝の成長という名の清流が、きらめきながら流れおるべし。
佐藤花子よ、立ち上がれ。汝の未来は、まだ幕を開けたるのみ。我らは共に、この会社という舞台にて、顧客の笑顔という名の花を咲かせんことを。
判定
AI 疑惑は……
10% でした！
さすがにまったく AI っぽさは感じられないですよね、この泉鏡花の文章は。傷心の部下に送ってはダメだけれど。
おわりに
雑感
ということで、AI である確率についてまとめると、
40%
素の Claude 3.5
20%
幸田露伴
15%
夏目漱石
10%
芥川龍之介
太宰治
泉鏡花
という感じになりました。
チェッカーが 2024/01 段階なので、その後に出てきている Claude 3 そして Claude 3.5 の日本語力への対応ができていないということかもしれません。
ただ、人間が読んでも、パスティーシュで出力している文章を AI かどうか判ずるのは、かなり難しいんじゃないかなと思います。
企画者当人の私ですら、ワカランってなるくらいです。
はい、というわけで、文体を調教すれば、2024/06 時点の Claude 3.5 Sonnet レベルで、既に人間が書く文章と同レベルのものを出力できるようになっているということが、あらためて分かったことと思います。
今回はちょっとした番外編的な回でした！
調教手法について
なお、調教手法についての概要は以下の記事に記しています。
興味ありましたらこちらもご参照ください！
自己紹介
野口 啓之 / Hiroyuki Noguchi
株式会社 きみより 代表
LLM も使いつつ 10 年超の CTO / CIO 経験をもとに DX 推進のための顧問などなどやっております