Image to Story（i2s）の利用(1)
0. はじめに
この記事はshi3zさんのYouTube動画（2023年8月15日の動画）にて紹介されていた画像(image)から物語(story)を生成するi2s 人工知能(AI)を公開しているfffiloni（HPはこちら）を試してみた内容に関する記事です。
ここ最近は、私のもう一つの趣味である「将棋」に関して作り貯めていた作品を紹介する記事ばかり挙げておりましたが、上記のshi3zさんのYouTube動画あまりにも衝撃的だったため、急遽、記事の内容を変更して、AIに関する記事を投稿することとしました。
概要はshi3zさんの動画を視聴していただけるとわかりますが、マルチノーダルAIの1種（？）として画像から物語（言語モデルとしてLlama2が使用されている!?）を生成するAIがfffiloniというサイトに公開されておりましたので、試しにこれまでに生成した画像を用いて物語を生成させてみました。
1. 入力データ
1.1. 画像生成の条件（Memeplex.appを使用（リンクはマニュアルのshi3zさんのnote））
SDXL1.0モデルの画像(5)（私の以前の記事「Memeplexの利用(2) AIモデル依存性」を参照）
1.2. 物語生成の条件（fffiloniを使用（リンクは上記に示している））
・Target Audience : Adult
2. 物語生成の結果
2.1. 生成結果(1)（DeepL翻訳を利用）
広大な冬のワンダーランドの中心に位置する小さな町スノーフォールに、リリーという名の少女が住んでいた。長いブロンドの髪と、雪の中でダイヤモンドのように輝く鋭い青い瞳が印象的な彼女は、町中で知られていた。
リリーは熱心な芸術家で、絵を描くことが大好きだった。彼女は日々のほとんどを自分の小さな世界に没頭し、周囲の人々や風景の美しいアニメ風の肖像画を描いていた。
ある日、雪に覆われたスノーフォールの通りをさまよっていたリリーは、別の世界に通じているような不思議な入り口を偶然見つけた。迷うことなくポータルをくぐると、そこはそびえ立つ山々、きらめく湖、緑豊かな森に満ちたファンタジックな世界だった。
この新しい世界を探索するうちに、リリーは自分が描いたアニメの絵に命を吹き込む能力があることに気づいた。手首を動かすだけで、彼女が描いたキャラクターや風景に命が吹き込まれ、まるで本物のように動き、呼吸するのだ。
リリーはこの新しい力に大喜びし、その領域を探検し、アニメ作品に命を吹き込む日々を過ごした。長いブロンドの髪と、夜空の星のように輝く青い瞳を持つ、美しいアバターを作り上げた。
この魔法の領域を旅するうちに、リリーはいたずら好きのキツネから賢い年老いたドラゴンまで、あらゆる生き物に出会った。それぞれが彼女のアバターに引き寄せられ、その美しさと優美さに魅了された。
しかし、リリーの新たな力には代償が伴う。アニメの作品に命を吹き込むたびに、その過程で彼女自身の魂の一部が失われていったのだ。領域を探求し、新しいアバターを作り続けるうちに、リリーは徐々に自分自身を失っていることに気づき始めた。
美しいアニメのアバターを作るために自分の力を使い続けるか、この魔法の領域で愛するようになった人々や生き物を救うために自分の魂を犠牲にするか。
結局、リリーは自分を犠牲にすることを選び、自分の力を使って、周囲のすべての人々に平和と幸福をもたらす最後のアバターを作った。そして彼女が闇の中に消えても、アニメのアバターは残り、彼女が世界にもたらした美と驚異の証となった。
スノーフォールの人々は、最愛のリリーを失ったことを嘆き悲しんだが、彼女は今、自由に創造し、これまでできなかったような方法で世界に喜びをもたらすことができることを知っていた。そうして、彼らはリリーに敬意を表して記念碑を建てた。きらめく雪の結晶は、リリーが彼らの生活にもたらした魔法と驚きを永遠に思い起こさせるものだった。
2.2. 生成結果(2)（DeepL翻訳を使用）
テクノロジーとアートが融合した世界で、リリーという名の少女は雪景色の中に迷い込んでしまった。スマホで見つけた不思議なアプリによって、彼女はそこに連れて行かれたのだ。真っ白な雪に囲まれたその場所に立つと、彼女は周囲の美しさに驚きと畏敬の念を感じずにはいられなかった。
しかし周囲を見渡すと、彼女は自分ひとりではないことに気づいた。一人一人がより魅力的なアバターたちが、物陰から彼女を見ているのだ。彼らは皆、アニメスタイルで描かれており、誇張された特徴と表情豊かな目をしていた。リリーは、これらのアバターが単なるデジタルの創造物ではなく、生きていることを理解し、背筋がゾッとするのを感じた。
何が起こっているのか理解しようとしたとき、アバターの一人が前に出た。長いブロンドの髪に青い瞳、流れるような白いローブをまとった少女だった。彼女は穏やかな微笑みを浮かべており、リリーはすぐに彼女とのつながりを感じた。
「こんにちは、リリー」アバターは柔らかく、メロディアスな声で言った。「私たちはあなたを待っていました。私たちはこの世界の守護者であり、あなたに雪の本当の美しさを見せる使命を負っているのです」。
リリーは、アバターたちを案内人としてこの魔法の世界を探検することに、わくわくすると同時に恐怖を感じていた。しかし、アバターたちの目を覗き込むと、それ以上の何かが見えた。
そして、アバターたちと息をのむような美しい雪に囲まれながら、彼女は旅に出た。歩きながら、二人は芸術や創造性、夢や想像力について語り合った。そしてリリーは、ここ何年かで一番生き生きしている自分に気づいた。
この世界では、何でも可能だったからだ。そしてアバターがそばにいれば、本当に魔法のようなものを創造できると彼女は知っていた。
2.3. 生成結果(3)（DeepL翻訳を使用）
雪の中の少女は他の誰とも違っていた。彼女の長いブロンドの髪と鋭い青い瞳は、冬景色の柔らかく白い光の中で輝いているように見えた。彼女は背筋を伸ばして堂々と立ち、ふわふわのマントを雲のように後ろになびかせていた。
雪に覆われた木々を眺めながら、彼女の目は秘密の知識で輝いているように見えた。彼女はアニメのキャラクターに命を吹き込んだような、遠い世界からやってきた魔法のような存在だった。
しかし、ここは普通の世界ではない。ここは純粋なファンタジーの世界であり、現実と想像の境界線は色と光の万華鏡のように曖昧だった。
少女の名はルナ、幻影術の達人だった。手首を動かすだけで、何もないところから街全体を作り出したり、神話に登場する生き物の軍団を呼び出したりすることができた。
ある日、ルナは安全な世界から遠く離れた雪の荒野に迷い込んだ。ルナは自分の能力の限界を試していたのだ。しかし、日が暮れ始めると、ルナは自分が一人で道に迷っていることに気づいた。
恐怖に凍えながら立ち尽くしていると、不思議なことが起こった。彼女の周りの雪が渦を巻き始め、まるで大嵐が起こっているかのように揺れ始めたのだ。そして、渦巻く雪の中から人影が現れた。
背が高く、たくましく、突き刺すような青い目と雪のように白い髪をした若い男だった。純白のマントを羽織り、その顔は激しい決意に満ちていた。
「あなたは誰？」ルナは恐怖で声を震わせながら尋ねた。
「私は雪の王だ。お前は私の領地に侵入している。」
ルナは恐怖に震え、強大で危険な存在を目の前にしていることを知った。しかし、雪の王は彼女に危害を加えなかった。その代わり、彼は手を伸ばし、彼女の手を取った。
「恐れることはない。家に帰る道を教えてあげよう。だがその前に、私と一緒に来て、私の世界の秘密を学ばなければならない。」
こうしてルナは、不思議と魅惑に満ちた世界を旅する魔法の冒険に巻き込まれた。彼女は雪の王の領域の秘密を学び、自分の想像力の真の力を知った。
そしてついに家に戻ったとき、彼女は雪の荒野に旅立った少女とは違っていた。彼女はイリュージョンの達人であり、夢を織り成す者であり、魔法を生み出す者だった。そして彼女は、旅がどこへ向かおうとも、常に自分自身の現実を創造する力を持っていることを知っていた。
3. ChatGPTを用いた物語の共通項の抽出
上記に示したのは同じ画像から生成した3つの物語で、非常に興味深い結果だと思いました。ここで１つ疑問に思ったこととして、「上記3つの物語の共通項が何か？」ということです。この点についてChatGPT（GPT-4）に3つ共通点を挙げてもらいました。
私「上記の3つの物語の共通点を3つ挙げてください。」
ChatGPT「上記の3つの物語の共通点は以下の通りです：
(1) 主人公の少女「リリー」または「ルナ」：すべての物語には、ブロンドの髪と鋭い青い瞳を持つ少女が登場しています。彼女は特別な存在や能力を持っており、物語の中心的な役割を果たしています。
(2) 魔法や特別な能力：すべての物語には、魔法や特別な能力が関与しています。物語1ではリリーがアニメの絵に命を吹き込む能力を持っており、物語2ではアバターたちが魔法のような存在として描かれています。物語3ではルナが幻影術の達人として描かれています。
(3) 雪の景色や冬のテーマ：3つの物語すべてで、雪や冬の景色が重要な役割を果たしています。物語1と2では「スノーフォール」という雪の町や雪景色の中での出来事が中心となっており、物語3でも雪の荒野や「雪の王」というキャラクターが登場しています。
これらの共通点を通じて、物語は魔法の力、冬の美しさ、そして特別な少女の冒険を中心に展開されています。」
このChatGPTの返答について、「1」は画像中央の女性の容姿を見事に表しており、「2」はクリスマスの幻想的なイメージと合致しており、「3」は画像の背景イメージとよく一致しているように感じます。
4. 物語の共通項から画像を生成
上記のChatGPTが提示した共通項を入力としてMemeplexを用いて画像を生成させると、元の画像と類似した画像が生成するのか興味が湧きます。そこで、以下の条件と呪文を用いて画像を20枚生成させてみました。
4.1. 画像生成の呪文・条件
【呪文（3つの共通項からキーワードを抽出）】
・young girl with blonde hair and piercing blue eyes
・magic and special abilities
・snow and winter landscapes
【画風指定】イラスト
【スタイル指定】日本アニメ風
【作風指定】4K風
【AIモデル】SDXL1.0
【文章の強さ】0.75
【その他】翻訳不要、同じ条件で20枚の画像を生成
4.2. 生成した画像一覧
「クリスマス」に関連した呪文の指定がないため、元の画像とは異なる背景描写となっており、また「かわいい」や「小顔」といった条件がないため、凛々しい美女が出力されました。しかし、人物的な特徴や季節、画像の雰囲気について元の画像と共通点があるように感じられるため、i2s AIで物語を生成において、元画像中の「人物の特徴」や「季節」、「画像の雰囲気」にAIは注目していると感じます。