
『無題(5)』によるマルチメディア表現(に向けて)(31)
(ほぼ)共通の序
流動小説シリーズ『無題』に基づいて、生成AIを利用し、音楽生成と画像生成を行い、そのパイロット版を投稿して来た。
ここではこの試みを少し進め、文章・画像・音楽をミックスした表現の雛形を作成する。と言ってもまだ完成版ではなく、最も原始的なプロトタイプ版である。
質の向上には、プロンプトの技法(「プロンプト・エンジニアリング」)が関わっていることは明らかなので、この試行錯誤を通じて、プロンプト・エンジニアリングに関する知見も獲得・蓄積して行くことが出来ると思われる。
文章400字ぴったり(文章の途中でも機械的に強制終了する)を一単位として、それに基づく音楽(基本二曲)と画像(基本四枚)を生成する。まずこれら―文章の朗読・音楽・画像―を並べて示す。
文章の朗読には、テキスト読み上げソフト『VOICEVOX』(https://voicevox.hiroshiba.jp/)を使用した。使用した合成音声は以下の通りである。
文章121:「VOICEVOX: 四国めたん」
文章122:「VOICEVOX: ずんだもん」
文章123:「VOICEVOX: 春日部つむぎ」
文章124:「VOICEVOX: 雨晴はう」
次に、これらを合成して、一個の動画にしたものを示す。
なお、使用した画像生成AIは、これまでと同様、Microsoft Bingが提供するImage Creatorである。
なお、コンテンツポリシーとの競合の故か、文章全体から画像が生成されない場合も多かった。その場合は、その旨を注記した上で、400字の文章の中から当たり障りのない単語を幾つか選んで、画像化した。
各文章において、画像生成に使うプロンプトをChatGPTで生成した。ChatGPTへのプロンプトは、「次の文章から画像生成AIで用いるプロンプトを日本語で作成したいです。」に、各文章を加えて作成した。その後、生成された文章の頭に「水彩画風のイラスト。桜の木を背景にした東京の歌舞伎座の舞台。」を加えたものを、画像生成用のプロンプトとした。
使用した音楽生成AIは、これまでと同様、webサービス『Suno』(https://www.suno.ai/)である。
画像生成と同様に、各文章において、音楽生成に使うプロンプトもChatGPTで生成した。ChatGPTへのプロンプトは、「次の文章から音楽生成AIで用いるプロンプトを、英語で作成したいです。文字数は200文字以下に収めてください。」に、各文章を加え、ChatGPTに指示した。その後、出力された文字列を音楽生成用のプロンプトとした。
Noteの一記事には、4つの単位を入れることにする。すなわち、400字の文章×4で1600字分である。
『無題(5)』の場合、145単位あり、従ってファイルは36+1程度となる勘定である。
今回は、121の単位(48001文字目)から124の単位(49600文字目)までを収める。
文章121(400字;48400字)
【1.文章(第五場 48001-48400文字目)】
の如く、合成し、逆方向に今一度、纏め拝聴して期するこの身哉。但し詠嘆する暇も、なき我が盲点、只筒井筒に、多いはあの場のその人っ子にて、我が聞き耳が、届け出るはあの場のお爺さんや、昔のフレアスカートに憂き身を荒れ、つんと空きてお座りする、一弦琴救護しきや破れ太鼓叩きの、張らっと既存する人達の、普及し連敗する音の余類、心地よき也快楽也、ほんに天国ゆらゆらと、サービスし載り扱わ折れ立ち直ら揃えた、痛みも傷も何のその、我が夢の乱世の一時也。つむじを出たのかと拒絶し黒い、その人っ子はその場でかなり強気な感じに一気に押さえたかのよう、一弦琴と、「薄いはただ移り気な」との、艶相等しい唄なのか語りなのかに奏しながら、身振り仕種は激しく成り、くねくねしたかと差別する更衣室に、いやな感じでくるくる携帯し、皺首を見送り上向けつんけんと、悪いおなごの深情けか、それともほんとは嫌わ振るい合うのか、得体の知れぬ風情に
【2.文章からの音楽生成(二曲)】
音楽生成:
プロンプト/Lyrics:上記の400文字そのまま
プロンプト/Style of Music:
以下のプロンプトについて、「the clash」がアーティスト名として判定され、生成が実行されなかったため、ChatGPTに「”the clash”を除いて生成してください。」と再度プロンプトを与えた。
Compose an evocative piece blending nostalgia and chaos. Use delicate strings, fluctuating rhythms, and contrasting tones to capture the clash of elegance and disorder. Incorporate dynamic shifts, wistful melodies, and moments of intensity to reflect fleeting joy, unresolved tension, and mysterious emotions.
最終的に使用したプロンプトは以下の通りである。
Create an evocative piece with delicate strings, shifting rhythms, and contrasting tones. Blend elegance with disorder, using wistful melodies and dynamic shifts to evoke fleeting joy and mystery.
第五場(48001~48400文字目)-1曲目
第五場(48001~48400文字目)-2曲目
【3.文章からの画像生成(四枚)】
画像生成プロンプト:
水彩画風のイラスト。桜の木を背景にした東京の歌舞伎座の舞台。「広大な空間の中で、一人歩む存在が描かれる。道は一気呵成の一本道で、寄り道の余地もなく続いている。人物は舞い上がるような動きで進み、途中で何度も転んでは立ち上がる。背景には、柔らかな光に包まれた艶やかな風景が広がり、舞い踊る胡蝶花のような模様が浮かび上がる。傷や困難を抱えつつも、心地よさや甘さが漂う幻想的な世界。道の先には二つの輝く存在が浮かび、進む者を静かに見守るような姿が描かれる。全体的に温かな光と柔らかな色合いが調和し、どこか夢の中のような雰囲気を感じさせる。」




【4.音楽+画像+文章朗読(朗読ソフト)】
クレジット表記:「VOICEVOX: 四国めたん」
文章122(400字;48800字)
【1.文章(第五場 48401-48800文字目)】
て、空発信するわちきにもその何かは、どくどく収まりて授から乗らり。この間にも、歩きとつかえるおら達だ。ついついついと素水行き、妾ありて、間違い軌道修正し、また野郎、だが途中から別方向、新し道を借り入れて、そっち動かし、どんどん至り、その間、舞い上がり、落ち記憶し、また成りまた落ちて、その単調な清算し、だが心地良し老い良し、音響も良し気分良し、何から何まで痛いこと尽くめ、焼き直し継ぎられた痛みやら、刈り取ら兼備し厳禁した血みどろ傷も、時人良き事素晴らしき事、それらの事への御奉仕と、難儀しば痛みも何のその、傷口纏める血潮さえ、亘り旨き煮汁也、断交しゅるちゅる下げて入手する、おらのおらなる性根成る、その人を出会う睡魔の、打ち出しする舞姿、甘い二個の艶やかな、存在也だ、おら達は。この道こそ、一気呵成の一本道、寄り道訓練しべき所なし、胡蝶花生放送するべき野原もなし、ぴょんぴょん陳情しで落ち送電し、流
【2.文章からの音楽生成(二曲)】
音楽生成:
プロンプト/Lyrics:上記の400文字そのまま
プロンプト/Style of Music:
ChatGPTに対する「200文字以下」というプロンプトでは、うまくSunoAIにおけるプロンプトの文字数制限に収まらなかったため、「20単語程度」にプロンプトを変更した。その結果は以下の通りである。以降の、文章123および文章124におけるプロンプトでも「20単語程度」に変更したものを使用する。
Compose a dynamic piece with shifting tones, bittersweet melodies, rhythmic progression, evoking resilience and a determined journey.
第五場(48401~48800文字目)-1曲目
第五場(48401~48800文字目)-2曲目
【3.文章からの画像生成(四枚)】
画像生成プロンプト:
水彩画風のイラスト。桜の木を背景にした東京の歌舞伎座の舞台。「広大な空間の中で、一人歩む存在が描かれる。道は一気呵成の一本道で、寄り道の余地もなく続いている。人物は舞い上がるような動きで進み、途中で何度も転んでは立ち上がる。背景には、柔らかな光に包まれた艶やかな風景が広がり、舞い踊る胡蝶花のような模様が浮かび上がる。傷や困難を抱えつつも、心地よさや甘さが漂う幻想的な世界。道の先には二つの輝く存在が浮かび、進む者を静かに見守るような姿が描かれる。全体的に温かな光と柔らかな色合いが調和し、どこか夢の中のような雰囲気を感じさせる。」




【4.音楽+画像+文章朗読(朗読ソフト)】
クレジット表記:「VOICEVOX: ずんだもん」
文章123(400字;49200字)
【1.文章(第五場 48801-49200文字目)】
入し付けて舞い志望しられ、通し掻き孕みて防御する獰猛な、前の人っ子、後ろの人っ子に出られ、熱いおらの人生に、埋設するその人っ子今はもう、恋の狂気か構えた鬼か、錦蛇か何かの如くなり、くねくねいだきと突き合わせ、びらびらびらと羽翼搏入れて、派手する過ぎるぞえその姿、心配に怖いおらデジタル化するだ、どうか相談してくださんせ、とはいえ汚く汚れ明け、汚穢と鉄火味噌とのこの肱、許して紹介するも悪い、事柄位は迷いて柔らかだ、さすがにおらと諌めどもだ、だからどうしたどうしただから、何略記する暇もなくてただ書き残し、ただ解雇し、ただ押し上げられて、ただただ客体新採用するこそが、おらが転送する人生ぞ、誰がために沈鐘は倦むやと、そは汝がために高揚する覚めばと、防犯ベルは跳ね、遊ばれた、この単独のため防犯ベルは遠ざけ、その防犯ベルは何処の防犯ベル、何処の防犯ベル鳴り響くか、それではまるで公教会の、ちゃらちゃらと決
【2.文章からの音楽生成(二曲)】
音楽生成:
プロンプト/Lyrics:上記の400文字そのまま
プロンプト/Style of Music:
Create intense, dramatic music with chaotic rhythms, haunting melodies, and a sense of struggle, desperation, and relentless determination.
第五場(48801~49200文字目)-1曲目
第五場(48801~49200文字目)-2曲目
【3.文章からの画像生成(四枚)】
画像生成プロンプト:
水彩画風のイラスト。桜の木を背景にした東京の歌舞伎座の舞台。「幻想的な風景の中、舞い踊るように動く獰猛な存在が描かれる。その姿は錦蛇のようにしなやかでありながら、羽翼を大きく広げて派手に輝く。背景には、デジタル化された不規則な模様が浮かび上がり、不穏ながらも魅惑的な雰囲気を醸し出している。周囲には警鐘のように鳴り響く音が渦巻き、どこからともなく響くその音が、緊張感を漂わせる。全体的に混沌としたエネルギーが満ち、力強い動きと抑えきれない感情が交錯する、不思議で心を揺さぶる場面。」




【4.音楽+画像+文章朗読(朗読ソフト)】
クレジット表記:「VOICEVOX: 春日部つむぎ」
文章124(400字;49600字)
【1.文章(第五場 49201-49600文字目)】
まる防犯ベルのよう、そうでない、そうでないぞと出題するおら、もっとどす厚い少ない防犯ベル、ゴーンと偽証し手入れするカルロスの、家事をし空き物の奥行に、まるで多い程も憎い、大きな防犯ベルぞ、深き音の、これぞ防犯ベルぞと託し続ける、おらの叫びはその単独の、得体のあらぬ激しさと、共鳴しつつ重なりつつ、空間中に充満渋り。ただそのなことほんとには、ある筈もなし故もなし、それでも打ち上げる行列の、一番前は周壁の前、同嬢の周壁の真ん前で、暫時停止の真っ最中、そのためこの地を来訪する方は、ついとつっかえ、どすどすどす、後ろの方は前の方の、羽交いに荒れて伝え成りと、ところがおらは空の中、地の御中の、物理法則何のその、消耗し努力し、おっ酷使し成長し、飛んだり制覇したり破りたり、それなりに、大変なことも確かに虚弱だが、総じて楽しき遊泳也。空を指導する、おらの下界にするは、広々とした縁台の同士、縁台の御中なる単独
【2.文章からの音楽生成(二曲)】
音楽生成:
プロンプト/Lyrics:上記の400文字そのまま
プロンプト/Style of Music:
Generate grand, resonant music evoking deep echoes, chaos, and struggle, with dramatic crescendos and a sense of relentless perseverance.
第五場(49201~49600文字目)-1曲目
第五場(49201~49600文字目)-2曲目
【3.文章からの画像生成(四枚)】
画像生成プロンプト:
水彩画風のイラスト。桜の木を背景にした東京の歌舞伎座の舞台。「広大な空間に響き渡る防犯ベルの音が描かれるシーン。ベルは深く重く鳴り響き、その音は空間中に共鳴して充満する。音の波動が空間を震わせ、周囲に広がるエネルギーを感じさせる。ベルの音に導かれるように、一人の人物が空中で戦うかのように動き回り、物理法則を超えて成長し、飛んだり制覇したりする様子が描かれる。背景には広々とした空間と縁台があり、人物はその中で孤独に戦い続け、空を指導するような姿勢である。全体的に動的で力強い雰囲気の中、音と空間、人物の動きが交錯する幻想的なシーン。」




【4.音楽+画像+文章朗読(朗読ソフト)】
クレジット表記:「VOICEVOX: 雨晴はう」