見出し画像

音楽生成AI Suno とリップシンクAI Hedra を使いクリスマスソングのMV風動画を作ってみました。ChatGPTも使っています

owlet_notes99.9

作成手順

まず音楽生成AI Suno に以下のプロンプトを投げました。

The theme is Christmas night, with quiet melodies inspired by Celtic music, powerful percussion, Japanese drums and hand clapping : uilleann pipes, fiddle, Irish harp
（クリスマスの夜をテーマに、 ケルト音楽からインスパイアされた 静かなメロディーと力強いパーカッションと和太鼓と手拍子のサウンド： ウイリアンパイプ、 フィドル、 アイリッシュハープ）

生成された歌詞を ChatGPT に以下のようなアレンジを依頼。

以下のクリスマスソングを、ラップを交えた リズミカルな曲に乗るような歌詞にアレンジして下さい。

Sunoに戻り、アレンジされた歌詞をコピペし、Style of Music に以下のプロンプト絵を設定して歌を仕上げます。
このプロンプトと歌のタイトルはChatGPTに作ってもらいました。

Compose a Christmas-themed rap song based on these lyrics. Use upbeat, punchy beats for rap parts and emotional, dramatic melodies for the chorus. Include piano, bells, strings, and drums to enhance
（この歌詞をもとに、クリスマスをテーマにしたラップを作ろう。ラップパートにはアップビートでパンチのあるビートを使い、サビには感情的でドラマチックなメロディーを使いましょう。ピアノ、ベル、ストリングス、ドラムを加えて、クリスマス・ソングを盛り上げましょう。）

今回は Hedra でキャラクター（歌い手）を生成しています。
使ったプロンプトは以下です。

Japanese cel animation style. facing the front. The background is white. Although he's Japanese, he plays reggae and rapper style. A little futuristic. Hero style that appears in Japanese robot cell animation. His hairstyle is that of a young man. 20 years old, age unknown.
（日本のセルアニメ風。背景は白。日本人なのにレゲエやラッパー風。ちょっと未来的。日本のロボットセルアニメに登場するヒーロースタイル。髪型は若者風。20歳、年齢不詳。）

Suno、Herdra、ChatGPTとも無料枠で使っています。

完成動画

出来上がったMVです。 
Hedra の無料枠で生成できるリップシンク動画は最大30秒です。
今回の曲は全体でほぼ2分なので、4本の30秒の動画をiMovie で繋げました。
このため、繋ぎ目部分で音が途切れます。

歌詞（音声認識をテスト）

試しに Suno からダウンロードした音声ファイル（mp3）を、Google AI Studio で Gemini 1.5 Pro を使って文字起こしをしてみました。
左側が文字起こしした歌詞、その右のかっこの中の太字が実際の歌詞です。
生成結果は、音声認識モデルの性能だけでなく、mp3自体が聞き取りにくい音声になっていることも影響していると思います。

Yo, 冬の物語 静けさの中で Snap Flow（Yo, 冬の森 静けさにsnow fall）
夜のささやき 音楽の Echo（夜のささやき 音楽のcall）
Candle Flicker こころに灯もす（キャンドル flicker, 心に火灯す）
魔法の Star 空に Flying（魔法のstar, 空にfly and boost）

鼓動と築くための魂 Flow（影の中 古代の魂flow）
忘れたメロディー景色と Glow（忘れたメロディがそっとglow）
希望の Fire を Light up High（囲炉裏のfire, 笑い声higher）
You never mind All right? Fly higher（夢は舞い上がる like a sky flyer）

ゲッコーい Taipei 探索が Legacy Dance（月光抱いて 黄昏がdance）
美しい記憶がのこす Trace（美しい記憶が残すtrace）
Canvasの絵 Seasons come and ring in time（鐘の音 静かにring and chime）
Don't you ever freeze? It's the magic time（時はfreeze, it's the magic time）

澄み切った Air Whisper of the Past（凍てつくair, whisper of the past）
語られない Story が続く Fast（語られないstoryが続くfast）
希望に満ちた 夜が今 Start（希望に満ちた夜が今start）
寒さの中で 心はRestart（寒さの中で心はrestart）

Snowflakes Cry 時を超え Shine（Snowflakes glide 時を超えshine）
笑顔が集まる この Vibe is Fine（笑顔が集まる このvibe is fine）
Assemble the family Let's feel the Cheer（集まれfamily, let’s feel the cheer）
A gift of joy for every year（愛とjoy for every year）

Frozen window 静かな景色くれ（Frosted windows, 描く景色clear）
静かな奇跡が外踊って（静かな奇跡がそっとappear）
希望と揺れる未来を掴み（希望と夢が未来を描く）
Glass Eye の物語語り合った（ユリサイドの物語が歌う）

Yo 特別なこの夜に感謝（Yo, let’s light it up, この夜に感謝）
奇跡の季節に届ける Passion（奇跡の季節に届けるpassion）
温もりを心に Aim and Yo（Winter’s magic 心に永遠）
それぞれの星が祝う Celebration（夜空の星が祝うcelebration）

OpenAI が開発した音声認識モデル Whisper の一つ Whisper large-v3 を Google Colaboratory で動作させて得られた歌詞は以下です。

よっ舞踊の森 静けさにSnowfall（Yo, 冬の森 静けさにsnow fall）
夜の囁き 音楽のCall（夜のささやき 音楽のcall）
Candle flicker 心に火灯す（キャンドル flicker, 心に火灯す）
魔法のStar 空にFlying through（魔法のstar, 空にfly and boost）

だけの宿題の魂Flow（影の中 古代の魂flow）
忘れたメロディーがそっとGlow（忘れたメロディがそっとglow）
MemoriesのFire 笑い声Higher（囲炉裏のfire, 笑い声higher）
夢は前ある like a sky flyer（夢は舞い上がる like a sky flyer）

月光抱いて 黄昏が dance（月光抱いて 黄昏がdance）
美しい記憶が残す trace（美しい記憶が残すtrace）
鐘の絵 静かに ring and chime（鐘の音 静かにring and chime）
時は freeze it's the magic time（時はfreeze, it's the magic time）


timeBGMlipper of the past（凍てつくair, whisper of the past）
かかられない story が続く fast（語られないstoryが続くfast）
日暮に満ちた夜が今 start（希望に満ちた夜が今start）
寒さの中で心は restart（寒さの中で心はrestart）

no flakes cry 時を超え shine（Snowflakes glide 時を超えshine）
笑顔が集まるこの vibe is fine（笑顔が集まる このvibe is fine）
　　　　　　　　　　　　　　（集まれfamily, let’s feel the cheer）
音楽Joy for every year（愛とjoy for every year）

Trust the windows 描く景色 clear（Frosted windows, 描く景色clear）
静かな奇跡が外のピン（静かな奇跡がそっとappear）
希望と夢が未来を描く（希望と夢が未来を描く）
ユニサイドの物語が歌う（ユリサイドの物語が歌う）

Let's light it up この夜に感謝（Yo, let’s light it up, この夜に感謝）
奇跡の季節に届けるPassion（奇跡の季節に届けるpassion）
Winter's nowじゃ心に永遠（Winter’s magic 心に永遠）
夜空の星が祝うCelebration（夜空の星が祝うcelebration）

いいなと思ったら応援しよう！