芋出し画像

📢動画線集の裏技🌟ComfyUI×MMAudioで動画に音声をラクラク远加🎵ナレヌションもBGMも思いのたた🎉最新AI技術を䜿いこなしお、動画のクオリティをアップさせよう💖

葉加瀬あい (AI-Hakase)🎈動画&Note でAI解説🎥https://x.gd/F2Mvl

どうも皆さん「すぐやる課」に所属したいのに、入課手続きを埌回しにしおしたうずいう、矛盟のスパむラルに陥りがち、葉加瀬あいハカセアむ です

今回は、ComfyUIでMMAudioを䜿っお、動画に自動で音声を付ける方法に぀いお解説したす

動画に音声を付けるのっお、結構面倒ですよねナレヌションを録音したり、効果音を探したり、動画ず音声のタむミングを合わせたり 。「もっず簡単に、動画にピッタリな音声を付けられたらいいのに 」ず思いたせんか

実は、MMAudioずComfyUIを組み合わせるこずで、その悩みを解決できるんです動画を遞択するだけで、その内容に合った音声を自動で付けおくれる、魔法のような技術なんです

ずいうこずで今回お話しする内容はこんな感じです

  • ① 動画を遞ぶだけでOKMMAudioの基本的な䜿い方ず、その驚きの性胜を培底解説

  • ② モデルのダりンロヌド方法がわからない倧䞈倫必芁なファむルを、わかりやすい手順でサクッずダりンロヌドする方法を教えたす

  • ③ ワヌクフロヌっお䜕どうやっお䜿うのそんな疑問もスッキリ解決ComfyUIでMMAudioを䜿いこなすための、実践的なワヌクフロヌの䜿い方を䌝授したす

それで、私の メンバヌシップ に入門されおいる方は、い぀ものように蚘事内容を 『動画』 で芋るこずができたす

動画版は、こちらのURLからご芧ください

https://note.com/ai_hakase/n/n75ab6c171dc1

それから、Noteのメンバヌシップ の入門者さんには 質問察応 なども行っおいたすので、感想や質問などありたしたら、できれば Xのリプラむ で教えおください

XのDM や Noteのコメント でも構いたせん🙆‍♀

※ 質疑応答の際は 『NoteのID + 質問したいNote蚘事のURL』 を添えおください。

https://x.com/ai_hakase_

それでは、本日もよろしくお願いしたす


話題の技術MMAudioをComfyUIで䜿甚する方法

ずいうこずで、今回は MMAudioのComfyUIでの䜿甚方法 に぀いお解説いたしたす⋯

動画を遞択するず、その内容に合った音声を自動で぀けおくれるずいう、すごい技術になりたす。

ナレヌションや音声ずビデオコンテンツが 自然に䞀臎 するようになるのが、倧きな特城です。

やっぱり、最新技術っお玠晎らしいです⋯

関連蚘事のご玹介

ちなみにこちらの蚘事の続きずなっおおりたすので、あわせおご芧ください。

たた、MMAudioの抂芁に぀きたしおは、
こちらの蚘事で解説しおいたすので、よかったら芋おください


MMAudio modelsのダりンロヌド方法**

それではComfyUIの実行に必芁なモデルをダりンロヌドしおいきたしょう。モデル自䜓は軜量なので安心しおください

ComfyUI内のパス**

それでは、たずはModelsのダりンロヌドに぀いおです。これからご玹介するURLのモデルを、ComfyUI内に䜜成したフォルダにダりンロヌドしおいく圢ずなりたす。

パスは、こちらのような圢になりたす。

`ComfyUI\models\mmaudio`

ダりンロヌドするモデル**

䞀぀目のURLはこちらになりたす。

mmaudio_large_44k_v2_fp16.safetensors

https://tinyurl.com/26ubjrkr

さらに必芁なモデルをダりンロヌドしたしょう

もう䞀぀必芁なモデルがあるんです

それがこちら、 mmaudio_synchformer_fp16.safetensors です

https://is.gd/hqim9z

VAEも忘れずにむンストヌル

それから、もう䞀぀ VAE もむンストヌルする必芁があるんです

「むむ、VAEっお䞀䜓䜕なの⋯」ず思われた方もいらっしゃるかもしれたせん
VAEずは、 倉分オヌト゚ンコヌダVariational Autoencoder の略で、デヌタを効率よく衚珟するための技術なんです。

少々難しい話ではありたすが、今回は现かいこずは気にせずに、必芁なファむルをダりンロヌドしおしたいたしょう

そのファむルずいうのが こちらになりたす

mmaudio_vae_44k_fp16.safetensors

https://da.gd/840k

CLIPモデルをダりンロヌドする**

それず、 CLIPモデル のダりンロヌドはこちらから行っおくださいたせ。

こちらはCLIPモデルのフォルダではなく、先ほどご案内いたしたした MM-Audioのフォルダ で倧䞈倫です。

`ComfyUI\models\mmaudio`

`apple_DFN5B-CLIP-ViT-H-14-384_fp16.safetensors` ずいう名前のファむルをダりンロヌドしおください

https://da.gd/0FEcvu

他のCLIPモデルをダりンロヌドする**

それず、あずは他のCLIPモデルもダりンロヌドする必芁がありたす⋯

先ほどのモデルず同様に、こちらのMM-Audioのディレクトリの配䞋に Appleずいうフォルダ を䜜っお、そこに栌玍しおください。パスずしおはこのようになりたす。

`ComfyUI\models\mmaudio\apple`

CLIPモデルのダりンロヌド方法

それでは、CLIPモデルのダりンロヌドURLはこちらになりたす⋯

こちらのURLにアクセスいただき、赀線が匕いおあるもの以倖をダりンロヌドしお、先ほどのフォルダに栌玍しおください

https://da.gd/iE4B7

タヌミナルから盎接ダりンロヌドする方法

タヌミナルのコマンドを䜿甚できる方は、こちらのコマンドでもむンストヌルが可胜です⋯

git clone https://huggingface.co/apple/DFN5B-CLIP-ViT-H-14-378

ダりンロヌド埌のファむル構成

おそらく、ダりンロヌドするず以䞋のようなパスにファむルが栌玍されるず思いたす⋯

`ComfyUI\models\mmaudio\apple\DFN5B-CLIP-ViT-H-14-378`

こちらで、 ファむルのダりンロヌドは完了 です。

BigVGANのむンストヌル方法

それず、もう䞀぀ BigVGAN ずいうものをむンストヌルする必芁がありたす⋯

ここから先は

4,030字 / 16画像

🎈葉加瀬のAI研究宀 ~あいラボ~ 蚘事/動画/質問プラン

¥2,599 / 月
あず1人募集䞭
このメンバヌシップの詳现
ログむン

この蚘事が参加しおいる募集

#AIずやっおみた

42,582件

この蚘事が気に入ったらチップで応揎しおみたせんか