無料の動画生成AI「HelloMeme」を徹底解説💖 疑似・Runway「Act-One」？な可愛いキャラ動画を簡単に作れる✨初心者でも簡単！静止画が生き生きと動き出す！✨
どうも皆さん！家のカギを探すときは、まさかの「今持ってるハズ」状態になる、そんな日常を生きてます！葉加瀬あい（ハカセアイ） です！
今回は、 HelloMeme について解説をしていきたいと思います！
「なんだか面白そうなツールかも？」と思った方もいるのではないでしょうか？
Runway社の新技術「Act-One」に似た技術？
HelloMemeは、あの有名な 動画生成AI の Runway の 「Act-One」 に似た技術が使われている(？)みたいなんです！
もしかしたら、「Act-One」についてまだよく知らない方もいらっしゃるかもしれないので、簡単に説明いたします！
静止画が動き出す？驚きのAIツール「Act-One」
Act-Oneは、なんと 静止画が動き出す ような、 表情と動きが一致した動画を生成できる 、驚きのAIツールなんです！
しかも、元の画像のスタイルはそのまま保たれるんですって！これは凄すぎますよね！
オープンソース版「Act-One」、HelloMemeのすごさとは？
なんと、 静止画 と 動画 を入力するだけで、入力動画の表情や動きを忠実に再現した新しい動画が生成できてしまう技術の オープンソースバージョン 、つまり 無料 で使えるバージョンが登場しました！
それが今回ご紹介する HelloMeme です！
「むむ、これは気になるかも…！」と思われた方もいるのではないでしょうか？
これはぜひとも使ってみたい技術ですよね！
「HelloMeme」でどんなことができるの？
それで今回に関しては、こんな感じで 元となる参照画像 を用意しまして、その画像の顔で、元々の動画の表情や動きを忠実にトレースして再現する、 AIおしゃべり みたいな形のものを作っていきます！
初心者には難しい？「ComfyUI」の使い方
「HelloMeme」を使うためには、 ComfyUI という、こんな感じで各ノードをつなげたりする技術を使用していきます。
そのため、少し人によってはとっつきにくいと思われる方もいるかもしれません…。
ただ逆に、 とっつきにくいからこそ他の人が参入してこない ので、今チャレンジするとその分より大きな利益になるわけです！
実際、結構AIの生成コンテンツとかで、TikTokとかInstagramとかで人気がある方は、この ComfyUI を使って最新技術に触れていたりします。
なので皆さんも、この ComfyUI をマスターすれば、かなりプロの技術に近づけますし、AIコンテンツの投稿で月に100万円とか稼いでいると言われている人たちと、 同じステージに立つこともできる ということです！
初心者の方も安心！丁寧な解説でサポート
「でも、そもそもどうやって使えばいいのかわからない…」という方もいますよね？
今回の記事とその他の関連記事では、その部分についてもしっかり初心者向けに、 丁寧に解説 していきます！
もし、わからない部分がありましたら、noteのメンバーシップの入門者さんであれば 質問対応 も受け付けております！
これは実際に記事や動画を見られている方だけのチャンスになるので、ぜひご活用ください！
今回はHelloMemeについて解説します！
ということで、今回は
①まず最初に、 HelloMemeの概要 と記述の詳細について解説します。
②次に、HelloMemeの基本的な インストール方法 や 使い方 を解説します。
③最後に、HelloMemeの関連技術でもっと いろんな動画 を作ったり、動画を ループ させたり、あとは元の参照画像となる 高品質 な画像を簡単に用意する方法などを解説していきたいと思います！
メンバーシップの紹介
それから、私のメンバーシップに入門されている方は、いつものように記事内容を『 動画 』で見ることができます！
こちらのURLからご覧ください！
https://note.com/ai_hakase/n/n9e231318af42
英語版の紹介
それと、 英語版 もお届けしています！
最新のAI技術を学びながら 英語学習 も一緒に進めたい方は、こちらのURLからご覧ください！
https://note.com/ai_hakase/n/n2e5ad7388836
Noteメンバーシップ入門者さんへのサポートについて
それから、 Noteのメンバーシップ入門者さん には質問対応なども行っています！
感想や質問などありましたら、できれば Xのリプライ で教えてください。
XのDMやNoteのコメントでも構いません！
※ 質疑応答の際は『 NoteのID + 質問したいNote記事のURL 』を添えていただくとスムーズです。
それでは、本日もよろしくお願いいたします！
話題の最新AI技術「HelloMeme」とは？
はい！では、早速 HelloMeme の技術について、もう少し詳しく解説をしていきたいと思います。
忠実度条件付き拡散モデルについて
こちらの技術の詳細としては、 忠実度条件付き拡散モデル というものになります！
簡単に解説すると、元の動画にノイズをかけて、それをだんだんきれいにしていく、プラス参照画像の特徴に忠実な動画を作る、といった形ですね。
HelloMemeで生成される動画の凄さとは？
そういった技術を使うと、こんな感じで本当に色々な動画が作れるわけなんですけども、 生成時間も結構早い んです！NVIDIAのGPUであるRTX4090で250フレーム（24fpsで10秒程度の動画）の推論に約10分かかったそうです！
一般的にオープンソース、つまり無料で使える動画生成AIは30分くらいかかるのに対して、とても早いですね？
生成された動画の品質について
背景に多少の不安定さはあるものの、この人が喋っている動画をAIの顔に変換させるというユースケースでは、おそらく クラス最高レベル …。全体的には非常に良い出来栄えですね！
LoRAを使ったスタイル変更も可能！
ちなみに、こんな感じで LoRA も使うことができるので、ピクセル風にしたりとか、赤ちゃん顔にしたりとかっていうことも可能です！
VRAM使用量の詳細と動作環境
ちなみに必要な VRAM使用量 に関してなんですけども、画像生成や動画生成を行うパイプラインが最適化された関係で、なんと 12GB未満のVRAMでも動作可能 になりました！
動画生成AIって、結構50万とか60万とかする、すごい高性能なPCじゃないと実行できなかったりしたんですけども、このアップデートにより、10万円から30万円くらいのミドルレンジのPCでも気軽に使えるようになりました！
ちなみにこれからご紹介するクラウドサービスのスペックも、大体はこのミドルレンジのPCに似通った性能になるので、多くのクラウドサービスでも動かせるようになった、といった形ですね！
動画生成AIで画像生成も可能？
それで、先ほど動画がすごく簡単に作れるというお話をしましたね？もちろん、 動画生成ができるということは画像生成も可能 です！
そもそも動画生成AIは、画像生成をたくさん行って、そのキーフレームをつなぎ合わせることで滑らかな動画にしているので、こんな感じで、顔から参照させたさまざまなポーズや表情の画像を、一貫したキャラクターの顔で作ってくれるというわけですね！
LoRAの学習にも役立つ？
ここら辺の技術、私もこちらの記事で画像生成AIの LoRAの作り方 などを解説しているのですが、その LoRAの学習元のデータの準備 などにもすごく使えそうですよね？
このLoRAを作ることができると、今回のようにわざわざ参照画像を用意しなくても、同じ顔で画像生成を行って、いろいろなポーズとかいろいろな服装にしたりということも可能なので、なんだか夢が広がりますよね！
今回はComfyUIを使用！
なお、冒頭でもお話しした通り、今回は ComfyUI を使用していきます！
ComfyUIのインストールに関してなのですが、まだインストールされていない方は、こちらの記事で 無料のクラウドサービス を使って、そのサービス上でComfyUIを起動して実行する方法について、初心者向けに解説をしておりますので、そちらを参考にインストールや環境構築などを行ってみてください！
簡単にComfyUIを使えるノートブック
こちらのように、 ノートブック と言われるものを用意して、このノートブックを上から順番に実行していくだけで、ComfyUIを利用できるようにしています！気になる方はぜひご覧ください！
今回使用する環境「Stability Matrix」
なお、私は今回はこちらの Stability Matrix というツールと環境を使っていくのですが、ComfyUI上での操作に関しては特に違いはないはずです。もしエラーなどがあればコメントやXのリプライなどで教えてください！
HelloMemeのインストールと実行
それではですね！環境が整ったところで、早速 HelloMeme のインストールや実行などを行っていきましょう！
HelloMemeはこれまでお見せした通り、 無料 で使える上に PCのスペックもあまり選ばない 、すごく高性能なAIツールになります！
ComfyUIに触れてみたかったり、もっと他の人とは違うAIコンテンツの発信などを行っていきたい方などは、とってもおすすめです！
それでここからは、私のNoteのメンバーシップ、もしくはYouTubeのメンバーシップ限定にしていきたいと思います。
私のメンバーシップでは、質問対応なども行っている関係で 参加人数を制限 しております。
検討されている方は、定員に達してしまわないうちに、他の人よりもお早めにご加入されることをお勧めいたします！
入門者向け！AI画像生成ツール「HelloMeme」でモデルをインストールしてみよう！
では、入門者の皆さん、早速続きをやっていきましょう！
まずは モデルなどのインストール からですね！
この記事が気に入ったらチップで応援してみませんか？