Googleの最新動画生成AI「Lumiere（ルミエール）」
2024年にGoogleが発表した動画生成AI「Lumiere（ルミエール）」。
Google独自の仕組みによって高品質な動画を生成することができます。
一般公開時期などは未定です。
以下は実際のデモ動画です。
Google Lumiereとは
Google Lumiereは、Googleが開発した最先端のAI技術を活用した動画生成プラットフォームです。
これまでの動画生成AIはいかにもAIで作ったようなアウトプットになってしまうものが多く、見る人に違和感を与えてしまうものも少なくありませんでした。
Lumiereはとにかく質の高い動画が生成できると話題です。
実際、他の動画生成AIとLumiereを比較したユーザー調査では、テキスト→動画生成、及び画像→動画生成の両機能においてユーザーからより高い評価を受けています。
※上記青いグラフがLumiereの評価です。
他のAIよりもスコアが高いです。
高品質な動画を生成できる秘密はLumiereの動画生成の仕組みにあります。
Google Lumiereの仕組み
従来の動画生成は、まず重要なシーンごとの「キーフレーム」を生成するところから処理が始まります。
例えば、映画の中で特に重要な場面だけを絵として作るイメージです。
このキーフレーム間の動きを補完するために、時間的な処理（TSRモデル）を行い、連続した映像を作ります。
これにより、キーフレーム間のスムーズな動きを実現します。
その後、空間的な処理（SSRモデル）を行い、全体の解像度を高めて高品質な動画を完成させる、という手法でした。
一方、Lumiereは動画の空間（画像の縦横）と時間（ビデオの長さやフレーム）の両方の情報を同時に処理できます。
一度にすべてのキーフレームを処理し、画像サイズ（空間）とフレーム数（時間）の両方を切り詰められるので、より滑らかな自然な動画が生成できるのです。
この設計は、「Space-Time U-Net (STUnet)」と呼ばれています。
とにかくなめらかで自然な動画生成ができるのがLumiereの強みです。
Google Lumiereの機能
Google Lumiereには以下の機能があります。
Text-to-Video
テキストから動画を生成Image-to-Video
画像から動画を生成Video-to-Video
動画から動画を生成（動画のスタイルを変更）Cinemagraphs
画像（静止画）の一部のみを動かし、動画化するInpainting
動画の修正（動画の中の不要な要素の消去や欠損部分の補完が可能）
Google Lumiereの懸念点
料金設定
料金プランなどはまったく発表されていないため無料で利用できるのかが不明です。
近年、有料プランを設けるAIが多いので、おそらく数十ドルほどの有料プランもあるのではないかと思います。生成できる動画の内容に制限がある
1つの動画の中に別のショットを入れたり、カメラの画角を変えたりすることができません。
複雑な動画を生成する場合は、自分で動画編集する必要があります。生成できる動画は5秒間
現状生成できる動画の長さは5秒だと言われています。
ただ、この点はアップデートや有料プランへの課金で長くすることができるように思います。
なお、OpenAI社が公開している「sora」は最長1分の動画生成ができるので、目的に合わせて使い分けるのがよさそうです。
lumiere googleはいつから使えるのか？
24年6月現在、一般公開時期などは未定となっています。
まだあまり生成AIを触っていない人は、今のうちに動画のもとになるプロンプトの勉強や画像生成スキルを上げておくと、この動画生成の波に乗れると思います。
誰もが動画クリエイターになれる時代です。