AI動画生成で起きた問題と解決方法
今回は、AI動画生成技術を使ってバンドのMVが完成しましたよ！
その制作時に起きたデメリットと、私たちなりの解決方法をまとめたよ！
という話です。
こんにちは。コンプリヘンドというバンドでアートワーク&マネジメントをしている根本すずです。
今回MVをAI動画生成システムを導入して作ったのですが、Kaiber.AI（カイバー）というアメリカ発のAIを使用しています。
そのKaiber仕組みに簡単に触れたあと
コンプリヘンドの楽曲スタイルだからこそ、起きたのであろう問題と、その解決方法をまとめてみました。
Kaiber.AIで完成したもの
前回の記事でも書きましたが、まずは完成した『ペネトレイト』のリリックビデオです！
これはAI動画生成で起きた問題解決済みの、修正を加えられた後の完成版。
スマホで視聴される方へ
このあとYouTubeの映像を貼っていますが、現在、
YouTubeが低画質に固定されて高画質への変更もできない現象が確認されています。
対策：
スマホではYouTube公式アプリからご視聴推奨です。
高画質視聴（最大1080p）が可能となります。
確認：
・iPhone、Androidスマホ → 低画質（高画質への変更不可）
・iPad、Mac、Windows → 高画質（最大1080p選択可）
※Android系タブレット→未確認
YouTubeの仕様変更に気付いてくれた方
様々なデバイスで検証するのを確認してくれた方
本当にありがとうございます！みなさま、神様…✨
それでは、ご覧ください。
こちらがAI動画生成技術を使用して、出力された映像を中心に作ったものです。
制作したのは『Kaiber.AI』（カイバー）というアメリカ発のAIシステム。
Linkin Park（リンキン・パーク）のMVを制作したことで一気に話題になったAI動画生成サービスです。
リンキン・パークのAI動画は他にもたくさん！
Kaiber.AIの大きな特徴は、楽曲にシンクロして映像が完成すること！
他にまだないよね…？
楽曲をインプットすれば、AIが自動生成してくれます。
※ 指示文を入れることで、よりイメージに近付けられます。
MVに特化したAI動画生成システムにしたようで、ミュージシャン割引もありました！（感謝…！）
こちら↑がKaiber.aiのサイトです。
英語のサイトなので、翻訳機能を使うのがいいかもしれません。
※翻訳がおかしかったら、翻訳解除して英語の単語を調べるのがいいかも。
現在、他にもある機能としては
・実際の動画×指示文で、映像をAI的に変換する機能
・静止画を元に、近しい絵に変化していく動画を出力する機能
この２つの方法で、映像作りも可能です。
Kaiber.AIの仕組み（音楽からの動画生成）
今回作ったMVで使用したのは『楽曲から自動で動画を作る』機能です。
動画の内容は、静止画が次々に変化していくという印象。
映像から元に制作するのはでない限り、変化するスタイルのアニメーションになるようです。
（2023年6月現在の機能は…かも、ですが）
完成したMVを見てもらうと、スピード変更やエフェクトを入れているのでわかりにくいかな？
主に、ベースやバスドラム等の、低音のリズムに合わせて変化のスピードが変わるみたいです。
Kaiber.AIで起きたデメリット
デメリットといっても、コンプリヘンドだから起きたことでしょう。
ほとんどのアーティストには支障なく、すぐ使える映像が出力されると思ってもいいのではないでしょうか。
というのも、低音をリズムとして捉える仕組みだからこそ起きたことだからです。
ほとんどバンドは、ベーシストってリズム担当ですよね。
ですが、コンプリヘンドのベースはちょっと特徴的な立ち位置。
バンドのリードギター（メインのメロディアスなギター）に近い演奏スタイルのポジションなのです。
コンプリヘンドは2人体制のバンドなのですが、vo/gtとba/choです。
ドラムや他の音はDTMで制作するスタイル。
だからこそ2人ともメインの音になるようなバンドになったのですよね。
（ba外山が、メインに立てるベーシストであるというのも大きいです！）
なので一般的なベース音ならばリズム音に分類されるのに、コンプリヘンドでは、メインとしてのメロディアスなベース音。
その結果、Kaiber.AIの挙動が変な箇所がでてしまいました（笑）
（ベースのメロディアスさに引っ張られて、リズムと合ってない時があった…！）
問題解決は、地道
カンタンにお伝えすると、動画編集したというだけです。
やったことは、必要なタイミングに合わせてスピードメーターの調整。
これが、地味に細かな作業でした。
一部スピードを変えると、その後のタイミングがズレる…。
これ、うまくやる方法って何だったんだろう。
私は地道にタイミングを調整し続けました。
（うまくやる人いるんだろうなぁ…研究します！）
あとは追加で、もっと激しさが欲しい！と思った箇所の変化をつける作業。
反転させたり大きくスピードを変えたり。
単調にならないように、いろんなエフェクトを使ったりもしましたね。
（この変化をつける作業が楽しかった！）
このように、Kaiber.AIをそのまま使えるかどうかは、楽曲によるはず。
でも、動画編集ができる人ならば利用範囲は大幅に広がりますよね。
まとめ
Kaiberを使用して出来上がった映像を見て思うことは
・静止画が変わっていくだけである映像なので、楽曲との相性はある
・ベースやバスドラム等の低音との相性のいいEDM系は特にいいのでは？
・リズムがわかりやすい楽曲との相性が良さそう
・編集できるなら、より広い使用方法が考案できそう
このあたりでしょうか？
Kaiberの今の映像生成システムは、いつまでも静止画を変化させるだけにとどまるかどうかも不明ではあります。
なので、この面白さは今だけかもしれない。
また新しいAI動画生成技術もクオリティが上がっていくと思います。
その都度、楽しんでいける人でありたいと思います。
きっと世界は、おもしろいものが沢山あって、あなたを待っているんだよ。
見てくれてありがとうございます。
それでは、またね！
お知らせ
▶︎comprehend（コンプリヘンド）◀︎
『誰かの為だけの人生になってないか？』
『自分を生き抜く』を歌うオルタナティブロックバンド。
激しく繊細。
美しく愚直。
あらゆる要素を包括した、ジャンルの枠に囚われることのないcomprehendの音楽を構築する。
comprehend
vo/gt 根本直哉 ba/cho 外山タロウ
───────────
【シングル定期リリース中！】
💿 最新シングル『ペネトレイト』"定期配信第四弾"
🎞 comprehend公式YouTubeチャンネル
🛒 web shop（限定CD音源、公式グッズなどを販売しております）
🏠 comprehend公式ホームページ