ビートルズの新曲がやってくる！ (3) AIテクノロジー

今年ビートルズ最後の新曲がリリースされるというニュースが駆け巡って2日。
限られたソースから様々な憶測や推測や意見が飛び交っています。
今回は、この「新曲」で使われているAIテクノロジーについて、書いてみます。

正直、(1)ポールが語った全貌、(2)BBCが語る真相(最後の方) を読めば概要はわかるので、手っ取り早く読みたい方は以下で🙌

ビートルズ新曲2023 (Now and Then)｜mcsky｜note

・AIテクノロジーとは

AI(Artificial Intelligence)こと人工知能は、機械学習・深層学習・生成AIなど様々なレベルのコンピュータ知能の総称です。専門家じゃないのでざっくりいきますが（間違ってたら教えてね♡）、複数のデータから共通項を見つけるのが「機械学習」、そこから音声認識や画像認識ができるようになるのが「深層学習」、そこからさらに文章や画像の創作をするのが「生成AI」と。

ビートルズ界でいうと、映画「ゲットバック」やリボルバーリミックスで使われたのが、「機械学習」を基にした音声分離技術や彩色技術。先月ネット上で話題になった「近年のポール曲を若いポールに歌わせてみた」「ポールのソロ曲をジョンに歌わせてみた」みたいなやつが「生成AI」を使った技術ってわけです。最近話題のChatGPTももちろん生成AIですね。

で、今回の新曲で使われているのは、映画「ゲットバック」やリボルバーリミックスですでに使われている音声分離技術です。言い換えれば、映画「ゲットバック」も多分に「AIを使った映画」と。

・「ゲットバック」のAI技術とは

では、映画ゲットバックで使われたAIテクノロジー、音声分離技術とはどんなものだったのでしょう？
ご存知の通りゲットバックセッションの音源は、マイクを配置してレコーディング・ドキュメンタリー用に録音していた音源と、ナグラテープなる全体記録用だった雑音バリバリ音源が存在します。で、映画ゲットバックを日記調の忠実なドキュメンタリーにするために、ピータージャクソンは雑音バリバリのナグラテープもガッツリ活用しました。
昔からゲットバックセッション音源を聴いてこられた方々には当然と感じる通り、この雑音バリバリ、誰が喋ってるかイマイチわからない、なんなら会話に演奏をわざと被せてくるメンバーたち、、の音源を使うには、音声分離技術が欠かせませんでした。
そこでピータージャクソンのチームとエミールデラレイとイリノイ大学のパリスサマラディスがこの映画のために開発したAI技術が、通称MALと呼ばれるニュートラルネットワークモデルです。MALはMachine Assisted Learningとビートルズのローディ・マルエバンスを掛けた名称ですね。
このモデルに、ジョン・ポール・ジョージ・リンゴの声を覚えさせ、さらにギター・ベース・ドラムなど楽器の音を覚えさせることで、モノラルテープに録音された音を一旦分離し、使いたい音源だけを強調することができるようになりました。そうして、雰囲気も音源もカオスだったゲットバックセッションが、一昨年公開された映像・音声鮮明な映画「ゲットバック」として甦ることになったのです。

音声分離技術についてピータージャクソンが語っているムービー（55秒以降)

この技術をリボルバーリミックスに活用したことを語るジャイルズマーティン

実際にこの技術を使って音声分離をした「ヒアゼアアンドエブリホエア」

同じ技術を使って、ビートルズ時代の音源からジョンのボーカルを抜き出し、ライブでポールと共演させた音源

このように、ドキュメンタリー用に開発した技術が、アルバムのリミックスやライブの場にまで広がるようになりました。

ビートルズの新曲ではこれらの実績を踏まえて、ジョンが自宅で録音したデモテープから、ジョンのボーカルだけを抜き出すのに同じAI技術を使ったというわけです。

ちなみに、「雑音を除去するため」とのみ一部で言われていますが、ピアノ演奏も分離しているだろうし、ポールにとっては「普段のレコーディングのようにボーカルだけをキレイにして取り出せた」という印象のようです。

・生成AIを使った曲

最後に、最近話題になった生成AIを用いた、ビートルズ関連曲の紹介です。
これはファンたちのお遊びなので、こういうものが新曲に使われるというわけではありません。

ポールは新曲の存在を明かしたインタビューの中でこういった曲の存在について、「おもしろいよね。ジョンが僕の曲を歌ってるのがあるよっていうけど、違う、それはAIに過ぎないんだ。そういうのはちょっと怖いと思うよ。でも同時にエキサイティングでもある、それが未来だから」と語っています。

そんなポールはすでに2年前に、深層学習を用いて、自分の若返らせ映像を使ったMVを作っているので、心の底で今更と思っているかもしれません。

あるいは自分のボーカルが嫌いでエコーをかけたり試行錯誤を繰り返していたジョンだったら、オートチューンだけでなく、こういうものにも手を出していたかもしれないですね？

さて次回は、「Now and Then」について、、にしようかな。