音楽業界に革命を起こす？富士通とAmadeus Codeが共同研究した音楽生成AIが目指す未来

こんにちは！富士通 広報note編集部です。
富士通研究所と、数々のヒット曲を手がける音楽プロデューサー井上純氏率いる株式会社Amadeus Code（以下、Amadeus Code）は、革新的な音楽生成AIの共同研究に取り組み、既存の音楽生成AIとは一線を画す、クリエイターとAIが協働する新しい音楽制作に挑戦しています。
この取り組みについて、2024年12月12日に開催した富士通テクノロジー戦略説明会で、サプライズ発表し、参加したメディア・投資家・アナリストの方々からも多くの反響をいただいています。

富士通の高度な技術とAmadeus Codeが著作権を持つ高品質なオリジナル4万曲のデータにより実現する、クリエイターの創造力を刺激する音楽生成AIについて、詳しくご紹介します。

■まずは、共同研究のメンバー紹介から！

左から、富士通研究所 フェロー 津田 宏、株式会社Amadeus Code 社長 井上 純氏、富士通研究所 人工知能研究所 加藤 圭造、富士通研究所 コンピューティング研究所 高 虹、富士通研究所 コンピューティング研究所 栗林 壮太郎

富士通側は、所属部門から異動することなく、自分のスキルや経験を活かすために他の部門のプロジェクトなどへ挑戦できる「Assign Me」を通じて、津田が音楽好きの研究者を募り、集まったメンバーです。

■音楽制作がもっと楽しくなる！クリエイターのインスピレーションを刺激する生成AI

世の中にある音楽生成AIは、どんな曲を作りたいかというイメージを入力すると、完成した曲が生成されるのが一般的です。今回の共同研究で目指したのは、生成AIを単なる音楽生成ツールとしてではなく、クリエイターの方に楽しく、創造性を刺激されながら活用できる環境を提供することです。
具体的には、従来の生成AIが既成の楽曲を学習データとするのに対し、本共同研究では、Amadeus Codeから提供された、ドラムやベースなどのパートを自由に抜き差しできる高品質なデータを使用することで、目的に応じた学習を可能としました。
「AIが曲を完成させる」のではなく、「AIとクリエイターがともに楽曲を作りあげていく」。これが、今回の音楽生成AIの大きな特長であり、クリエイターのインスピレーションを最大限に引き出す、革新的なアプローチです。

■「完成させない」AIの可能性

クリエイターが生成AIに期待したことは、どれだけ良い楽曲を作ることができるのか。しかし、音楽には奥行きがあり、どうしても計算が複雑になってしまう。そうすると結局、単なるメロディーと歌詞の組み合わせになってしまい、その期待に応えられていませんでした。そこで、「完成させない」という新しいアプローチで、完璧な楽曲を目指すのではなく、7〜8割程度の完成度でクリエイターに提供することで、彼らの創造性を刺激し、新たな音楽を生み出す協働関係を目指しました。この「不完全さ」こそが、新たなインスピレーションの源泉となります。さらに、生成AIの問題とされる「ハルシネーション（幻覚）」も、エンターテインメントの世界では、「もっともらしい嘘」として許容され、魅力にもなっています。

■富士通研究所の高度な技術で、音楽生成の高速化を実現

従来の音楽生成AIでは、30秒の音楽を生成するための時間が、高価なGPUを使用し、約20分かかっていました。これに対して、今回、ネットワークの構成を分析して機能の重要性が低い部分を特定し、これらの部分に対してモデルの軽量化とビット削減を行うことで、音楽の質を維持しつつも、生成にかかる時間をわずか1分に短縮しました。さらに、1枚のGPUでも高速に複数の楽曲生成を同時に可能とする、富士通研究所が開発した「AI computing broker（ACB技術）」を活用することで、単体GPUを用いた複数楽曲の生成速度において、1.5倍の高速化を実現しています。

■クリエイターとの共創で生み出された楽曲をご紹介！

今回、ヒップホップのビートメーカー/プロデューサー/DJである呼煙魔氏、ギタリストのYukihide YT Takiyama氏など、第一線で活躍するプロのミュージシャンに参加いただきました。Amadeus Codeが著作権を持つオリジナル4万曲のデータを学習させた音楽生成AIで楽曲素材を生成。この素材をベースに、呼煙魔氏がビートトラックを制作し、YT氏がインタープレイ（ビートに対して自分だったらこう返すという、ジャズにおける掛け合い）で楽曲に新たな要素を加え、最後に井上氏がメロディーラインとベースを構築するというクリエイティブな流れで楽曲を制作しました。

それでは、音楽生成AIが生成した楽曲と、プロのミュージシャンによるアレンジ後の楽曲を聴き比べてみてください！

音楽生成AIは、音楽業界に革命を起こす可能性を秘めています。
今後も富士通は、生成AIを活用し、音楽業界に限らず様々な業界との協調で新たな価値の創出を目指していきます。広報noteでも紹介していきますのでご期待ください！

■共同研究参加メンバープロフィール

・株式会社Amadeus Code　社長　井上　純
数々のヒット曲を手がけた音楽プロデューサー。米国・バークリー音楽大学卒業後、大手音楽プロダクションを経て独立。AIを活用した音楽制作の未来を切り開くべく、Amadeus Codeを2012年に設立。
・富士通研究所　フェロー　津田 宏
データ＆セキュリティ研究領域に長らく従事。生成AIの最大の課題である著作権に対する面白いトライアルができないかと本プロジェクトをリード。
・富士通研究所　人工知能研究所　加藤 圭造
大学時代から音声分野を研究し、富士通入社後は、動画像向けの技術開発に従事。その後、Carnegie Mellon Universityへの訪問研究員を経てAI研究に専念。ハードロック好きで、DTM経験も豊富に持つ。
・富士通研究所　コンピューティング研究所　高 虹
富士通入社後、ハードウェア（電源回路）の設計に携わり、その後、AI高速化や量子化学計算の大規模化・高速化技術開発に従事。趣味はクラシック音楽。
・富士通研究所　コンピューティング研究所　栗林 壮太郎
富士通九州ネットワークテクノロジーズ入社後、画像処理や高周波回路設計、AI等の開発・事業部門を経て、ポスティング制度で富士通研究所へ。現在は材料工学へのAIの適用研究に従事。歌謡曲、アイドルソングが好きで、趣味は小型シンセサイザー収集と打ち込み。

おすすめ記事