見出し画像

【AIアップスケーラー】 カクダイV1を公開 （Part 1/3）

Mavericks, Inc

本記事では、私たちが作ったAIアップスケーラー「カクダイV1」の使い方を解説し、ワークフローも無料公開いたします。まずはカクダイV1のデモ動画をご覧ください！

AIアップスケーラーは，特に海外を中心に生成AIを用いた創作活動で広く使われる技術となりつつあり、今後さらに普及していくと予想されます。
しかし，その便利さに反して利用するハードルが高く，誰でも使用可能な高品質のAIアップスケーラーがあればと思い、今回作成・公開するに至りました。

カクダイV1は公開されたワークフローの中では最高品質に仕上がっていると考えています。ぜひこの記事を読んでお試しください！

この記事でわかること

  • そもそもAIアップスケーラーって何？

  • 最強のAIアップスケーラー Magnific.ai とその使用例

  • 使い方・ComfyUIの理解

本記事は、技術の中身の解説は行いません。
ComfyUIノードの中身に踏み込んだ解説や、要素技術の詳しい解説などは、クリエイター・開発者向け記事 にありますので、以下のnoteをご覧ください。
本記事未読の方は読了後に以下の詳しい解説に進むことをおすすめします！

そもそもAIアップスケーラーって何？

AIアップスケーラーとは、生成AI界隈でよく使われる言い回しで、生成AIを使って低解像度の画像を高解像度に変換するシステムを指します。ただし実は学術的には、この試みは image super resolution（画像超解像） という名で知られています。従来、超解像分野の性能向上は、生成AIモデルGANが牽引してきました。

アニメーション制作や、広告クリエイティブにも幅広く利用され、身近なところでは画像編集・加工アプリのようなものにも使われていました。

ところが、去年登場したモデルや手法は、これまでの常識を塗り変えるレベルの性能を持ちます。立役者はお馴染みの Stable Diffusion です。

Magnific AIって何？

Magnific AIは2023年11月に国内外で話題になって以降、急速に普及した、AIアップスケーラーのWebサービスです。以下のような凄まじい品質のアップスケールを実現します。

ただし、お気づきの通り、Diffusionモデルを用いたアップスケールは、従来の超解像度化の域を超えたクリエイティブな画像美化が本質です。Magnific AIは、その性質を存分に活かし、元画像をとにかく映える高解像度画像に変換します。

このサービスについてXで検索してみると、様々なところで使用されていることがわかります。
例えば、2023年は動画生成の breakout yearとして知られており、2023年末にかけて非常に高品質な動画クリップがSNSを賑わせましたが、それを下支えしたのがMagnific AIです。現在の動画生成フローにおいては、キーフレーム画像を画像生成モデルで生成した後、Magnific AIを用いて美化するというワークフローが一つの定番となっています。

また、Diffusionモデルを取り入れた3D映像制作においても、Magnific AIは利用されています。

他にも、多くの生成AI作品にサブルーチンとして、Magnific AIが採用されていることが、SNS上の投稿から確認できます。

しかしながら、このMagnific AIを利用するには、月額5900円を課金しなければいけません。
画像・動画生成AIサービスは無料クレジットを配布することが常であり、動画生成のDomo AIに至っては完全無料で提供されています。これに対し、Magnific AIはアップスケール機能のみを有するプロダクトながら、基本的には無料クレジットなしでミニマムで上記の金額になっています。（※Adobe Premiere Proが月額2700円です）。

かくして、生成AI開発者コミュニティはMagnific AIに匹敵するオープンソースアップスケーラーを作成しようと躍起になっています。特に画像・動画生成AIのワークフローツールであるComfyUIを用いた開発や議論が英語圏を中心に活発に行われており、多くのワークフローが提案されました。

今回我々は、そのような取り組みの中で出た様々な手法や取り組みを試した上で改良を加え、MagnificAI Altenativeとして高品質なオープンソースのAIアップスケーラーを作成しました。その名も カクダイV1 です。

カクダイV1はComfyUIワークフローとして提供しています。とにかく早く動かしてみたい方は、以下の使い方の解説記事をご覧ください！

ComfyUIについて軽く解説

生成AIによる画像・動画生成は、Stable Diffusion WebUIの登場によって普及したという側面があります。WebUIの登場によって、GUIベースの直感的な操作で最新のオープンソースモデルを動かすことができます。

これに対し、より柔軟な操作やカスタマイズが可能で、利用者が急増しているのが、GUIベースのワークフローツール、ComfyUIです。ComfyUIはノードの入出力を連結していくことで、生成AIのワークフローを組むことができます。
例えば、通常のtxt2imgは以下のように組むことができます。

https://github.com/comfyanonymous/ComfyUI

画像の真ん中に位置するKSamplerノードが、画像生成を実際に行うノードとなっています。ComfyUIは見た目のとっつきにくさがありますが、非常に強力な上に、最新のモデルを取り入れるのも早く、生成AIクリエイターにとってのデファクトの一つとなりつつあるツールなので、この機会に導入してみましょう

カクダイV1の使い方

カクダイV1の使い方は以下の note にまとめているので、こちらに進んでください！

カクダイV1のデモ画像

まず、冒頭のデモ動画について、説明します。
こちらは元画像が400x600で、これをカクダイV1で1600x2400に高画質化します。その画像の一部を400x600にクロップし直して再度拡大するということを計5回繰り替えして画像を生成し、それを繋げて動画化しました。
PCの性能が許せば、400096x614400の解像度の画像を生成できますが、中々そうもいかないのでクロップしています。
（こちらの動画編集の仕方に関してはまた後日 note で解説させていただきます。）

以下は4倍アップスケールの例になっています。

元画像
4倍アップスケール（denoise 0.6/0.7、controlnet strength 0.1）

他のデモに関しては、随時 X (@sayhi2ai_jp) にて発信していくので、気になった方はチェックしてみてください！

また、技術的な部分に興味がある方は以下のnoteをぜひご覧ください。

今後について

本記事では、生成AIアップスケーラー「カクダイV1」の概要と知っておくべき背景について説明を行いました！

今後、カクダイワークフローの改良を随時行なっていき、無料で公開していく予定です。
これらの開発過程やアップデート情報などは無料ニュースレターで配信していきます。ぜひ登録お願いします。

我々が運営するAIメディア sayhi2.ai の無料登録時に、同時にニュースレターに登録することも可能です！ぜひ訪れてログインしてみてください。

タイアップ・お問い合わせ・導入のご相談はDM・メールにてお待ちしております．
X: @sayhi2ai_jp
mail:contact@mvrks.co.jp