動画生成AIも超高速へAnimateDiff-Lightning / Catch up on AI 2024.3.21
Pick up
動画生成も大幅にスピードアップ。従来の10倍へ、今後さらに生成AIによる動画は試行錯誤が加えられる環境となった。
AnimateDiff-Lightning
Project：https://huggingface.co/ByteDance/AnimateDiff-Lightning
Model：https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main
Demo：https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning
【動画生成AIも超高速へ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 20, 2024
AnimateDiff-Lightningは、超高速のtext-to-video。オリジナルのAnimateDiffよりも10 倍以上速く動画を生成することが可能に。
デモの速度が凄い。この速度なら気軽にカメラアングルとかプロンプトなど創意工夫ができそう。
続く>>#動画生成AIpic.twitter.com/11a5lErlzt
Catch up on AI
自然言語で音楽を生成 Hydra II
【自然言語で音楽を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 21, 2024
Hydra IIはシンプルなプロンプトで音楽が生成できるサービス。
・日本語にも対応
・800以上の楽器に対応
・高度な編集ツール
・著作権をクリア
・100万曲以上のRightsify所有曲でトレーニング
続く>>#音楽 #生成AIpic.twitter.com/KGxYbZ0HT1
楽天が大規模言語モデル公開
【楽天が大規模言語モデル公開】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 21, 2024
楽天がHugging Faceで、RakutenAI-7Bなどを公開。 Mistral-7B-v0.1をベースに開発。Mistralを32kから48kに拡張することで、日本語の文字あたりのトークン効率を向上。
ライセンスはApache 2.0で商用利用も可！
続く>> pic.twitter.com/g5x4WQFt1L
AI生成画像からプロンプトを抽出 Image Metadata Extractor
【AI生成画像からプロンプトを抽出】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 21, 2024
Image Metadata Extractorは、A1111などを用いず、単独で、AI生成画像からプロンプトを抽出してくれるツール。
Animagine XL、Novel AI、Automatic1111、ComfyUI、および StableSwarm UIからのメタデータに対応
続く>>#画像生成AIpic.twitter.com/pVsEmbBAid
動画のアウトペイント Be-Your-Outpainter
【動画のアウトペイント】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 21, 2024
Be-Your-Outpainterは、画像生成AIなどでもよく利用される、入力された画像の外側を保管して生成するアウトペイントを動画で実現可能にした技術。
かなり精度が高く、アニメから実写まで違和感なく、動画の外側が生成されています。
続く>>pic.twitter.com/jmBhpJPtsw
モデルをマージして基盤モデル Evolutionary Model Merge
【モデルをマージして基盤モデル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 21, 2024
Evolutionary Model Mergeは既存のモデルを組み合わせる事によって、ユーザーが期待する能力を持つ新しい基盤モデルを生成できる技術。
画像生成AIのようにマージができるとすると、情勢が大きく変わりそう。
続く>>#生成AI #LLMpic.twitter.com/8G3vNG9cZM
マンガの多言語翻訳 manga-image-translator
【マンガの多言語翻訳】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 21, 2024
manga-image-translatorはマンガ画像を読み込ませると、OCRで、画像中のテキストを自動識別、ユーザーが指定した言語に翻訳します。
どの程度の翻訳の精度かマンガ特有の表現がなされるのかは定かではないが、これは便利そう。
続く>>#漫画 #翻訳pic.twitter.com/DL4RIGLdvT
日本語の歌詞も歌える 楽曲生成AIがアップデート Suno AIがV3をリリース
【楽曲生成AIがアップデート】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 20, 2024
日本語の歌詞も歌える @suno_ai_ がV3をリリース。さらに表現豊かに、自然になった気がする。
音楽のプロで無いのでもはやAIかどうか、耳だけではわからない。様々な生成AIが一段クオリティを上げてきている。
是非音声ONで！#生成AI #歌pic.twitter.com/B1zKrfogrr
ミニチュアのような世界観 AI video ad project
【ミニチュアのような世界観】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 20, 2024
AI video ad projectは、AIに全てを任せるのではなく、脚本を書き、絵コンテを一から作成し制作されたAIによる動画。
建設専門家向けの AI 契約分析ツールの広告として制作され、様々なAIツールをかけ合わせて制作。
Creator：@bstuartTIpic.twitter.com/bLpkorZ6hB