ついに生成AIの文字の問題が解決!?「AnyText」他 / Catch up on AI 2023.12.31
Pick up
日本語や漢字などを生成AIで出力しようとすると、文字化けしたようになり可読性が全くない文字が生成されていた問題を解決する「AnyText」。漢字だけでは無くて、カタカナなども日本語にも対応。
これはさらなる進化に期待したい！
AnyText: Multilingual Visual Text Generation And Editing
Code：https://github.com/tyxsspa/AnyText?tab=readme-ov-file#inference
modelscope：https://modelscope.cn/models/damo/cv_anytext_text_generation_editing/summary
arXiv：https://arxiv.org/abs/2311.03054
Demo：https://modelscope.cn/studios/damo/studio_anytext/summary
【ついに生成AIの文字の問題が解決!?】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023
AnyTextはアリババが発表した、生成AIで日本語や漢字が再現できない課題を解決しうる技術。
Text GenerationとText Editingの2つのモードがあり、プロンプトからテキストを生成したり、既存画像をベースに書体を保ったまま打ち替えることが可能です。
続く>> pic.twitter.com/6RBKvY9rI8
Catch up on AI
ComfyUI Prompt Composerは、複数のプロンプトをスライダーで重要度を定められる拡張機能
【プロンプトの重み付を自由に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023
ComfyUI Prompt Composerは、複数のプロンプトをスライダーで重要度を定められるComfyUIの拡張機能。
これは凄い便利！パラメーターでも制御はできますが、スライダーで重みが可視化されているので直感的に生成AIをコントロールできる。
続く>>#生成AI pic.twitter.com/ldRign0mE1
Leonardo Aiでリアルタイムに生成可能な、Realtime Genがリリース。
【生成AIサービスでも次々にリアルタイムが】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023
Leonardo Ai（ @LeonardoAi_ ）でリアルタイムに生成可能な、Realtime Genがリリース。
プロンプトを入力すると、テキストの内容が即座に表示。リアルタイムで微調整し理想に近づけることが可能。pic.twitter.com/aKSv6otY3d
リアルタイム生成AIをComfyUIでも「ComfyUI-Diffusers」
【リアルタイム生成AIをComfyUIでも】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023
ComfyUI-Diffusersは、各所で話題になっている、 StreamDiffusionをComfyUIで実現するパイプライン。
ワークフローも公開されており、ComfyUIにドロップすることで簡単に利用することが可能です！
続く>>pic.twitter.com/ouoMFQwELg
マッキンゼーのレポートがハイエンド人材の職が奪われる可能性が高いとのレポート。
【AIは人の仕事を奪うか？】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023
マッキンゼーのレポートがハイエンド人材の食が奪われる可能性が高いとのレポート。
AIでは無く、AIを覚えたハイエンド人材が、一騎当千で駆逐するイメージが高い。
自分の周りの高いレベルのプレイヤーは生成AIは下駄とか金棒のような感覚で捉えてる。 https://t.co/v4jBnZKGZR
AIインタラクティブアート「Kinetic Diffusion」
【AIインタラクティブアート】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023
Kinetic Diffusionと言われるAIアートが面白い。
おそらく、動きからプロンプトを抽出し、リアルタイムに生成結果をプロジェクションされている画面に返すというもの。リアルタイム生成AIを活かした。新時代のアート作品。
続く>>pic.twitter.com/ff3j0P6AHV
2頭身のキャラにも対応したモーション生成AI「MoMask」
【2頭身のキャラにも対応】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 30, 2023
MoMaskはプロンプトで3Dヒューマンモーション生成のためのフレームワーク。
標準的な体系のキャラクターだけではなく、頭身の低いキャラクターのモーション生成にも対応。先行研究に比べてもかなりプロンプトを理解し、スムーズに動作します。
続く>> pic.twitter.com/IwSQvki1fv
生成AIのアニメ動画に、インパクトフレームと名付けられた演出を加える
【生成AIのアニメを底上げ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 30, 2023
生成AIのアニメ動画に、インパクトフレームと名付けられた演出を加えることで、AIアニメの変換しただけ感を払拭する実験。
演出を加えるってことなんだけど、全然印象が変わる。日本のアニメーター x 生成AIを見てみたい！
続く>>pic.twitter.com/f4rKwW1K8i
生成AIの手の問題を解決「HandRefiner」
【生成AIの手の問題を解決】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 30, 2023
HandRefinerは、生成AIの、手や指の問題を解決。手の指が増えたり、指がグチャグチャになってしまったり、指が再現できない問題がありましたが、軽量の後処理を加えることで解決。
生成AIのあらゆる問題は世界中が動き、少しずつ改善されているのは本当に凄い。
続く>> pic.twitter.com/xDoKAdbuVG