Midjourneyでキャラ再現機能「—cref」がリリース！ 他 / Catch up on AI 2024.3.12
Pick up
LoRAまでは及ばないが、キャラクター性を再現できる機能がMidjourneyでリリース。強度などもコントロール可能。
【キャラ再現機能がリリース！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 12, 2024
Midjourneyでキャラクターの一貫性を保ち生成ができる「--cref」がリリース。利用方法は--crefの後ろにURLで画像を指定するだけ！
標準の強度は--cw 100 強度0にすると顔のみを再現し服装は考慮しない。これは便利！#画像生成AI #AIpic.twitter.com/CGXCnxCHRG
Catch up on AI
Midjourneyの--crefを利用した一貫性テスト
【キャラ一貫性機能をテスト】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 12, 2024
Midjourneyの--crefを利用した一貫性を生成したイラストで笑顔→真顔に変えテスト。大筋の一貫性は持っている。以下強度別出力
左上：元画像 右上：cw0
左下：cw50 右下：cw100
細部は難しいが不完全ながらも、この機能は制作の幅が広がる。
続く>>#画像生成AI pic.twitter.com/QT95BhUuTZ
一貫性のキャラクターを再現でMidjourney vs Scenario の検証画像。
【画像生成AIサービスで一貫性検証】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 12, 2024
Midjourneyでキャラクターを再現できる --crefをリリースして話題になっていますが、Midjourney vs Scenario の検証画像。
流石に+LoRA + IP Adapterと比較するとまだまだなのが分かる。ここから画像1枚のみでどこまで性能を引き上げていけるかは注目。 https://t.co/2aIvv17NiC
AIアニメ+撮影で仕上げ 車から和装の女性が降りるシーンをAIでアニメ化
【AIアニメ+撮影で仕上げ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 12, 2024
車から和装の女性が降りるシーンをAIでアニメ化 + @KnKDesignのアニメーターによる撮影処理で色補正+演出少し。
単純なvid2vidをだと、まだ一貫性が厳しい部分があるが、こういう表現だという認識で現段階は作品を作れば良い。AIの進化でいずれ解決する。#AIアニメ #AI pic.twitter.com/4V67hInSrk
AIがクリエイターを補助 Muse Pro
【AIがクリエイターを補助】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 12, 2024
Muse ProはAIを搭載したiPadアプリ。様々なテイストの絵をリアルタイムに補助。
生成では無く、あくまで描くのは人間のクリエイター。細部をAIで強化するようなイメージ。
続く>>#画像生成AI #AIpic.twitter.com/q1X4OiUJq5
スクショからコード生成Screenshot to CodeがClaude 3に対応
【スクショからコード生成がClaude 3に対応】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 12, 2024
Screenshot to CodeはHTML/Tailwind CSS、React、Bootstrap、Vueなどに対応。コードを生成しDALL-E 3で画像も自動生成。
GPT-4 VisionやClaude 3を使ってコードを生成。URLからコードを再現することも可能。
続く>>#AIpic.twitter.com/aF8fDxWWux
ComfyUIを利用して、1つの動画と3枚の画像そして領域分けされたデータで動画生成
【領域分け動画生成が凄い！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 11, 2024
ComfyUIを利用して、1つの動画と3枚の画像そして領域分けされたデータを用いることでカニ的に合成されたアニメーションを創り出す。すごい発想とテクニック。
チュートリアルも公開されています。
続く>>#動画生成AIpic.twitter.com/4aCvNxWvkP
実用的なRAGに向けて⌘-R
【実用的なRAGに向けて】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 11, 2024
⌘-Rは大量のデータを処理することができるAIモデル。このモデルは外部のデータベースやAPIを使いこなし、検索や、拡張生成に特化。さらにプライバシーとセキュリティにも配慮。
こうしたモデルが普及してくるとさらに便利に、業務利用は加速しそうです。
続く>>#RAG #A https://t.co/NR5tZI3758
実世界で正しく動作するためのRFM-1
【現実世界で正しく動作するために】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 11, 2024
RFM-1は、新しく発表されたインターネットのデータだけでなく、実際のロボットの動作データも学習した、ロボット工学のための基盤モデル。
現場で働くロボットのデータを使って訓練され、現実世界で高い性能を発揮！#AI #ロボットpic.twitter.com/grByu35k1z