オープンソースの動画理解LLM PLLaVA 他 / Catch up on AI 2024.4.30
Pick up
動画を理解するLLM。時系列にそって的確に解説できている。今後LLMは動画へ。
PLLAVA: PARAMETER-FREE LLAVA EXTENSION FROM IMAGES TO VIDEOS FOR VIDEO DENSE CAPTIONING
Project：https://pllava.github.io
arXiv：https://arxiv.org/abs/2404.16994
Code：https://github.com/magic-research/PLLaVA
【オープンソースの動画理解LLM】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 30, 2024
PLLaVAは強力で効率的な動画理解モデル。様々な改良が施され、、Video ChatGPT と MVBench の両方のベンチマークで GPT4V (IG-VLM) を上回る性能に！
続く>>#生成AI #LLMpic.twitter.com/EXN0flOulp
Catch up on AI
人間とAIの共演
【人間とAIの共演】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 30, 2024
最初のシーンでAIの処理をフラッシュ的にし、人間感を見せることで、人間との共創に見えるのが良い作品。
素晴らしいバランスのクリエイティブ！#生成AI #AIpic.twitter.com/kMETUB1T0k
Open Soraがv1.1がリリース
【Open Soraがv1.1がリリース】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 30, 2024
新しいモデルをリリース！新モデルは、2秒～15秒、144p～720p、任意のアスペクト比に対応。
データセットの容量も増し、クオリティと自由度が向上。
続く>>#生成AI #AIpic.twitter.com/59KRqrNsZR
64x64pxを37Mにアップスケール Clarity AI
【64x64pxを37Mにアップスケール】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 30, 2024
Clarity AIによるほぼモザイクに近い画像からアップスケール。
AIなので再生成といったほうが良いのかもしれませんが、インパクトは凄い。
続く>>#生成AI #AIpic.twitter.com/GsbZS0QJ0U
新たなLLM gpt2-chatbotが大きく話題に
【新たなLLMが到来】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 30, 2024
突如現れてあgpt2-chatbotが大きく話題になっています。gpt-4やClaude 3 Opusが失敗するレベルの問題にも対応。
様々な実験がなされていて、引用RT元のスレッドでみることができます。
利用方法は続き>>#LLM #GPT2 https://t.co/B4Ui3p7iAI
中割生成AIがアップデート Steerable Motion 1.5
【中割生成AIがアップデート】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 30, 2024
Steerable Motion 1.5がリリース。複雑な動きが大幅にスムーズに。
ComfyUIで動作。ワークフローも公開されています。
続く>>#生成AI #AIpic.twitter.com/VpzJUw6HTA
IPAdapterとZero Shot-MTransで素材を変える
【素材を変えるAIチュートリアル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 29, 2024
IPAdapterとZero Shot-MTransで、ComfyUIで対象物の素材をリファレンスを元に変更するためのチュートリアルが公開
詳細な動画チュートリアルが公開されています。プロダクトデザイナーなどにはとても良さそう！#生成AI #AI https://t.co/OJtTQYpJUT
ロボットの見た目を変えるスーツ
【ロボットの見た目を変えるスーツ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 29, 2024
見た目はとても大切ということを改めて教えてくれる動画。ボストン・ダイナミクスの四足歩行のSpotに犬のカスタムスーツを着用。
将来ロボットの見た目のカスタム、アバター制作は商売になるかもしれない。#ロボット #デザインpic.twitter.com/DzGOFPuacY
ChatGPTのメモリ機能がリリース
【ChatGPTのメモリ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 29, 2024
明示的に忘れてほしくないことを記載すると、メモリに記録される機能が登場！
複数の事象を記録することが可能で、このメモリはチャットをまたがって記録されます。
記憶を消すことも可能です。すべての ChatGPT Plus ユーザーが利用可能。#ChatGTP #メモリ pic.twitter.com/gnz4n1oqR5