見出し画像

【生成AIニュース】『LTX-Video』『picMenu』『KingAI-UP』『text-guided-image-colorization』『DINO-X』『KaiberAIにMochi』『Runway-UP』『Automated-AI-Web-Researcher』『SAMURAI』『aituber_prompt』

fujito

まいどです。
本日の生成AIニュース。

■LTX-Video


LTX-Video は、リアルタイムで高画質な動画を生成する、新しいAIモデルです。
テキストや画像を入力として、AIが自動的に動画を作成してくれます。
かなり有望なビデオモデルらしく、海外のネット上では話題になっており、既に精度の高い生成された動画が続々と公開されています。
更に、高速で生成しつつも、VRAM消費量は少なくても生成可能だとの事です。
このリポジトリは開発者向けのものですが、Hugging FaceのデモとComfyUIのワークフローは公開されています。

■picMenu


レストランのメニューから自動で料理画像を作るAIアプリだそうで、一気に複数画像を生成することが出来るそうです。

■KingAIアップ―デート


KingAIのV1.5がアップデートされ、モーションブラシやカメラコントロールなど様々な機能が実装されたそうです。

■text-guided-image-colorization


このツールは、Stable Diffusionと、BLIPという画像とテキストを関連付けるAIを組み合わせることで、テキストガイドでのユーザーが指定した色で画像を自動的に色付けできるAIツールです。
簡単に精度の高い色付けが実現できます。

■DINO-X


DINO-Xは、IDEA Researchによって開発された、非常に強力かつ汎用的なビジョンモデルです。
開放世界物体検出・理解において、現時点で最高の性能を示しています。
事前に学習したデータにないような、未知の物体であっても、画像の中から正確に検出し、その内容を理解することができます。

■KaiberAIにMochi


動画生成AIサービスのKaiberAIに、オープンソースで話題のMochiモデルが実装されたそうです。

■Runwayアップデート


Runwayがアップデートされ、新しい機能が搭載されました。
Expand Videoと呼ばれるこの新しい機能を使用すると、入力ビデオの周囲に新しい領域を生成して、ビデオを新しいアスペクト比に変換できます。
これは、使い方によっては様々な可能性を秘めた機能です。

■Automated-AI-Web-Researcher


Automated-AI-Web-Researcherは、AIを活用してウェブ上でリサーチを行うツールです。
質問やトピックを一つ入力するだけで、インターネット検索を行い、関連する情報を集めてくれます。
集められた情報は、ソースへのリンク付きで保存され、最終的にはリサーチ内容のサマリーも作成されます。

■SAMURAI


SAMURAIは、ゼロショット物体追跡を行うための新しいフレームワークです。
ゼロショット物体追跡とは、あらかじめ学習データを与えなくても、動画内のあるオブジェクトを追跡できる技術です。
しかし名前がサムライとはｗ
アイコンも侍でした。

■aituber_prompt


AITuber本で用いたコードサンプルだそうです。
「AITuberを作ってみたらプロンプトエンジニアリングがよくわかった件」のサンプルソースコードで、本に出てきたコードを公開しているそうです。

本日は以上となります。
本日は動画生成AI関連の記事が多かったですが、それでも「LTX-Video」は群を抜いて話題になっていました。
オープンソースでありながら、有料サービス並の高精度の動画を生成しつつも、高速でVRAM消費量も少なめという点で沢山の人が早速、いろいろと生成してみてるみたいです。
これはゲームチェンジャーになり得るかもしれませんね。

SeaArtAI

それでは、また。

いいなと思ったら応援しよう！

この記事が参加している募集

#AIとやってみた

37,298件