小石を完璧にセグメント segmenteverygrain 他 / Catch up on AI 2024.3.31
Pick up
重なり合う小石を完璧に近い形でセグメントできるsegmenteverygrain。様々な画像解析の用途で利用できそう。凄まじい精度。
segmenteverygrain
https://github.com/zsylvester/segmenteverygrain?tab=readme-ov-file
【小石を完璧にセグメント】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 30, 2024
segmenteverygrainを利用したカリフォルニアビーチの小石のセグメンテーションデモ。折り重なっている小石をほぼ完璧にセグメンテーションできている。
設計思想として、粒子のようなオブジェクトでも検出できりるように開発。
続く>>#AI #SAMpic.twitter.com/eKLKjdFx7I
Catch up on AI
現実と見間違える3DGSをPostshotで
【現実と見間違える3DGS】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 31, 2024
Postshot と呼ばれるソフトウェアでNvidia GPUで、30,000回の反復トレーニングされた3D Gaussian Splat。
Windowsのローカル環境で実現可能で、植栽、葉っぱ、照明器具等、全てが鮮明で凄まじいリアリティ。
続く>>#AIpic.twitter.com/8wGevDO6Jg
BMWの100年の歴史を生成AI動画で
【BMWの100年の歴史を生成AI動画で】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 31, 2024
一貫性の高い、現実と見間違えるほどの生成AI動画も良いけど、こういった、あるいみAIらしい動画も良い。
表現の一つとして捉えて、作品やコンセプトによって使い分けることが大切。#動画生成AIpic.twitter.com/CnmMgrC2pf
生成AIにアニメーターがどう向き合うのか。一つの可能性について
本日21時からのサンデーステーション（@Station_sun）にて、生成AI領域をサポートしている。アニメスタジオK&KDesign（@KnKDesign）さんの生成AIの取り組みの一部が特集されます！
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 31, 2024
生成AIにアニメーターがどう向き合うのか。一つの可能性について放送！
※予定変更の可能性があります。#生成AI https://t.co/hM7MyFRyuv pic.twitter.com/kRNfHHt5mT
Apple Pencil を Apple Vision Proが連携!?
【空間に文字を残せるように!?】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 31, 2024
まだ噂レベルですが、 Apple Pencil を Apple Vision Proに接続できるようになるみたい。以下はそれを想定したデモ動画。
WWDCでApple Vision Proも色々と発表がありそう。今から楽しみです。#Apple #VisionPropic.twitter.com/fRBkFMVS2z
ブラウザでOCRを実現
【ブラウザでOCRを実現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 31, 2024
Tesseract.js と PDF.js を使用して、画像と PDF に対して完全にブラウザベースで、OCRを実行するWEBアプリケーション。
こういったことがWEB上で可能になるのは、多くの人の利用が進み、領域ごと新たなステージへと進む場合がある。
続く>>#OCRpic.twitter.com/mMwKhfc1nT
線画→ノーマルマップを生成
【線画→ノーマルマップを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 31, 2024
光源の方向と距離が簡単なインターフェイスで自由に設定できるのが良いですね。リファレンスとしてその他、生成AIでも、ノーマルマップを利用する例も増えてくると想定。
3日間のアーリーアクセスの後フリー公開されるそうです！
Devloper：@tori29umai#生成AI #AI https://t.co/1RY3rHkS9a
スケッチから画像を生成 Adobe Firefly structure reference
【スケッチから画像を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 30, 2024
Adobe Firefly structure referenceを利用することで、線画から画像へContorlNetのCannyのような利用方法。
これがAdobeでできるようになったというのが、かなり強い。クリエイターと生成AIのコラボレーションが進みそうです。#画像生成AI #AIpic.twitter.com/V6ThkjSmPb
VLMを利用してオンラインチェス
【VLMを利用してオンラインチェス】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 30, 2024
ChatGPT 4 Vision / Claude 3 Visionにオンラインチェスのスクリーンショットを送り、正しく状況を理解できるかの実験。
結果としてボードのレイアウトを理解し、駒の位置を識別し、有効な1手を考えることができたとのこと。#VLM #AI pic.twitter.com/0HenJvZbhz