尊敬するChatGPTマルチモーダルの先駆者たち
ChatGPTで画像入力ができるアップデートがリリースされて24時間が経過…
ついにChatGPTにマルチモーダル機能が搭載
— あるる ChatGPT × AIツール (@chatgptair) September 26, 2023
画像をChatGPTに送ることが出来ます
音声での会話も可能になり本当に映画のような進化を遂げました。 pic.twitter.com/hWPnovwi6L
私の画面は、、、「変化なし」
そんな中、地球上には先駆者たちがXで続々と自慢しあっている。
羨ましがるだけでは、つまらないのでどんな使い方をしているかまとめてみることにした。
もう使えるようになった人はドヤ顔で試したり、まだの人は指をくわえて読んでみて下さいw
これくらいはお手のもの
画像の内容を質問したら、回答してくれる
背番号認識もChatGPTで良さそう..すご pic.twitter.com/fVi9Attxbl
— Atom Scott (@AtomJamesScott) September 26, 2023
ワイのChatGPTのアカウントもGPT-4V（画像認識）使えるようになってた！ pic.twitter.com/tHyiAJjl6K
— Dory | LLM | AI Agent (@dory111111) September 27, 2023
Pretty neat GPT-4 multimodal (images) 🔥: pic.twitter.com/fdFKiBhm0i
— Marco Mascorro (@Mascobot) September 27, 2023
ミーム作らせたい！
ChatGPTにミーム画像貼って解説してもらうのめっちゃ便利じゃん pic.twitter.com/5ppfo3ElK0
— catnose (@catnose99) September 27, 2023
ピカチュウにも見えなくないのに
GPT-Vの分析性能、かなりすごいな。ネットにリソースがなさそうな、滅茶苦茶な画像でも解説できる。 pic.twitter.com/WHa3pb74q4
— 深津 貴之 / THE GUILD / note (@fladdict) September 27, 2023
絵・写真だけじゃない
ちょっと複雑なフロー図も理解
Show ChatGPT-4 Multimodal an image and your output is an explanation.
— Brian Roemmele (@BrianRoemmele) September 26, 2023
We are in a new universe. pic.twitter.com/WqtfBEv8Ga
図表も理解できる
英語のほうがOCR精度が良いし色々試してるけど、シンプルな図表のReasoningはかなりできる。図表に含まれない背景情報も、GPT内部の知識で補えるのが強力。 https://t.co/hJteyJrFLw pic.twitter.com/8pFu3Cl4j3
— Shohei Hido 比戸将平 (@sla) September 26, 2023
グラフも読み取れる
ChatGPT 氏。恐らく OCR 的に画像そのものも見ている可能性がかなり高い(/・ω・)/
— bbz (@bbz662) September 27, 2023
- 文字列の抽出
- なんとなくのグラフ判断
- なんとなくの地図情報の判断
etc...
めちゃくちゃできる
ただ日本語の読み取りはちょっと弱い(/・ω・)/ pic.twitter.com/UTRqz15E23
画像認識と自然言語処理のハイブリッド
GPT-4V
— AI𝕏サトシ🐟 (@AiXsatoshi) September 27, 2023
自動運転、危険予知の可能性
未来のナビにはAIアドバイザー必須かも pic.twitter.com/qcknOaxFHt
まだ、惜しい部分もある
人間でも難しい内容だからな
GPT-4VでCAPTCHAを試すの巻
— Dory | LLM | AI Agent (@dory111111) September 27, 2023
（実際のものでなく、Google検索でひっかかったサンプルを利用させていただきました）
惜しい！！ pic.twitter.com/jikO0j7P0N
OK, just got GPT-4 with vision, and it is both awesome and limited in the way Bing has been (no surprise, they are the same system), but it may be a bit more capable.
— Ethan Mollick (@emollick) September 27, 2023
It does amazingly at many things, but also can mess up tiny details which leads to hallucinations.
Some tests: pic.twitter.com/uHy3r4ELkx
渾身のコアラが、、、( ・ω・) pic.twitter.com/xoX1ueTkMu
— bbz (@bbz662) September 27, 2023
ノーコードの定義を変える
日記の画像をもとにサイト作成
Gave GPT-4V an image of my day planner, it made the code, it worked pic.twitter.com/v70r6114UZ
— Teknium (e/λ) (@Teknium1) September 27, 2023
スクリーンショットからもサイト作成
すごい！
— Atom Scott (@AtomJamesScott) September 26, 2023
ChatGPTの画像機能で、ウェブサイトのスクリーンショットを入れると、配置や色、言葉も上手く再現してくれる！ pic.twitter.com/7iQf85Xqvx
デモであった手書きからのサイト作成も
ウェブサイトのスケッチをChatGPTに入れると、ちゃんと動くHTMLが出るのは凄すぎる pic.twitter.com/Wbt0g667Xb
— Atom Scott (@AtomJamesScott) September 26, 2023
アイディアを無限に形にできる世界になった…
GPT-4Vに、某計算機アプリのスクショを与えてこのアプリ作りたいと指示したら、正常に動いて計算もできるHTML+jsのサンプルコードが1発で出てきた。フロントエンドのレイアウトもちゃんと守ってる。開発も色々と変わりそうな予感。 pic.twitter.com/IuSIwub5av
— FabyΔ (@FABYMETAL4) September 27, 2023
仕事なくなる…
さっき流れてきたコストコで金の延べ棒を販売することのビジネスメリット考察をGPT-4Vにお願いしてみたけど、画像1枚でこれ。
— FabyΔ (@FABYMETAL4) September 27, 2023
めっちゃ優秀なマーケターでもこのレベルはすぐに出せないと思う。 pic.twitter.com/deUDwtZKd4
GPT-4VとCode Interpreterを使って、グラフ作成無敵マンになる方法を発見した。
— Dory | LLM | AI Agent (@dory111111) September 27, 2023
グラフの元データがどっか行って絶望した過去の俺は、無事成仏しました...南無...
【グラフ→データ】
グラフをcsvデータに変換して！をGPT-4Vにお願い
【データ→グラフ】
Code Interpreterでcsvをいい感じのグラフに pic.twitter.com/uuMTwFlLej
ChatGPTの画像認識すごいすね。
— DEG (@DEG_2020) September 26, 2023
画像のチャートがドル円であること長期であること150円の心理レベルが存在することを理解してる。 pic.twitter.com/mM75BzPVUo
こんな使い方まで？
GPT-4Vで画像を説明してもらうと、これをプロンプトにして新しい画像が作れるので、バリエーションが無限に！ https://t.co/iQTPDbOJsQ pic.twitter.com/GRsGoqOlvp
— kei07224 (@kei07224) September 27, 2023
GPT-4Vで写真のアドバイスがもらえるのだけれど、写真家の皆様に試してもらって、レビューを頂きたいです。。。 pic.twitter.com/Ug9jGrGXbT
— R.Miyauchi (@ryuji108it) September 27, 2023
他にも無限の使い方ができると思うので、いいのが見つかり次第、更新していこうと思います。
私のアカウントにも早く搭載されるますように…