今週気になったテックとかのニュース 2023.09.22
個人的に今週目にして気になったトピックです。テックと言いつつジャンルは雑多です。チーム向けに共有していたものを外に出してみる実験です。
Luma AIよりいいかもしれない3Dスキャンアプリ「Kiri Engine」
タイムラインで「Kiri Engine」という3Dスキャンアプリっぽいのを見かけた。
メッシュが綺麗なこと、特徴点の少ない表面がツルツルして柄のないものが得意そうなのが特徴か。
現状NeRFを使用した3DスキャンアプリはLUMA AIとKIRI Engineくらいしか無いと思うけど、この比較はエグい…KIRI EngineはNSR(Neural Surface Reconstruction)を用いて高品質なサーフェイス生成を行うと。
— モジョン (@mojon1) September 23, 2023
まぁLUMAはメッシュ化を目的として無いだろうけど#KIRIEngine #NeRFhttps://t.co/Z9WwhqhM5S pic.twitter.com/G2o3iDihca
3Dスキャン泣かせの黒くてツルテカなリモコンでテストしてみたけど…KIRI EngineのNSRを利用したベータ機能が圧倒的に良い。これは革命だわ。
— モジョン (@mojon1) September 23, 2023
世間じゃiOS17のObject Capture APIが話題だけど、個人的にはそれよりNSR(Neural Surface Reconstruction)の性能に驚いてる。#KIRIEngine #NeRF #3DScan pic.twitter.com/DkpcNcqgFc
入れて試してみた。
まだiOS16のiPhone13 Proに入れてみた。
LiDARついてるしいけるやろ、ということで。
とりあえず部屋スキャンをしてみた。これは話題になってる機能とは別だけど。
これiOSのRoomPlanだな。
さくさく部屋スキャンしてくれて、概ねあってる感じのものが出てきた。PCにエクスポートしたらUSDZで書き出された。
ちょっとした物体（人形とか）をスキャンしてみようと思って、よくわからないがシーンスキャンではないだろうし、物体補足かなと。思ったが、できない！
iPhone13 ProはA15チップだから、チップの要件は満たしているが（ていうかA14バイオニックチップとか言われて多くのユーザーはわかるんだろうか？）iOSの要件を満たしていなかった。
ちなみにLiDAR付きのiPad Proも持っていて、そっちはiOS17にすぐにアップしていたんだけど、第二世代なのでチップがA12…。
仕方ないので今、iPhone13ProをOSアップデートしてる。今週のこれには間に合わなさそうなので来週続きを書くか。
🌟ついに #iOS17 の登場✨ 今回の一番の注目は、Appleからの新しい3Dスキャン用API、Object Capture📸 早速、3Dスキャンアプリ #KIRIengine でObject Captureを体験してみました💕このおかげでアプリ開発時に3Dスキャン機能を組み込めるようになりましたね✨ #ObjectCapture pic.twitter.com/nV6QEu3fj9
— arara | AR (@ARAPPLI) September 21, 2023
その間にもう少しTwitterを眺めてみる。どの機能がそれに該当するのかよくわからないが、iOS17のObject Capture APIを使ってるっぽい。
Object Capture APIはmacOSには以前から搭載されていて、RealityCaptureなどの有料ソフトに劣らない、むしろ部分的に勝るようなフォトグラメトリ（写真から3Dを作る）機能だった。でもなんせAPIしかなくてアプリがなかったのでそんなに話題になった気がしない。
ちなみにどういう部分がRealityCaptureに優っていたかというと、写真以外のデータも読み込んで、補足情報として使ってた。具体的には、それ用の撮影アプリのサンプルがAppleから出ていて、それを使って撮影したデータを用いてmacでObject Captureを使うと、写真データだけでなくLiDARや他のセンサー（どれだか忘れた）からのデータも使っていた。それによって、例えばその物体の実際の大きさなどを再現できたりした。
どういうことかというと、写真から3Dを起こしても、どれだけ綺麗にできているかとは関係なく、それが実際1mの物体なのか、とかはコンピューターにはわからない。だけど、iPhoneのそのサンプルアプリで撮影したデータにはそういう情報が含まれていて、スケールも再現するよ、みたいな。
しかし、これがObject Capture APIだとすると、KIRI Engineの機能というよりは、このアプリのこの機能についてはネイティブAPIのラッパーという理解なのだが、どうなんだろう。
OSアップデートがまだ終わらないので、終わったら試す。
リアルタイムにAxiDrawを動かす
友人のエンジニアであるyuskegotoさんがペンプロッターのAxiDrawをリアルタイムで動かすやつを作ってた。
ペンプロッターっていうのはこういうの。ペンをモーターで動かしてなんか描ける機械。それの有名なメーカーがAxiDraw。
ただ、普通はこれ、あらかじめこういう絵を描いてね、っていう完成したデータを入力して、その通りに書いてもらう。
そうすると何ができないかというと、例えばこういう美術館でよくみるような、「その時の温度を記録し続ける」とかそういうことはできない。なぜならあらかじめデータが決まっていないから。
で、そういうのできるようにしようというのが今回の試み。↓これはしばらくの時間、音を記録していったみたい。
リポジトリはこれ。
なんか作品に使いたいな。
終わりに
あの頃はこんなことが気になってたんだなとか、これが盛り上がってたんだなとか、もしくはこの辺りの頃はあんまりアンテナに何も引っかかってないなとか、そういうのが後で見返せるスナップショットとなっているのも面白いと感じています。
後から見ると間違ってたなと思うこともあるとは思うんですが、まあそれも許容していこうと思っています。
書き終わるまでにiOS17にアップ終わるかなって思ったんですが終わりませんでした。