超絶技巧の工芸作品をCTスキャンしてAR演出した話
Dentsu Craft Tokyoでエンジニアをしている朝倉です。
Dentsu Craft Tokyoでは「KOGEI Next」という超絶技巧と呼ばれる技術を持つ工芸作家と環境問題といった現代社会の課題やデジタル技術を繋ぎ合わせることで工芸の次のすがたを実現させる活動に協力しています。
「KOGEI Next」との連携の1つとして、鉄鍛金家・本郷真也さんの作品「Visible01」のAR演出を2022年3月に開催されたアートフェア東京2022での展示のために制作しました。そのAR演出が岐阜県現代陶芸美術館で現在開催中の展覧会「超絶技巧、未来へ！ 明治工芸とそのDNA」(会期: 2023年2月11日〜4月9日)でも展示されています。
この記事では「Visible01」のAR演出について解説したいと思います。
「Visible01」はカラスを題材に鉄を素材とした鍛金による作品です。元はただの鉄の板だったとは思えないほど細部まで作られ、なおかつ指やくちばしなどが可動するリアルなカラスはそれだけで驚嘆するほどですが、なんと外側だけでなく目に見えない骨格や内包物までもが再現されており、まさに超絶技巧と誰もが唸るような作品です。
この目に見えない内側までもテクノロジーの力で可視化するために、まず「Visible01」を特殊なCTスキャナーにより内部構造まで含めて撮影しました。このCTスキャンデータを利用して、展示されている作品にiPadのカメラをかざすと画面がCTスキャンのようになり作品内部の構造が透過して見えるというARアプリを制作しました。
ARアプリはUnityで制作しました。作品の検出にはAR KitのObject Tracking機能を利用しています。この機能を利用すると、実世界の三次元オブジェクトをマーカーにしてARを表示することができます。マーカーとして利用する三次元オブジェクトは、Appleがサンプルプロジェクトとして以下のページで提供しているアプリです。あらかじめスキャンしておき、特徴点を記述したデータに変換しておきます。
今回の「Visible01」という作品は鉄だけでできており、全体が黒の同色であったり表面に光沢感があったりとマーカーとして利用するには難しそうでした。しかし、Object Trackingを試したところマーカーとして使用することができました。ただし、照明の影響が大きく、照明が異なる環境でスキャンしたデータを使用しての検出はできませんでした。そのため、本番ではライティングなどの設営が完了後に作品をスキャンし直して、そのデータを利用するようにしました。
Object Tracking機能により作品をマーカーとしてARを表示することができましたが、検出するごとに毎回異なる小さな位置ずれが発生してしまい、ARをピタリと作品に重ねることができませんでした。しかし、今回はCTスキャンという演出意図のためにカメラ映像を消して背景を真っ暗にしているので問題にはなりませんでした。
次に描画の話です。CTスキャンのように内部が透過して見える演出を実現するために、作品をCTスキャンしたデータを利用してボリュームレンダリングで描画しています。Unityでのボリュームレンダリングには以下の記事を参考にしました。
ボリュームレンダリングは描画負荷が大きく、最初に検証に利用した11インチiPad Pro第2世代では処理落ちがひどく実用的ではありませんでしたが、当時の最新機種である11インチiPad Pro第3世代は第2世代と比べて5倍程度のFPSが出たので、なんとか実用できました(ただし、それでも若干処理落ちしています…)。
以上、鉄鍛金家・本郷真也さんの作品「Visible01」のARアプリによる演出について解説しました。
繰り返しになりますが、このAR演出は岐阜県現代陶芸美術館で現在開催されている展覧会「超絶技巧、未来へ！ 明治工芸とそのDNA」で「Visible01」とともに展示されています。また展覧会は全国で巡回予定となっています。ぜひご都合のあう方はご来館していただけると幸いです。
Dentsu Craft Tokyo member
Producer | 宮下研哉
Producer | 山下誠
Technical Director | 村田洋敏
Engineer | 朝倉淳
▼ Dentsu Craft Tokyoをもっと知りたい方はこちら！
公式Twitter ：@d_crafttokyo
公式Instagram ：dentsucrafttokyo
公式FaceBook ：https://www.facebook.com/dentsucrafttokyo/
公式YouTube ：https://www.youtube.com/@dentsucrafttokyo2547
ホームページ ：https://dentsucraft.tokyo/
Dentsu Craft Tokyoでは一緒に働く仲間を募集しています。
ご興味のある方はお気軽にご連絡ください。