Google が発表したPHORHUMって何？
皆さんこんにちは、VRC note編集長の八重樫です。
先日、Googleが研究開発しているPHORHUMというサービスについての論文が発表されました。
論文によると、PHORHUMというのは、写真からリアルな3Dモデルを作り出すことができるそうです。写真上で見えていない部分についても、推定して画像化することができる技術となっているようで、これができることで現在需要が増している仮想現実での利用やバーチャル試着などの利用に役立てることができると想定しているようです。
今までのソリューションにおいては、レンダリングなどに様々な課題がありました。それをPHORHUMでは克服し、高品質な人体のデジタル化に成功しているとのことです。イメージについては、以下の動画を見ていただくとわかると思います。
もう少し詳しく論文の内容に触れると、この論文では既存の人体の3Dモデルを単一の画像から再構築する手法である、PIFu、PIFuHD、PAMIR、ARCH、ARCH ++などと比較をしています。今までの手法では照明情報を含み色情報を生成しない方法もあるため、再構築されたモデルを仮想シーンに現実的に配置することはできないという問題点がありました。さらに複数のステップを踏むため計算とメモリの容量が高くなるという問題も抱えていました。これをクリアしたのがPHORHUMだということです。
以下が既存の方法と比較した表になります。（Googleの論文より引用）
まだレンダリングで損失する部分もあり、完全と言えないようですが、この技術が進歩して簡単に使えるようになれば、Webサイトの画像から3Dモデルを作りだすことができるので、簡単に写真からアバターができたり、ECサイトでも服を着たモデルの写真を3Dモデルにして確認したり、新しい体験ができるようになるかもしれません。
世の中に3Dモデルが普及していくには、やはり簡易にできることが重要だと思います。現状はまだ難しい技術が必要で一般の人が簡単には使えませんがこれが普及していくことで、3D技術が身近になり実生活での利用も増えていけばいいなと思います。
この論文はCVPRという世界最高峰の国際会議にて発表されることになっていますが、VRCもCVPRにて人体に関する論文（大学と共著）を発表することになっています！
論文の内容については今後このnoteで詳しくお伝えしていきたいと思います！ご期待ください！
★VRCでは一緒に新しい未来を創ってくれるメンバーを募集中です！
詳しくはこちらのサイトをご覧ください★
