デジタル保健室｜メタバース開発編
こんにちは。立命館大学情報理工学部の中井勇希です。
私は立命館守山中学・高等学校の「デジタル保健室」で実装する、VR・メタバース分野でのワールド製作を担当しています。今回は保健室のデジタルツインについて、開発面からご紹介します。
本取り組みについて
デジタル保健室のVR・メタバース分野では、立命館守山中学校・高等学校の保健室やサポートルームを、デジタルツインとして再現し、デジタルツインならではの特徴を活かした、生徒への価値提供の検証・実装を行っています。
本取組を通じ、保健室を生徒たちにとって新しい居心地の良い環境を整えることや、アバターを通してスタッフ等への相談のハードルを下げることを目指しています。詳しくは以下のnoteをご覧ください。
保健室のデジタルツイン化について
開発プロセス
保健室のデジタルツインでの再現プロセスでは、まず、現実空間の保健室を3Dスキャンして、そのデータをUnityに取り込むことからスタートしました。次にUnityで取り込んだデータを基に、より詳細なモデリングをBlenderで行いました。このプロセスでは、保健室のオブジェクトを忠実に再現することを目指しました。最終的には、完成したワールドをclusterというメタバースプラットフォームにアップロードしました。
コンセプト
今回は、メタバースならではの「現実ではあり得ない体験ができる」といった表現ではなく、「利用者にとって空間的な制約を取り払う」ことを目指して、現実の保健室をそっくりそのまま再現するデジタルツインに焦点を当てました。デジタルツインとは、実世界の物体やシステムをデジタル上で忠実に再現したものです。実際の保健室と同じ配置やデザイン、さらには細かい家具の配置までをも再現しました。これにより、生徒たちはよく知る保健室の雰囲気を体験でき、安心感のある環境となっています。
開発ポイント①：3Dスキャン
デジタルツインの実現にあたって、iPhoneのLiDARセンサーを用いたScaniverseというアプリを使い、3Dスキャンをしました。Scaniverseは、現実世界の物体を高精度でデジタル化することが可能な高度な3Dスキャン技術を提供するアプリです。
専門的なフォトグラメトリソフトは数十万円以上しますが、フルスクラッチでの再現の土台として利用する分では、このような無料のサービスは非常に有用かつ、気軽に試すことができます。
3Dスキャンの過程では、保健室を様々な角度からスキャンし、室内の全体的な形状とテクスチャを捉えました。iPhoneを使うので簡単に30分程度でスキャンを行うことができました。スキャンによって得られた3Dデータから、オブジェクトの詳細な寸法を把握でき、モデリングやそれらの配置を確認したりすることに非常に役立ちました。デジタルツインの再現度を大きく高めることに繋がったと思います。
このようなiPhoneによる3Dスキャンの手法については、本分野の先進的な取組として、iwama様の記事が非常に参考になります。
開発ポイント②：鏡の設置
今回は現実空間に忠実なデジタルツインを重視しましたが、現実空間にはない「鏡」を設置しました。
鏡を設置した主な目的は、ユーザが自分のアバターを鏡を通して見ることにより、メタバースでの自己認識と一体感を高めることです。これは、実際にVRChatやClusterなどを利用する1ユーザとして、メタバース上でのコミュニケーションをより円滑にすることを実感していることから、実装しました。ユーザが自分のアバターを見て、それが自分であると認識することで、メタバースでの対話や相互作用がよりリアルで意味のあるものになると期待しています。
実際に、日本バーチャルリアリティ学会に掲載されている「VR環境でのコミュニケーションにおける鏡の効果」という論文では、鏡はコミュニケーションを円滑にするツールとなり得ることが示されてます。
開発ポイント③：軽量化
作成したデジタルツインは教育現場での活用を目指しています。教育機関では、一般的なVRユーザと異なり、高性能なパソコンやVR端末を利用することは難しいです。そのため、低スペックのデバイスや、Wi-Fiの速度が遅い環境でも問題なくアクセスできるように、ワールドの軽量化（描画負荷、ワールド容量）にも力を入れました。
軽量化にはMeshBakerというアセットを使用しました。このアセットは描画負荷削減に特化したツールで、複数のマテリアルとメッシュを結合して、軽量化ができます。マテリアルが異なるパラメータやシェーダーだと上手く結合できないので割と罠が多いツールなのですが、効果は抜群です。大体同じマテリアルを使っているなら１つに結合することができるので、重さの指標であるSetPassCallsを20%程度減らすことができました。HMDを使ったデジタル保健室の利用体験会も考えていたので、大きく負荷を減らすことができ有用なツールでした。
また、ワールド容量の軽量化では、主にテクスチャを圧縮するだけで20%程度減らすことができました。特に目立たないような場所に使っているテクスチャを圧縮しました。軽量化とクオリティはトレードオフの関係にあるので、テクスチャのクオリティを犠牲にすればもっと容量を削減できます。他にも見直せる設定が多々ありました。Vketのサイトが参考になります。
これらの軽量化によって、Wi-Fiの速度が遅い環境下でも、ロード時間を短縮することが可能になりました。また、低スペックなデバイスからアクセスしてもアプリがクラッシュしないようになりました。結果として、ユーザーエクスペリエンスが向上し、より多くの生徒がデジタル保健室を気軽に利用できるようになると考えています。
最後に
デジタル保健室は今後も生徒の意見を踏まえて、居心地の良い環境になるように改良を重ねていきたいと思います。また、教育機関でのVR導入については事例ができつつありますが、保健室の機能拡張に絞って見ると、具体的な事例は非常に少ないです。
よって、今後も現場の養護教諭・スチューデントサポーターの方々、協力いただける生徒の方々の力を借り、可能性を探って参ります。
このデジタル保健室の開発の背景には、NHK大津のワールド製作やメタバースキャンパス「メタモリ」の製作を通じて培ったノウハウがあります。これらの経験から得た技術的な知識やスキルは、デジタル保健室の開発においても役立てることができました。今後もより良いワールドが製作できるように努力し続けたいと思います。
デジタル保健室について、詳しくは以下のnoteマガジン、学校ニュースリリースをご覧下さい。
また、デジタル保健室を読売新聞様、教育新聞様、びわ湖大津経済新聞様、中日新聞様に取り上げていただきました。ぜひこちらもご覧下さい。
最後までお読みいただき、誠にありがとうございました。