でじたる箱庭計画 撮影編（３６０°カメラ）
「でじたる箱庭」の元画像をどのように撮影するか試行錯誤中。ミラーレスなどで高解像度の画像を撮影するのが出来上がりの解像度などは良いと思うが、撮影の手間はかなり重いので、なるべく簡素な3D gaussian splatting 処理用の画像データの撮影方法として３６０°カメラの利用も考えている。
今回は３６０°カメラで撮影した動画から、3D gaussian splatting 処理用の画像データを抽出する方法を試行錯誤した。
機材
insta360x4
１ insta360studioで作成した360度動画（正距円筒図法動画）を利用
insta360studioで360°動画(正距円筒図法動画)を書き出して、その360°動画から、3D gussian splattingで使う各方向の静止画を抽出する方法を試した。
・ffmpegのv360フィルターによる切り出し
下記を参考にさせていただき、８方向の視野角100°の2048x2048画素の静止画を切り出して評価してみた。
結果： insta360studio上で表示した同じ場所の画像と比較してみたが、解像感が落ちていた。出力する画像のサイズや視野角など変更してみたが、insta360studio上の表示に比べていずれの場合も解像感が落ちている。
想定される原因は、ffmpegのv360フィルターの性能に起因するか、insta360sutudioから360°動画を書き出すときに劣化するの２つが考えられた。
・ffmpegを使わない方法
pythonを使って書かれた変換プログラム「360-to-planer-images」を使って各方向の静止画を切り出して評価してみた。（下記）
結果はffmpegのv360フィルタで切り出したのとほぼ同様なので、ffmpegのv360フィルターは解像感の低下に影響しないと考えられる。
２ insta360studioで各方向別の動画を書き出だして利用する方法
360度動画から静止画を切り出すのではなく、insta360studioのリフレームを使って、各方向を向いた動画書き出して、その動画から3D gussian splattingの入力用の静画を書き出す方法を試みた。
結果：insta360studio上の表示と同等レベルの解像感の画像となった。
下記は、撮影条件が良い場合の例で差異が少ないが、撮影条件によってはさらに解像感に差が出る。
今回の結論
insta360studioで360°動画に変換するとその時点で解像感が若干低下していると思われるので、少しても解像度の高い画像を得たい場合は、insta360studio上での書き出しの手間はかかるが、リフレーム機能を使って各方向別に動画を切り出して利用するのが良いと思われる。
その他の試み
試行錯誤１ insta360studioを使わずに正距円筒図法動画に加工する方法
結果：ステッチがうまくいかない！
insta360x4で撮影した360°動画ファイル(.insv)は、mp4コンテナのストリーム０、ストリーム１に各々半球の魚眼動画が格納されているので、ffmpegで正距円筒図法(equirectangular)に変換できる。
ただ、半球の魚眼画像の視野角を調整しただけでは、ステッチ部分にズレが残ってしまうため、このままでは実用にならないことはわかった。insta360studioに依存しない方法として検討したが、今後、実用的なステッチの方法が見つかるまで一時中断する。
ご参考：
下記は評価に使ったffmpegの例で、引数にinsvファイルと魚眼の視野角を入力すると、正距円筒図法動画を生成する。
#!/bin/zsh
FOV=$2
ffmpeg -i $1 -filter_complex "[0:v:0][0:v:1]hstack[DualFishEye]; [DualFishEye]v360=input=dfisheye:equirect:ih_fov=${FOV}:iv_fov=${FOV}" -c:v libx264 -t 5 -y ~/desktop/output_equirect.mp4試行錯誤２ insta360x4でインターバル撮影
結果：撮影間隔が長いので簡素な撮影といは言えない？
insta360x4で動画ではなく、画素数が稼げる静止画(72MP12K（11904×5952)でインターバル撮影した場合の画質がどうなるか調査しようと思ったが、インターバル撮影の最小間隔の3秒設定でも、実際は、撮影した画像の記録完了後から3秒後に撮影となるため、画質が期待できるノイズ処理などを行うPureShotでは撮影間隔が十数秒以上となり、それなりの撮影時間がかかるので、「簡素な撮影」を前提とすると、検討の優先順位が下がるので今後の検討を先送りとした。
下記をいつも参考にさていただいています。ありがとうございます。
今回はここまで