iw3-guiに関する覚書・追

2Dの映像を3Dに変換する「iw3」に関して、少し前に、唐突に「深度推定モデル」を変更してみました。何故そうしたのか、キッカケとか憶えていません。ただ、最初からは入っていないモデルをダウンロードして試しました。そこで思ったことを書いておきますが、前回と同様に自分用の覚書のようなものです。参考になる人がいれば、参考にしていただければ幸いですが、正直いって他人に参考になるとは思えません。あしからず。

最初に、新たに試したモデルの話ではなく、以前の記事の時点では試してなかったことをひとつ試したので、それに関して。「VR90」という「フォーマット」を試しました。結果的に、VR180のようです。上下左右に黒いブランクを入れてあるだけで、データ形式としてはVR180。VRで充分な解像感を得るためには画素数がたくさん必要で、その場合に、再生側の許容量を超えたりする可能性がありますから、ひとつの解決策になるかも、と思ったのですけどね。視聴時に上下左右に顔を向けることはなく、正面だけを見た状態で視界が埋まっていれば良い、という場合に、90°の範囲だけデータがあれば良いので画素数を減らせるのでは、という期待だった訳ですが、駄目でした。〇〇プロファイルのレベル〇〇、みたいな話で、レベルのほうを抑える効果はないということです。

さて、本題ですが、前回の投稿で試していた「ZoeD_Any_N」と比較するためにも、おさらいしておきます。前回より具体的だけど単純な書き方にします。断定の文体で書きますが、あくまで個人的なイメージです。詳細はわかりません。ご了承ください。

まず、深度を推定する訳ですが、深度の目盛りを200目盛りとしましょう。そして、元映像をAとBの2種類考えます。Aはカメラから一番離れているのが5m離れた壁といった室内。Bは屋外で、空つまり無限遠まで映っているとしますが、100mくらいまで認識してるとします。この場合、Aは深度1目盛りが2.5cmとなり、Bは深度1目盛りが50cmとなります。そして、「3Dの強さ」によって、深度情報をSBSな映像に反映させる際の目盛りの大きさが変化します。「3Dの強さ」を大きくすると、深度1目盛りが大きくなります。Aでは深度1目盛りが2.5cmになるようにすべきで、3.2～3.6あたりを使っていました。Bの映像で同じ値にすると、100m先までの映像が5mに詰まった潰れ具合になります。ですから「3Dの強さ」を5.0にするですが、それでも足りない上に違和感が大きいです。「前景拡大」を使って若干改善できるが、それでもイマイチ。「背景除去」を使えば良さげだが、「背景除去」の処理が上手くいくとは限らない。というのが「ZoeD_Any_N」でのイメージです。

では、今回試した話に進みます。今回試したのは「Any_V2_N_L」と「Any_V2_K_L」です。前者が屋内用で後者が屋外用のようです。たぶん。結論としては「Any_V2_N_L」が良好でした。上のイメージになぞらえて書くと、双方とも、カメラからどれくらいの距離までが映っているかは無視されている気がします。「Any_V2_N_L」（屋内用）はカメラから5～10mくらいを深度情報に反映させていて、「Any_V2_K_L」（屋外用）は無限遠まで（上のイメージになぞらえると100mまで）が深度情報に反映されている感じ。「Any_V2_N_L」（屋内用）を使えば、屋外であっても、5～10mまでしか反映されないので「背景除去」と同じような効果がありそうで、「Any_V2_K_L」（屋外用）を使うと、屋内であっても、100mまでになってしまうので、「3Dの強さ」を強くしないと立体感が足りません。「Any_V2_N_L」（屋内用）使用時の「3Dの強さ」の最適値は、標準の2.0か2.1か、それくらい。2.0だと少し立体感が弱い感じで、2.1でちょっと強すぎるかも、と感じましたが、2.05とかは試してないです。そして、「Any_V2_K_L」（屋外用）使用時の「3Dの強さ」の最適値は、やはり5.0でも足りない感じ。実質、しっくりくる設定がない。

たとえば屋外の映像で、遠くのものに立体感が欲しいと思うと、なす術なし。それ以外は、「Any_V2_N_L」（屋内用）を使って、「3Dの強さ」を2.0か2.1にすれば、万能に近いかも。と感じました。ちなみに、「前景拡大」も「背景除去」も、使わなくて良さそうです。今後はその設定を使って、いろいろな映像を試すと思います。

ああ。強力なグラボ欲しい。