【自学備忘】デジタルの画像処理の理屈～R02-002～

目でモノを見る方法とデジカメ

眼球の中の網膜の神経が赤緑青の光の量を測り、視神経を通して脳に光の量を伝達している。
その手法をデジタルカメラに転用しています。
具体的には「網膜の代わりにセンサ（受光素子）」を利用して光の量を測定しています。受光素子はコンピューターに光の量を送信しています。

受光素子＝規則的に並んだ画素

・受講素子＝画素
・画素の数量＝解像度の高さ

受光素子は明るさしか把握することができません。
色を把握するために、受光素子の前にカラーフィルタを配置します。このカラーフィルタは人間が近くする赤青緑の3つのカラーフィルタが必要です。赤緑青のカラーフィルタの受光量を受光素子が測定し、それを合成することでカラー画像が出来上がります。

つまり人間の知覚→デジタルカメラで応用することですべての色を表現で切るようになります。

人間が近くできない色はある？

赤外線や紫外線、X線、ガンマ線などは人間の目に見えることはありません。
ただ見える動物もいるようです。たとえば蛇の一部、ニシキヘビやマムシの仲間は赤外線を見ることができるようです。

画像として保存される方法

画素の明るさを数値として並べた配列として、赤青緑の明るさの数値を1セットとして1画素分の情報として保存します。
それらを画像全体でズラズラズラ～と保存することでデジタルカメラを通したモノを再現することができるデジタル情報として保存することができるようになります。

画像処理への応用

たとえば、明るさや色の数値が急激に変わるものは何を意味するのでしょうか。これは、物体の輪郭である可能性があります。
コンピュータービジョンといった「画像の解析」によってさまざまな機能を実現させる技術があります。

画像解析でできること

様々な”情報”を取り出すことができます。
例えば人間が写されていれば、
その人の位置・動き・視線・人数・年齢・表情・感情などの情報を取り出すことができます。
もし物体が写さていれば、
その物体の位置・形・動き・数・物体名・質感
また風景を撮影した場合には、
そこがどこかを表す撮影場所の情報、また撮影したものの形・照明具合・天候などがあります。

つまり人間が知覚し認識できる情報の多くは画像からも取り出せると考えられています。

取り出された情報から様々な機能を実現する

画像はレンズを通して3次元の世界を2次元の世界に変換しているとも言えます。このとき失われているのは1次元。つまり「カメラから物体までの距離」が失われています。

人間は三角測量に近い方法で見ている距離を測っています。
三角測量とは、2点からある物体までを見たときに、その角度を測定することで物体までの距離を測る方法です。
人間は、左右の目を使って距離を推測しています。
画像においてはこのような三角測量を使って3Dの奥行画像を生成することができます。（ステレオ法）

さらに動画についても3次元の生成は同様の方法です。
一つの方法として、周囲から建物を撮影します。このときにカメラの動きを調べて、ステレオ法で入力画像に対する奥行画像（失われた一次元）をつくります。それを仮想空間内に3次元的に統合することで3次元モデルを再現することができます。

応用した画像の合成

自由視点技術：実際に撮影していない自由な視点から画像を合成することができます。

画像修復：これは見えない場所の情報を修復することができたり、不要な物体を消去することができます。

これらを組み合わせることで
自由視点技術＋画像修復＝映像から動いている人だけを消去することができます。
つまり、「ストリートビュー画像の作成」が可能となるのです。

参考

大学生のためのデータサイエンス（Ⅰ）
1-8.データサイエンスと画像処理技術　(2)画像処理の応用
https://lms.gacco.org/courses/course-v1:gacco+ga109+2020_05/courseware