「テレビ局の技術チームが行っている最新プロトタイピング」 を新メンバーが紹介！

こんにちは。日テレR＆Dラボです！ 

この度R＆Dラボに技術統括局との兼務で田中陽（たなかあきら）くんという新メンバーが増え、総勢9名に！　　　　　　　　　　　　　　　　　　　改めて現在のR&Dラボメンバーを紹介します。

そして、今回はそんな田中くんが書く初めてのnote。「テレビ局の技術チームが研究しているあんなこと、こんなこと」を皆さんにちょっとだけお伝えします！　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　↓↓↓

この度R＆Dラボに加わりました、田中です。 2019年入社でただいま3年目、R＆Dラボ最年少かつ唯一の20代と聞いてガクブルですが、歴の浅さを武器にフレッシュな目線で見たテレビ局を内部から発信していけたらと思います！

今回お届けするテーマは「映像制作技術」。 テレビ局の技術セクションでは、テレビ放送で使われる一歩前の技術検証としてさまざまなプロトタイプを作っており、ライブ配信などで活用・検証しています。
今回はその中からいくつか紹介させていただこうと思います！

①民生360度カメラを活用したカメラワーク

「THETA」や「Insta360」や「GoProMAX」など、昨今多くの360度カメラが普及しています。 これらは多くの場合、旅行先の俯瞰撮影に使われていますが、ちょこっと手間を加えることで下記のようなアクセントのある映像を制作することができます。

細かい技術的な説明部分は省きますが、簡単に表現すると360度カメラから取り出した全天球映像の展開図をCG空間の球体の内側に貼り直し、CG空間内のカメラを動かすことでこのようなドローンのようなカメラワークを表現しています。

②フェイストラッキング技術で自動追尾切り出し

続いては4Kで撮影した映像から顔認識で推定した座標をもとに特定の人物を自動で切り出し追尾するシステムです。
またマウス操作で簡易なカメラワークを表現することはできないかと、ホイールでズーム、クリック位置でパンチルトを表現するなども併せて検証しています。

画像認識技術の分野の発展はめざましく、顔認識だけではなく手の認識や、骨格認識、人物の輪郭切り出しなどが特別な機材を必要とせずともリアルタイムで行えるようになってきています。
近い将来テレビ局にはカメラマンのいない無人スタジオなどもできるのかもしれませんね。

③iPhoneを活用した簡易AR配信システム

最後にスマートフォンのセンサを活用したAR表現です。
近年「ポケモンGO」を筆頭にスマートフォンによるARコンテンツが急速に広がっていますが、LiDARセンサを搭載したiPhoneなど、センシングデバイスとしての進化にあわせて映像制作技術に活用できないかといったことを検証しています。
こちらは社内の勉強会の様子ですがiPhoneのARKitを活用し、ニュース番組などで使用されているバーチャルモニターの表現を会議室で簡易的に再現しています。

このようにプロスペックの機材を揃えている放送局の中でも、民生カメラやスマートフォンなどを使用した映像制作技術の検証もボトムアップ的に行なっています。

引き続きR&Dラボでは新技術の動向や社内のプロトタイプなども発信していきますので、どうぞよろしくお願いいたします！