ライティングデザインの研究（UIST22'）
UIST22'に論文が採択されまして，無事10月末に発表することができます．
博士に入ってからメインで取り組んできた１つ目の研究であり，自分が写真・映像に関する研究（撮影に関する研究）に取り組んでいるんだ，ということを示す第一歩ともなるものです．
そして，こちらが研究紹介の動画となります．
動画は撮影〜編集まで後輩の横山くんにやってもらいました．大感謝です！
1. 研究背景
これまでに多くの方へ「撮影の研究をしています」とお伝えしてきましたが，ようやくそれがどんなものなのか具体的にお話しできます．
本研究では，ライティングデザインを非専門家でも簡単に行うことができるようにする，新たなデザインフレームワークを提案しています．
このフレームワークでは，ユーザーはシステムから提示された幾つかの候補の中から好みのものを１つ選択し，さらにそれに対してより希望通りのライティングとなるようラフなガイドペイントを与える，という流れになっています．
ここで重要なことは，ユーザーはライティングデザインを行う上で，「選択」と「ペイント」の２つの行為をタブレット上で行うのみでよく，実際の器具を何度も繰り返し調整するトライアンドエラーのプロセスから解放されるということです．
実際に，体験していただくとよく伝わるかと思いますが，タブレット上で操作するだけで現実のライティングが調整されていく体験は，今までのライティングデザインの体験とは大きく異なるものとなってきます．
このようなデザインフレームワークを組んだ背景としては，ライティングデザインにおける課題を解決したいという思いがあったためです．
上述の問題を解決する方法として，研究を開始する当初は以下のような，照明のシミュレーションから自動反映までを行ってくれる，一気通貫なフレームワークの必要性を感じていました．
元々は各要素ごとに研究を進め，最後に統合しようかと思っていたのですが，新たなデザイン体験を作ることを目指しているうちに，最初から一気通貫のものを作る形となりました．
2. 自身の想い
ライティング（照明）は良い写真・映像には必須のものであると感じていたからこそ本研究に取り組んだ，という部分もありますが，それ以上に過去に経験してきたライティングとの関わりが大きく影響している部分もあるかと思います．
インタビュー記事にも書いてきたことですが，過去に照明設計事務所でアルバイトをしていた経験は今にも通じるものがあります．
建築用の照明設計だったので，基本的にはCAD/モデリングソフト上で照明を組み，シミュレーションして見え感を確認するというプロセスでした．
このプロセスの中で，レンダリングには非常に時間がかかるし，何度も繰り返し調整することの難しさは肌身で感じていたことであり，それが写真・映像のための照明であっても同様であるというところは，なんとかしたい部分になっていたわけです．
また一方で，自分としては研究を通じて『ルックを作るという行為の理解とその支援』というものも１つのテーマとなっていたように感じます．
スナップ写真や記録写真について言えば，基本的には撮影者は「受け身」で始まるわけですが，広告を代表とする所謂クリエイティブの撮影現場においては，能動的に/積極的に自分達で『画を/ルックを作り込んでいく』ということをしているわけです．
それが一体どういうことなのか＝撮影者は何を考え・何を大事にしているのか，を理解したいという気持ちもあり，そして，その理解の先に「その行動をどうやってサポートするのがより自然なのか」ということを考え，コンセプトを実現したいというところがありました．
実際には，このデザイン行為の支援方法として，共著者でもある小山裕己氏の研究からアイデアのコアをもらいながら，ベイズ最適化を用いたデザインフレームワークへ帰結したということになります．
3. 本研究の未来・将来へ向けて
本研究では，PoC (Proof-of-Concept) の提示・検証という範囲になるので，ロボットアームにシンプルな照明器具やレフ板を取り付け，ごく限られたライティング条件の下で実装を行ってきました．
もちろん，ロボットアームと一口に言ってもピンからキリまであるわけで，予算の範囲で扱いやすかったのがMyCobotだったために，そういったことになっている側面もあります．端的には，ペイロードの大きいロボットアームは値が高いのです．
ただこれはあくまでもPoCだからこの範囲に収まっているという話であり，原理的にはより大きなものへの応用が可能であり，機材さえあればすぐにでも色々なことが試すことができます．
（例えばペイロードが十分あるロボットアームであれば，↓のようなライティングをすることはできます）
そしてロボットアームだけではなく，Virtual Productionの環境もそういった対象に含まれてきます．
（↓は以前，Hibino VFX Studioに見学に行った時のもの）
要するに，照明の光源側を工夫することによって，この研究をスケーリングさせることは容易に可能になるわけです．
今PoCで実現されている，小物の物撮りに考えを限定せず，もっと大きなもの，それこそ等身大スケールのもの，に対するライティングもタブレット上の操作だけでできる世界．そんな体験を自分自身も早くしてみたいと思うばかりです．
そのためには，照明器具を分解または自作して，ロボットアームの代わりにプロッターのような仕組みを作ってあげれば実はよくて…みたいな話も既にあります．
大きなプロトタイプができたらそれだけで，また１つ面白いことになると思うので，どうにか余力をそちらに割いてやっていきたい限りです．
そんな将来に向けてもまた１つ．今後も引き続きよろしくお願いします…!!!!
論文PDF（Author Version）
https://digitalnature.slis.tsukuba.ac.jp/wp-content/uploads/2022/10/2022_UIST_Photographer_in_the_Loop-authorversion.pdf