顔面と部屋のｱｶﾝところ隠せるレンズフィルターを作った話

テレワークやってますかー？

まだまだ収束の気配すら見せない件のウイルス。
仕事のやり方も大きく変わり、最近は初めてのお客様との面談もオンラインになることが多いです。

友人とのお茶もあつ森かオンラインかという感じになり、
急に『今zoomいける？』と訊かれて
「服着なきゃ！」レベルで慌てることもしばしば(え…)

ましてや化粧なんて、常にしてられっかYO！！という自分のために、
すっぴんでもビデオ会議に出られなくもないレンズフィルター作りました。
(いちおう顔は出したい時あるやん…？)

テンプレートを組み合わせただけで概念的なのは一切理解していないので、冗長な部分や間違えてる部分もあるかもしれません。
あくまでも今回の備忘録なので、参考になさる場合は色々ご容赦をー。

■Snap Camera用のレンズフィルター

Zoom会議のビデオを盛るなら…で、すでに使ってる方も多いとは思いますSnap Camera。
https://snapcamera.snapchat.com/

スマホアプリのSnapChatを作ってるSnap.Incのサービスです。
PCに備え付けのカメラの映像をSnap Cameraに通して、zoomに送るような流れで使うことができます。
Google Meetでも使えます。
(Snap Cameraの使い方は別途ググってくだしえ)

そのSnap Cameraの「レンズ」を作ってみました。

使ってやろうじゃないのっていうチャレンジャーな方は、こちらから！無料配布です
※Snap Camera内の「Search」にURLをコピペしてね(ブラウザで開いても無理なの)

<グリーンバック風>
GreenBKwithMakeup
https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=b62f431ae53a402592a42328f44d8a73&metadata=01
<背景無し>
NaturalMakeup
https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=17ca67dba4884cbd998778f13b81efae&metadata=01

■いや、既存のやつめっちゃ化粧濃いねん…

世間の「レンズ」クリエイターさんたちがもう無数にレンズを公開してくれてはいるのですが、いかんせん欧米向けの感じが多い。

サンプルお姉さん

これはまゆげ消してるんですけど、もう目元が濃すぎるのが気になって気になって！！(笑)
真面目な話とか初見では(私の顔には合わなくて)絶対使えない…

それと、部屋の背景が雑多なのでzoomで背景を合成するために背景を緑で塗りつぶしたい！
(ビデオチャット用PCのCPUスペックが足りないので、背景合成にはクロマキーが必要な状況)

ということで↓

■今回ほしいレンズフィルターの要件

・すっぴんでもうっすら化粧してるように見せたい(薄い顔向けで！)
・PCのカメラの素では色が鈍いので、色を鮮やかにしたい(顔色良く見せたい)
・背景合成の疑似クロマキー用背景を付けたい

ということになります。

■Lens Studioというアプリケーションを使う

ここからダウンロードできます(無料)
https://lensstudio.snapchat.com/

作ったレンズを公開しないと自分でも使えないのですが、アップロードするためにSnap Chatへのユーザー登録が必要です。
インストールしたのち、先に登録しておいた方がスムーズでした。
どのサービスもですが、利用は自己責任になるのでプライバシーポリシーや規約はしっかり読んでね！

■Templatesからメイクを選ぼう

イチからは私には無理なので、いろんな用途の物が揃ってるテンプレートを使いましょう。

まずはメイクを選びます。

Makeupですね。

開くとこんな感じの画面になるんですが(Unityと似てるなあ)
ObjectsのMakeup Controller[EDIT ME]という項目を選択すると、パラメータがさわれます。

メイク道具をよく使う方ならピンとくる名前があるかも。
Lips Tintは口紅の色、Lip Glossは唇のハイライトの色、Blushはマスカラ…みたいですね。

サンプルのモデルさんをアジアっぽい感じの方に変更したり、
Previewの部分の吹き出しみたいな？アイコンを押すと、カメラが有効になるので、自分の顔を映しながら調整すると良いと思います。
※PCのアスペクト比にする場合は、Preview画面の下の「iPhone8」ってなってるのをHorizontalにします。

で、メイクを調整するだけならこれでいいのですが…
今回は背景も付けなければいけません。

画像を入れてみたり色々したのですが、概念を理解していないのでうまくいかず散々悩みました(笑)

そうしたら、オブジェクトを保存できることを発見。
これを保存して、背景付けるテンプレートに読み込ませれば良いのでは…？と思ってやってみました。

■メイクのオブジェクトを保存する

なんかよくわかってないのですが←おい
Objectsの中を全部選択して、右クリックでコンテキストメニューの中からExport Objectを選びました。

そのままの名称でデスクトップに保存。

■背景のテンプレートを選んで調整する

次に選ぶのが、背景合成のテンプレート。

Segmentationというのが、人物部分にかぶらないようマスキングした画像を合成してくれる、
すなわち背景を作るテンプレートということですね。
すごいですよね。

開きます。

デフォルトでは、ハートの画像が延々と流れていますが、
今回は背景にクロマキー用のグリーンバックを引いたように緑色にしたいので、Scriptをこのような設定にします。

そう。ここでオリジナルの画像を入れることももちろんできるのですが、Snap Cameraは公開しないと自分も使えないので、公開すると背景画像も一緒に配布することになるのですね。
他から提供された素材を背景にする場合は、再配布が可能かの確認も要ります。
今回私はzoom側で合成したいので、緑一色にすることにしました。

ちなみにScriptのSegmantation Textureは、人物の顔だけに合成したり髪の毛だけに合成したりという、合成範囲のタイプが全部で6種類用意されています。
詳細(公式)↓
https://lensstudio.snapchat.com/guides/general/segmentation/

髪の毛をレインボーカラーにしちゃう！なんてこともできますね。

■保存していたメイクのオブジェクトを読み込む

さて、背景ができたので、メイクのオブジェクトを読み込みます。

ちなみに、メイクのプロジェクトファイルに背景のオブジェクトを読み込むと、何かの設定がぶつかってる？ようで、正常に動きませんでした…

なので、背景のプロジェクトで

File -> Import　-> 保存していたメイクのファイルを選ぶ

それだけです！

■顔色良くしたい

カメラの性能が良かったり、自然光が入る場所ならこれだけで十分かと思いますが、今回はもう一声！

顔色を良くしたい…
すっぴんとかさ…土気色やん…？(´・ω・｀)

ということで、画面全体に色のフィルターを追加したいと思います。
これが、「顔色良くしたい」って発想で書かれた説明がなくて、見つけるのにめちゃめちゃ時間を費やしてしまいました。
私の発想がおかしかった(笑)
ただのカラーフィルターです。

Objects -> Camera -> Effectを選んだ状態で、Objectsという文字の下にある「＋」を押して、Post Effect -> Color Collectionを選ぶと追加されます。

Textureの部分を開いてEffectのコンテキストメニューを開き、「＋」を押してColor Collection Textureから好きなテクスチャーを選びます。

(デフォルトで入っている全種類を試しましたがww)
私の場合は、BeautyでAlpha(不透明度)0.50がいちばんなじみました。

※ちなみにAlphaのパラメータが出なかったので、「＋Add Conpornent」で素のPost Effectを追加して設定しました

詳細(公式)↓
https://lensstudio.snapchat.com/guides/2d/post-effect/

わーい！これで、好みのメイク加減で背景緑色かつ色味が良くなったぞー！

■そして欲が出る

ノートPCのカメラで映すとさ…
しもぶくれ二重あごにならん…？
いや、元からなんだけどさ…

つら…

なので、こっそりちょっとだけ顔細くしよっと！←

上記、カラーテクスチャーと同じように、
Objects -> Camera -> Effectを選んだ状態で、Objectsという文字の下にある「＋」を押して、
今度はFace Stretchを選びます。

(ちょっとこのパラメータの意味がわかりませんでした…)
とりあえず、サンプルのお顔にメッシュがかかってるので、この○部分をドラッグすると顔が変形します。

割と大きく動くので気をつけてください(笑)

今回は、顔を変形させた後(言い方)に背景を合成するので大丈夫なんですが、
背景合成なしで使用する際は背景も一緒にゆがむので、時空のゆがみを通信先にばれたくない方は気をつけてくださいねッ！

さらにさらに、もうすでに設定されていると思いますが、Retouchでお肌をつるつるにすることもできます。

Soft SkinのIntensityを上げすぎるとのっぺりするので、ほどよいところで設定します。

他のパラメータは、目や歯が発光するだけ(言い方)なので、お好みで調整してみてください。

ふいーーーーーっ。
こんなもんでいかがでしょう…。

まだまだすんごく多機能で、カラコン風に目の色を変えられたり、動きに合わせて何かを出したりと色々ありますが、
ひとまず今回の目的は達成！

ここまで読んでいただき、ありがとうございました！