【Vol.3】「原点」から「頂点」へ。マイクロフォーサーズのフラグシップモデル、「G9PROII」誕生。
LUMIX G9PROIIの開発チームが語る開発裏話。本記事は「AF」「連写」「手ブレ補正」についてお話しするVol.3です。
▼前回の記事はこちらから！
マイクロフォーサーズ初の像面位相差AFを搭載
今回、S5IIと同様の新世代ヴィーナスエンジンを搭載できたこと、新しいマイクロフォーサーズセンサーを開発できたこと、そしてマイクロフォーサーズでも高速かつ滑らかにレンズ制御ができる技術が確立されたことで、G9PROIIに像面位相差AFを搭載することができました。
ただし、これを実現するには大きな課題もありました。それはマイクロフォーサーズは他のマウント規格に比べ、古いものも含めて多くのレンズが存在するということです。
マイクロフォーサーズはアライアンスが広く、他社様のレンズを利用されている方も多くいらっしゃいます。
古いレンズでも正確にレンズ制御ができるよう、上手く動作しなかった何十本分のレンズを各メーカー様にご相談しながら一つずつ課題を解決していき、全てのレンズにおいて静止画・動画ともに像面位相差AFが対応されるように開発しました。
マイクロフォーサーズの歴史の中で、性能が良いレンズはたくさんございます。様々なレンズで快適な撮影を楽しんでいただければ幸いです。
撮影環境に特化した認識AFの拡充
400mm* F5.1 SS1/125 ISO50
©️田村 弥
G9PROの認識AFに加えて、G9PROIIからは動物の瞳と車・バイクの認識AFが追加されました。
認識AFを強化させるにあたってAIをイチから設計し直しており、より小さな被写体を高速で、正確に認識できるよう進化しています。
人物認識において、G9PROでは人物全体を囲うような認識をしておりました。しかし例えば、両手を大きく広げると認識の枠が大きくなるため背景を多く含んでしまい人と背景を分離しづらかったり、人が2人重なると1つの枠で囲ってしまったりと、課題もあったんです。
85mm* F1.2 SS1/3200 ISO100
©️高桑 正義
今回、ネットワークを改善したことにより、人物の上半身を中心に認識させることで、動きがあった場合や大人数でも一人ずつ正確に認識できるようになりました。
認識枠を狭めるというのは、より少ない情報で認識する必要があり、ある意味では自分の首を締めるような行為にはなるのですが、「機能に制限を加える（＝認識枠を狭める）ことで、本来求めている精度（＝任意の人物を認識する精度）を高める」というのが今回の挑戦になっています。
非常に難しいプロセスではありましたが、数万枚単位の正解データを作って学習を行い、性能が出なければ、数万枚単位の正解データを修正し学習させるという作業を繰り返すといった、気が遠くなるような作業の上で、実現できました。
800mm* F8 SS1/2000 ISO3200
©COZY OGAWA
また、今回「人物」と「動物」の認識が分かれたことも変化になります。
G9PROでは人物と動物は同時に認識されていたのですが、人物と動物が一緒に写っているとどうしても相対的に人物が大きくなるため優先して認識されてしまい、動物を認識しづらかったんです。
であれば、動物専用のモードを設けた方が使いやすいクリエイターもいるのではないかという議論になり、モードを分けることとなりました。
また新設計のAIで、より小さい被写体を認識できるようになったため、従来では難しかった「動物の瞳」認識を導入することができました。
292mm* F7.1 SS1/1000 ISO200
©️田村 弥
そして、従来のモデルにはなかった車・バイクの認識AFが追加されました。
従来のAIでは、例えばレース場にはクッションとしてタイヤが置かれていることが多く、クッションのタイヤを車やバイクとして誤検出してしまうことも少なくなかったんです。
今回の新設計のAIで、誤検出が大幅に低減できたため、車とバイクを正確に検出できるようになり、車・バイクの認識モードを、追加することが出来ました。
新AIの開発は、期間的にもかなりギリギリで本当に苦労しました…（笑）
「LUMIX史上最速」の連写速度を実現
G9PROIIのコンセプトが「決定的瞬間を切り取る」ということで、連写性能には特にこだわりを持って開発に取り組みました。
G9PROは、当時のLUMIXシリーズにおいて最速のAFC連写20コマ／秒だったこともあり、G9PROIIでは少なくともそこを超越していく必要があります。
像面位相差AFの導入や連写シーケンスの見直し、処理速度の最適化など、これまでに培ってきた技術を総動員し、G9PROIIにおいては電子シャッターで60コマ／秒（AFC）、75コマ／秒（AFS/MF）、メカシャッターでは10コマ／秒（AFC）、14コマ／秒（AFS/MF）の連写を実現しました。
メカシャッターでのAFC10コマはLUMIX史上初です。
これらの連写速度は、もちろん他社様のレンズを装着した際も有効となります。また、リアルタイム認識AFと像面位相差AFを連写1枚1枚に対して効かせ、毎回リアルタイムでピント調整ができるようになりました。
700mm* F11 SS1/640 ISO100
©A☆50/Akira Igarashi
また、メカシャッターではどうしても連写している間の絵がない、いわゆるブラックアウトをして、そしてまた見えて、というのを繰り返すのですが、その「ブラックアウト」に対してもこだわりを入れようと今回取り組みました。
G9PROと比べて、よりクッキリと滑らかに、ファインダーの見栄えが変わらず撮影できるよう開発しているため、連写中もファインダー内で被写体を見失うことなく撮影ができます。
電子シャッターにおいてはブラックアウトしないため、「ブラックアウトフリー」と捉えていただいて構いません。
800mm* F6.3 SS1/200 ISO800
©️高屋 力
また、バッファメモリについては初代G9PROと比べて約4倍に増加しているため、電子シャッターにおける超高速連写においても自由度が拡がっています。
もともとG9PROではSH連写プリ記録時間が「0.4秒」一択でしたが、G9PROIIでは「0.5秒」「1.0秒」「1.5秒」の3つから選べるようになりました。撮影シーンやシャッターを押す力に合わせて選択いただくことが可能です。
神の領域へ挑戦する手ブレ補正8段
G9PROIIではB.I.S.（ボディ内手ブレ補正）で8段（※1）、Dual I.S.で7.5段（※2）の手ブレ補正を実現しました。
これらを実現できた要因は大きく3点あります。
一つが「ジャイロセンサーの変更」です。
カメラには手ブレを検出するジャイロセンサーが搭載されているのですが、これを従来より高精度に手ブレを検出するデバイスに変更しました。
二つ目が、その「ジャイロセンサーを使いこなして性能を引き出す」こと。
高精度なデバイスを採用しましたが、単に搭載しただけですぐに性能が向上するわけではありません。非常に精度の高い手ブレ検出のポテンシャルがあるものの、それをうまく使いこなすための信号処理が必要で、LUMIXならではの工夫が込められています。
信号処理というのも、ジャイロセンサーの信号に加え、最近のカメラは加速度センサーという重力を検出する水平検知デバイスを搭載しており、その信号を利用すること、またイメージセンサーの映像情報も使用します。
複数のセンサーの情報を組み合わせて、この高精度なジャイロセンサーから「より正しい手ブレの情報を抽出するアルゴリズム」を作り、G9PROから大幅に進化させました。
三つ目が、「ジャイロセンサーの置き場所の検討」です。
最大のポテンシャルを発揮できる場所はどこなのか。今回、GH6やS5IIとは違ってファンを搭載していないこともあり、S5IIでファンを搭載していたペンタ部にジャイロセンサーを搭載することで、手ブレを精度良く検出する配置を実現しました。
これら3点の改善により、強力な手ブレ補正を実現しています。
ちなみに、手ブレ補正が8段を超えると「地球の自転」の影響を受けると言われています。実際に現時点でややその影響は出始めており、これ以上の手ブレ補正は、まさに「地球の自転との戦い」と言えるでしょう。
進化したE.I.S.
— LUMIX JAPAN (@LUMIX_Japan) September 21, 2023
LUMIX G9PROIIは電子手ブレ補正がさらに進化。ジンバル撮影のような歩き撮りが可能です。
また、動画撮影中のスムーズな手持ち撮影と自然な画角を実現するため、新たに動画周辺歪み補正を搭載し、広角レンズ使用時における周辺歪みを低減します。
※動画は全編手持ちで撮影しました。… pic.twitter.com/6ZbGgDnBeY
▲撮影：SUMIZOON
動画における手ブレ補正も大幅に強化されています。
まず、S5IIから搭載されていた「アクティブI.S.」が、G9PROIIよりマイクロフォーサーズ機で初搭載となりました。
「アクティブ I.S.」は、カメラのブレを適切に判断し、ブレ補正ユニットの能力を最大限発揮させることで補正幅が従来制御の約2倍（※3）となり、手持ちでもブレが少ない自然な映像を撮影できる手ブレ補正機能です。
ですが、実は今回、手ブレ補正が大幅に強化されたことで、想定していなかった「課題」も出てきました。
それは、主に「焦点距離が短いレンズで広範囲を撮影するシーン」において、アクティブI.S.で手ブレを補正すると、これまであまり気付けていなかった「周辺が歪んで見える」現象が新たに発見されたのです。
G9PROIIでは、E.I.S.に「映像の周辺の歪みを補正する」機能を導入することで、この課題を解決しています。
専門的な領域の話は難しいので省きますが、「なぜ周辺に歪みが生じるのか」を検討した光学モデルを構築し、歪みを推定できるアルゴリズムを新たに作成し、新世代のヴィーナスエンジンの力で「手ブレによって発生する歪みに対して逆位相の歪みをリアルタイムで演算して補正する機能」を追加した、ということです。
さらに、E.I.S.には強モードが追加され、従来よりクロップはされますがより強いブレ補正をかけることができ、Vlogのような歩き撮りにおいても安定した映像を記録することができます。
（続きます）
9/23-24では、東京青山にあるLUMIX BASE TOKYOにてタッチ＆トライを実施！ぜひご来場ください！
▼Vol.4はこちらから！（9月29日投稿予定）
※1 CIPA規格準拠。（Yaw/Pitch方向：焦点距離f=60mm（35mm判換算 f=120mm）、H-ES12060 使用時。
※2 CIPA 規格準拠。Yaw/Pitch 方向：焦点距離 f=140mm（35mm判換算 f=280mm）、H-FSA14140 使用時。
※3 従来機種DC-G9比 焦点距離12mm(35mm判換算:24mm)において、最大で約200%の大きなブレまで補正可能(交換レンズH-ES12060使用時)。
*35mm判換算
▼関連記事