私達の仕事は「思いを数値に変える」こと。カメラ作りの先陣を切る「先行開発」の頭の中とは。
こんにちは。LUMIXの先行開発チームです。
カメラは、一つのモデルが完成して発売されるまでに何年もの時間を費やしています。つまりは、何年も前から「未来のお客様はこんな価値をお求めになるだろう」と予見し、技術を確立させているエンジニアがいるということ。
その先頭に立つのが、先行開発チームです。
今回の記事では、カメラを構成する様々な機構、システムの中から「エンジン」「イメージセンサ」「AI」に焦点を当てて、先行開発チームがこれまでにどのような思考や視点を持ってLUMIXを開発してきたかをお話しします。
カメラにおける「開発」とは？
概念的には、「思いを数値に変える」役割と考えています。
例えば「解像感を上げたい」と一言にしても、「解像感ってそもそも何か」を具体的に説明することは、とても難しいですよね。
それを具現化するために「お客様が実現したいことはそもそも何なのか」を考え、試行錯誤し、機能に落とし込んでいく。
お客様がカメラに期待する様々な価値を実現した結果、「2420万画素」「4K60p」といったパワースペックがわかりやすいように数値化されているんです。
なので、単なるモノを作ってるというよりは、モノが持つ意味を具現化することが、「開発」という役割だと感じています。
試行錯誤の結果、上手くいきそうであれば製品化していくのですが、コストや電力の兼ね合いで全てを実現できるわけではなく、どこかで割り切りが必要な場面もあります。「本来100点満点を出したいところを製品化にあたって何点で割り切るのが現実的なのか」を見極めることに、いつも苦戦しています。
ヴィーナスエンジンの開発
静止画から動画需要へ移行した時の話をしましょう。
ミラーレス一眼として当時、世界初の4K60p記録を目指したGH5のタイミングで、回路の複雑度が急激に増しました。電力消費と同時に開発費も大きく増えたタイミングです（笑）
GH3までは、静止画のお客様をメインターゲットにしていました。当時から、「LUMIXって動画も高く評価されてるよね」と気づいてはいたものの、本格的に力を入れることができていなかったんです。
しかし、当時の市場の動きを見ていた時に「動画に対する需要には大きな伸び代があるだろう」と予見されました。そこで、GH4ではミラーレス一眼で世界で初めて4Kに対応し、GH5に搭載するエンジンでは開発の段階から動画性能の飛躍的向上に努めています。
おかげさまで、当時「LUMIX＝GH5」と言っていただけるほど、GH5は高く評価していただきました。ここを皮切りに、LUMIXは「静止画と動画のハイブリッド機」として進化しています。
GH5が出たタイミングは、YouTubeクリエイターが増え始めたタイミングでもあり、多くのYouTubeクリエイターにLUMIXが選ばれていました。そういう意味でも、時代にあったカメラの開発ができていたのだと思います。
GH5では回路が大きく膨らんだため、画質と電力を両立するために構成をイチから見直しました。
専門的な話となるためご説明することも難しいのですが、静止画と動画ではそもそも最適な処理が異なります。
静止画は被写体の瞬間を捕らえ、そのフレームにおける高画質化が求められます。そのため、2次元処理かつ高bit深度での処理が中心となります。
一方、動画は前後の時間の流れをスムーズに表現する必要があります。そのため、3次元処理かつ解像感と残像感のバランス処理が中心となります。
このようなことから、それぞれに最適な処理となるようにゼロベースで徹底的にアルゴリズムを見直すことで、画質と電力という相反する要素を高度なレベルで両立させることができました。
エンジン開発における画質設計との連携
エンジンの開発では、そのエンジンに搭載する画質要素の検討から始まります。アルゴリズムを検討するより前の段階ですね。
画質設計のメンバーは、各モデルにおける画質を熟知しており、ユーザーからのフィードバックやエンジンの使いこなしなど、様々な知識や視点を持っています。
そんな画質設計と連携し、次世代エンジンに必要な性能向上や追加機能を検討、抽出。その後、新しいアルゴリズムの開発へと進めていきます。
そして、アルゴリズムを開発する過程でシミュレーションを行い、その成果を画質設計チームと共に検証。最終的なアルゴリズムが決定されると、次はハードウェアの開発に移り、ハード化が完了したら画質の調整、制御へと移り、実際に商品化される、という流れです。
イメージセンサなどのデバイスの変更に応じて、画質調整のポイントも変わってきます。これらを考慮し、画質設計で適宜調整を行い、そこで得られた知見やお客様からのフィードバックを、次のエンジン開発に繋げていくというサイクルが出来上がっています。
エンジンの開発に着手した段階では、将来のイメージセンサや他のデバイスの特性、それらの組み合わせなど、予見できない要素が多く存在します。
私たちは「未来で活躍するカメラ」を設計しているので、全てを完全に予測することは不可能です。
そこで拠り所となるのが絵作りの思想です。LUMIXが掲げる「生命力・生命美」という絵作り思想を反映した絵を、どのカメラでも統一して描写できるよう、画質設計と連携して開発を行います。
画質調整の段階では、画質の定量評価に加えて主観的な評価を行います。過去蓄積されたノウハウを活用し、絵作りの思想に基づいた描写の実現に向けて、膨大な数の調整パラメータの組み合わせから最適な組み合わせを導き出します。
文字でお伝えするのは難しいですが、画質の調整は「こっちを良くすればこっちが悪くなる」といった副作用が出ることも多く、デジタルの世界ではありますが、実はすごくアナログに試行錯誤を繰り返しているんです。
ヴィーナスエンジンの展望
連続的な進化ではなく、非連続になるような進化を遂げていきたいとは考えていますが、大前提として今のLUMIXファンを裏切ることなく、リーズナブルで、新規ユーザーにも喜ばれるような開発をしていきたいと考えています。
100万円以上もするような非常に高価なカメラを作るよりも、お手元に迎えやすいような価格帯で、美しい描写や快適な撮影体験を実現するエンジンを開発していきたいですね。
イメージセンサの開発
LUMIXが生まれた2000年代当時の話ですが、当時は、ほとんどのメーカーが静止画主体の画素数追求に注力していました。そのためには、イメージセンサの面積は限られているため、単一画素のサイズ、すなわち、セルサイズを小さくするしかありませんでした。
当時は、セルサイズは2ミクロン台で製造されていましたが、その後10年程度で半分近くの1ミクロン前半まで縮小しました。当時、私は半導体部門でまさにそのイメージセンサの開発を推進しておりましたが、小さなセルサイズの中でいかに効率良く光を集めることができるか、この設計に本当に苦労しました。競合他社と画素数競争の中で、年々セルサイズを縮小していきましたが、その都度、“集光の限界”にチャレンジしていくような感じで苦しんだことをよく覚えています。余談ですが、その中で生まれた技術が、光導波路を用いて集光の限界にチャレンジした「SmartFSI」技術だったりします。
さらに、静止画としてカメラに求められる性能として、高感度と解像度の追求のために補色のカラーフィルタを用いたイメージセンサの開発を行っていました。補色の特徴といえば、多くの光を使うことができるために、何といっても高感度と高解像度に強みがあります。
一方で色再現性とのバランスを取ることが重要で、このあたりは、カムコーダー（ビデオカメラ）から得たノウハウを活用していました。
コンデジとマイクロフォーサーズでイメージセンサ開発はどう変わった？
単純な話ですが、サイズが変わりました。コンデジの時は1/2.3型付近のサイズのイメージセンサだったのが、マイクロフォーサーズで4/3型、面積にして約8倍大きくなったので光の利用率が大きく変わります。
センサー全体のサイズが大きくなると、同等の画素数の場合、セルサイズは大きくできます。例えば、画素数が同じ16Mの場合、1/2.3型は1ミクロン前半まで縮小しないといけなかったものが、4/3型は3ミクロン後半まで拡大できる、といった具合です。そのため、多くの光を画素に取り込むことができます。
ただし、先ほど「セルサイズが小さくなると集光に苦労した」と申し上げておきながら何ですが、大きければ大きいなりの集光設計の難しさがありました。
イメージセンサ内部構造は、集光率を高めるために画素毎にマイクロレンズを配置しておりますが、このマイクロレンズの作り方によっては、画素の端部では曲面の無い平坦なレンズになってしまい、端部に入った光まで集めることができない課題があります。
セルサイズに対して端部だけに一定の割合でこの平坦部ができてしまうとしても、セルサイズが大きいとその集光ロスは大きなものになります。
そのため、最適なマイクロレンズ形状を定め、それを実現する製造プロセスを、実験を繰り返して確立しました。その結果、画素の端部の光まで利用することができ、感度向上を達成しました。
また、センサーサイズが大きくなると、センサーを動かすために必要な電力も多くなります。さらに、エンジンの開発でも動画の話がありましたが、動画の解像度アップやフレームレート高速化等、カメラとして求められる機能進化に対応するために電力は増大する傾向にあります。
イメージセンサの開発でも、電力消費はもちろん重要です。どんなに機能や性能が優れていても、消費電力が高く、バッテリーの持ちが短かったり、熱暴走してすぐ撮影が止まってしまうと、現場ではお使いいただけません。
とくに、マイクロフォーサーズで目指す、高画質でありながら、取り回しやすいサイズ感で安定した長時間の撮影に耐えるカメラの実現には、イメージセンサは、電力消費を考えながら性能・機能の進化が必要です。
実際、GH6のイメージセンサ開発では、「マイクロフォーサーズよりもイメージセンサの面積が約4倍も大きいフルサイズと同等の画質」を目標に画質を進化させながら、機能面でも読み出し速度を高速化し、4K120p動画の搭載にチャレンジしました。
この高い画質目標のため、イメージセンサの開発では、画質が満足できない課題に直面することもありましたが、都度、その対策においては、必ず電力の影響を確認し、画質改善するが電力に影響する項目と、画質に影響無く省電力化できる項目に細分化し、バランスよく設計することで、カメラシステムとして許容できる電力と目指す高画質との両立をはかりました。
このように妥協せず努力を続けてきたことで、GH6では高解像・高速な4K120p動画の搭載を実現できました。
イメージセンサで叶えていきたいこと
イメージセンサの将来には、まだ多くの可能性があります。
人の目では決して見ることができない「可視光外の波長で見た世界」や、認識できないほど「高速に動く被写体」を捉えること、昨今では光子1個を検出するような超高感度のイメージセンサなど、イメージセンサで表現できる世界は日々進化しています。
我々は産学連携の取り組みも強化しており、“世の中への新たなお役立ち”を、イメージセンサの進化を応用したカメラで実現したいと考えています。
また、LUMIXが目指す、「クリエイターと共に歩む」ことを第一に、表現の幅を拡げるイメージセンサの開発を推進してまいります。
AIの開発
まずは、カメラにおける「AI」についてお話しします。
最近の「AI」と言えばChatGPTに代表される生成AIが話題の中心ですが、カメラのAIは大規模なAIシステムとは異なり、モバイルデバイス上で動作するため、数千分の1もしくはそれ以下のハードウェア性能で実現しなければなりません。
そのため、ハードウェア性能を最大限に活かせるよう、私たち技術者は知恵を絞って機能開発をしています。
自動認識機能の導入には大きな挑戦がありました。
2018年にカメラ業界で初めて、GH5SでAIによる自動認識機能を搭載しました。それまでもハードウェアベースのパターンマッチングによる顔認識などの機能は搭載されていましたが、GH5Sからは人に近いAI（ディープラーニング）技術を導入しました。
昔の機種に搭載されていた顔認識のパターンマッチングは決められたパターンに基づいて判断しますが、現在のディープラーニングは「学習」を通じてより多様なパターンを識別できるようになります。
車や鳥などの多様なパターンをディープラーニングを用いて学習させることにより、様々なモノを高精度に認識できるようになります。
2023年12月現在で最新モデルであるG9PROIIに搭載している「人物認識」「動物認識」「車認識」「バイク認識」「動物瞳認識」など、これらは全てディープラーニングによるものです。
自動認識の進化
AIは100%正確な答えを出すものではありません。
学習データが少ない場合や学習が不十分な場合においては正答率が極端に下がります。自動認識において認識精度50%では実用に耐えないため、私たちは認識精度90%以上を目標と設定して開発を行ってきました。
認識精度を高めるAI開発におけるデータ収集の方法は、主に2通りあります。
一つは、協力会社に依頼して、特定のデータセットを準備してもらう方法。特に、様々なパターン（人の数、向き、動物の種類など）を大量に必要とする場合に活用します。データセットが動物の場合、犬や猫などの一般的な種類を中心にデータを収集します。
もう一つは、私たちエンジニアが実際に撮影に行く方法。G9PROIIの「車認識」では、エンジニアチームがレース会場で写真を撮影し、自らデータを収集して開発を進めました。
あらゆるシチュエーションを想定してデータを収集し、泥臭く試行錯誤しながら、AIの精度を高めています。
AI開発の今後
開発の現場でアイデア検討会を実施すると、「ユーザーが撮影したデータを学習してユーザーが撮影したい人やモノを認識出来る様になる」自己進化系やポーズ認識の活用など様々なアイデアが出てきます。
時には「〇〇をAIで出来ないの？」と言った無茶ぶりをされることもあります（笑）
AI技術の進化スピードは速く、次々と新しい技術が発表されています。つい数年前まではAIがモノを生成する事は不可能だとされていましたが、今では皆さんご存じの通りリアルと見間違える程、高精度に生成する事が可能です。お茶のCMでAIタレントが起用された事がニュースになっていましたが、皆さんリアルか見分けがつきますか？
AI技術はこれからも当面進化し続けるでしょう。現行商品では、AIを自動認識にしか適用出来ていませんが、今後は適用範囲を広げて新たな価値を生み出せるように、開発していきますのでご期待ください。
各チームと連携して、最高の一台を作り続ける
LUMIXの強みは、開発チームや設計チームの距離が近く、組織的に強い連携をしながらカメラ作りを進めていること、と感じています。
現在も、数年先の流行や需要、技術を見越した「未来のカメラ」を考え、開発を進めているところ。
皆さんを驚かせ、喜んでいただけるカメラを、これからも生み出していきます。
▼関連記事
この記事が気に入ったらサポートをしてみませんか？