A Study on Multimodal Information Analysis and Transformation for Improving Group Communication
2023年度研究会推薦博士論文速報
［モバイルコンピューティングと新社会システム研究会］
陳 辰昊
（中部大学 研究員）
邦訳：グループコミュニケーションを対象としたマルチモーダル情報分析と画風変換技術に関する研究
■キーワード
コンピュータビジョン／ニューラルネットワーク／マルチモーダル分析
【背景】グループコミュニケーションはさまざまな領域で重要な役割を担っている
【問題】コミュニケーションが不得手な人により会議の質が低下する
【貢献】マルチモーダル情報分析およびリアルタイム画風変換によりグループコミュニケーションの質を向上させた
グループコミュケーションは，設定された目的に対して複数人が集まり，それぞれの考えを共有，交換する共同的な相互作用のプロセスであり，学校や職場においても情報共有や意思決定など重要な役割を担っている．近年，特に新型コロナウイルス流行以降，リモートワークの増加により，オンライン会議が急速に普及している．会議は単に情報を共有する場ではなく，人間同士のグループコミュニケーションの場でもある．議論を円滑に進めるためには，すべての会議参加者の身体的，精神的状況を考慮することが重要である．一方，人により，グループコミュケーションの得手不得手は異なる．不得手な人によるグループコミュケーションは，発言を控える傾向があり，無駄な長時間会議を生み出す根源とも言える．
より良いグループコミュニケーション環境を構築するため，本博士論文はオンラインおよびオフライン会議に参加する者に着目し，会議参加者の身体的言動および精神的傾向を対象とした．
まず，会議参加者の身体的言動について，グループコミュニケーション中に表出する発話という言語情報および身体動作という非言語情報を定量的に検出するためのマルチモーダル解析アルゴリズムを提案した．既存方法よりも長期間の音声と映像データ間の関連特徴をアテンションメカニズムによって抽出し，頭部上下回転角度（ピッチ角）の時系列情報を分析した上で，従来の畳み込みニューラルネットワークに基づくフレームワークにアテンションおよびSqueeze-and-Excitationメカニズムを適用することで，会議中に頻発する発話，頷き，笑顔の3つを同時に高精度で検出することを可能にした．従来方法であるDisCaaSと比べ，発話，頷き，笑顔3つの認識に関して，提案方式のF値は，それぞれ94.9%，81.26%，97.34%と大きく性能改善したことを示した．
次に，対面会議における頭部の向きを，プライバシーに配慮し，天井俯瞰映像から推定するアルゴリズムを提案した．従来のアルゴリズムでは，目や口などの顔のパーツが写っていれば頭部の向きを推定可能であるが，頭頂部の映像からでは顔であることはわかっても，その向きを得ることが困難であった．特に，顔情報が取得できない極端視野下の頭部姿勢推定が困難であったが，インスタンスセグメンテーションと楕円フィッティングのパイプラインを組み合わせた提案手法では，天井俯瞰映像からでも，頭部向きを平均絶対誤差12.47度で推定できることを示した．
最後に，オンライン会議において，カメラをオンにしない人が多いという課題を解決するために，理由の1つとして考えられる「恥ずかしさ」を軽減する手法を提案した．提案手法は，オンライン参加者全員の映像をアニメ風に変換することにより，参加者の参加意欲や緊張感という精神的傾向や状態の改善を狙う．これまでの画風変換方法は，変換に時間を要し，リアルタイムなオンライン会議には適用できなかった．そこで，画風変換と映像フレーム補完を組み合わせ，画風変換の頻度を低減することで，従来方式と比較して処理速度が43%向上し，リアルタイムに本人映像の画風変換を可能にした．
これらの研究により，グループコミュニケーションに参加する者自らが各自の身体的言動および精神的傾向の把握することが期待でき，グループコミュニケーションの質向上に有意義であることを示した．
（2024年5月9日受付）
（2024年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月：2024年3月
学位種別：博士（工学）
大学：九州大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文［情報環境領域］モバイルコンピューティングと新社会システム研究会
本論文は，グループ会議を対象として，表情や頷き，笑顔などのノンバーバル情報を解析するためのマルチモーダル情報分析に関する研究と，オンライン会議における恥ずかしさを低減するためのリアルタイム画風変換に関する研究でありライブラリとして公開するなど実用性も高い研究であることから博士論文速報として推薦する．
研究生活 私はさらなる専門知識と研究経験を求めたいという思いを持ちながら九州大学の博士課程に入学しました．博士課程の生活は，時に孤独や困難を感じることもありますが，それ以上に成長を実感できる貴重な経験となりました．幸運なことに，この3年間，私は世界各地でインターンシップや会議に参加する機会をいただき，ドイツ，アメリカ，台湾でさまざまな文化や価値観を持つ研究者たちと議論し，情報科学分野の魅力を感じることができました．博士号取得までの道のりは，決して平坦ではありませんが，一生の宝物であり，将来アカデミックの道に進む際の欠かせない礎にもなると思います．最後に，博士課程の3年間ご指導をいただいた荒川豊先生，峯恒憲先生，福嶋政期先生にこの場を借りて心よりお礼申し上げます．