SIGGRAPH Asia 2023に採択された話
自己紹介
cvpaper.challengeアドベントカレンダー 21日目を担当する，筑波大学コンピュータビジョン研究室の博士課程3年生のハオ グオチンと申します．2020年にcvpaper.challengeに参加し，画像編集・処理に関する研究をやっています．この記事では，テクスチャ補正に関する研究がSIGGRAPH Asia 2023で採択され，発表に至る過程を述べています．
研究の紹介
実画像におけるテクスチャ領域は，多くの画像編集タスクに使用されていますが，遮蔽や歪みといった問題が実用性を低下させています．この論文では，実画像のテクスチャ領域の遮蔽や歪みに対処するための新しいフレームワークを提案しました．潜在拡散モデル（LDM）と独自のOcclusion-aware Latent Transformerを使用し，部分的に観測されたテクスチャから有効な特徴を抽出し，遮蔽や歪みを解消することが可能になりました．幾何学的変換と自由形状のマスクを適用した合成学習データセットを用いて，実画像での既存手法を上回る性能を示しました．
研究が始まるきっかけ
cvpaper.challengeに参加してから，修士課程で取り組んだ画像調和の研究と，メンターの原さんの専門である動画事前学習モデルの構築を組み合わせ，合成データのリアリズムを向上させることにより，事前学習モデルの性能を改善するという研究に着手しました．
しかし，設定した問題は非常に難しく，精度もよくありませんでした．約一年間取り組みましたが，精度が不十分で，論文投稿には至りませんでした．
その後，新たな研究テーマを探す中で，大学の指導教員，飯塚里志先生が以前取り組んでいた経年劣化に関する研究をDeep化することにしました．この研究を簡単に説明すると，実世界でよく見られる物体の経年劣化効果をデジタル上でシミュレーションすることです．先行研究では既に劣化している物体のみを処理することができましたが，私の提案手法では，未劣化物体に対しても処理が可能となりました．この研究は，グラフィックス系のEuroGraphics国際会議でリジェクトされた後、指摘された点を修正し、別のジャーナルに投稿しました。
ジャーナル名は伏せますが，ここで思いもよらない問題が発生しました．二人の査読者が招待され，一人目の査読者からは迅速にポジティブなコメントをいただきました．しかし，二人目の査読者からはなかなか返信がありませんでした．数ヶ月待った後，エディターに連絡し，候補査読者リストも送りましたが，エディターからの返信もありませんでした．7ヶ月間何十通ものメールを送りましたが、エディターやトップエディターらからは一切の反応がありませんでした．博士課程修了要件の締切が迫っていたため，論文を取り下げてIEEE Accessに投稿することにしました．幸いなことに，そちらは8週間で無事に採択されました．論文の内容に興味をお持ちの方はこのリンクからご確認ください．
SIGGRAPH Asia 2023の研究との繋がり
ジャーナルに経年劣化に関する研究を投稿して，査読結果を待っている間に別の研究を始めることを考えました．経年劣化に関する研究の重要な点は，劣化していない物体を処理できることですが，教師なし生成モデルを用いているため，先行研究で処理可能だった劣化している物体を扱えなくなりました．この問題を解決しようと考え，自然画像から部分的かつ歪んだテクスチャの補正と生成というアイデアが思い浮かびました．こうして，ジャーナルの査読結果を待ちながら，テクスチャの補正と生成という研究を始めました．
研究の初期段階では合成データの生成方法について検討しました．その後，ベースラインの実験を始めました．しかし，これが非常に困難なタスクであるため，どの手法でもうまくいきませんでした．検証実験から現状のモデルのCapacityが不足していると考えられたため，驚くほどの生成性能を持つ拡散モデルでの実験に着手しました．
数ヶ月の努力を経て，良い結果が出て，論文を投稿することができました．今回は新設されたばかりのデュアルトラック，つまりジャーナルトラックとカンファレンストラックに同時に論文を投稿しました．どちらのトラックで採択されるかは委員会の判断によります。査読結果は，カンファレンストラックでは非常に好評であった一方で，ジャーナルトラックでは比較手法の不足が指摘されました．Rebuttalで反論してみましたが，最終的にSIGGRAPH Asiaのカンファレンストラックでの採択となりました．
SIGGRAPH Asiaへの参加
12/10にシドニーに渡航し，12/12から12/15にかけて学会に参加しました．会場はシドニーの人気観光地，ダーリング・ハーバーにあるおしゃれなInternational Convention Centre Sydneyでした．現地の気温は30度前後で、とても快適でした（ただし，発表日は39度まで上がりました…）．会場の外の景色はとても美しかったです．また，ホテルは事前に何も調べず，偶然にも会場周辺のChina Townにあるホテルを予約しました．そのため，ほぼ毎日本格的な中華料理を楽しむことができました．
発表の流れ
私の論文はTechnical PaperのConference Trackに採択され、初日のFast Forward Sessionと14日の口頭発表，さらにその後にInteractive Discussion Sessionでの発表が行われました．
Fast Forwardセッションでは、各論文が40秒で研究内容を紹介しました。 このセッションには多くの面白い発表がありました．例えば，研究内容を歌で紹介した人，2本の主著論文を連続で発表した博士課程学生などがいました．皆の発表は非常に面白く，内容もとても分かりやすかったです．私自身は初参加ということもあり、ごく普通の発表をしましたが、次回はもっと面白い発表を試したいと考えています．
12月14日には、私は10分間の口頭発表を行いました．同じセッションで私の研究に役立ついくつかの論文が発表され，これらは私の現在の研究にとっても非常にいい刺激になりました．同じセッションの全ての論文発表が終了した後，別室で今年から導入されたばかりのInteractive Discussionを行いました．このセッションは，議論時間を増やすことを目的としています．各論文にモニターが割り当てられるため，デモが多いグラフィックス系の論文にとって非常に良いと思います．私のInteractive Discussionセッションは，他のパーティーと重なっていたにも関わらず，数名の方が質問しに来てくれて，とても嬉しかったです．（何でパーティーと重なった？！）
また、クロージング・セッションのタウンホールミーティングでは、参加者が積極的に意見交換を行いました。 私は分野のジュニアとして，このようなディスカッションに参加できたことを非常に価値ある経験だと感じています．皆が分野の発展のために意見を出し合っている姿には，大きなインスピレーションを受けました．ミーティングでは，査読意見やRebuttalを全て公開するOpen Reviewの提案や，他分野と連携して匿名arXivサイトを広める動きなど，多くの建設的な提案がありました．その中でも，最も重要なのはACMのオープンアクセスについてかもしれません．まだ交渉中らしいですが，数年後にACMの学会に採択された場合，著者の所属機関がACMと出版契約を結んでいない限り，数千ドルの出版料が発生する可能性があるとのことです．
終わりに
博士課程では色々辛かったのですが，なんとか修了まではトップカンファレンスに通せるようになってきました．この場を借りて，大学の指導教員の先生方，cvpaper.challengeのメンターの皆様に，心からの感謝を申し上げます．未熟者ではありますが，博士課程修了後も，インパクトのある研究に取り組んでいきたいと思います．