AIスターに俺はなるっ！
筆者：山田亮佑
はじめに
こんにちは、研究コミュニティ cvpaper.challenge 〜研究成果を世に送り出すまでのストーリー〜 Advent Calendar 2021の4日目を担当します 東京電機大学 修士2年 / 産総研RAの山田亮佑と申します。
私は学部4年時（2019年）にcvpaper.challengeで研究し始め、今年で3年目の研究メンバーになります。現在ではFATEグループのグループリーダーとして活動しています。
cvpaper.challengeでの2年半の活動を経て、研究の楽しさ・苦しさ色々な経験を経て、自分の人生は大きく変化しました。本記事では、研究について無知だった自分がcvpaper.challengeに参加し、ロボティクス分野トップ会議であるIROS2021に採択されるまでの体験記について書いてみようと思います。
cvpaper.challengeに加入前 〜いきさつ
cvpaper.challengeに出会ったのは中村研究室（現在の所属研究室）への配属が決定したB3に向けたcvpaper.challengeについての講演会がきっかけでした。研究室配属前の私はほぼ毎日バイトして、バイト後に終電で渋谷に行き、クラブで踊り狂って、朝方帰ってくるという無限の体力を発揮して遊んでいました。
そんな中、講演会にて片岡さんから「AIスターになろう！」という題目で、最先端のコンピュータビジョン技術と研究者としての夢・ロマンについて講演していただきました。また、講演ではコンピュータビジョン分野の最新トレンドのみならず、世界的なトレンドを創出しているAIスターに関するご紹介がありました。非公開の講演につき、ここでは書けないようなことも伺うことができ、大変刺激を受けました。自分にとってはその講演が「キラキラ」して見え、子供の頃に夢中だったテレビの中のスーパー戦隊をみているみたいな感覚でした。笑
そして、単純な私はAIスターになったら、大好きな女優さんとお近づきになれるかもしれないという妄想に浸り、その場でAIスターになることを決心しました。次の日にはCVPRなど全く知らないにも関わらず、某有名な少年漫画の主人公のごとく「俺はAIスターになるっ！」と豪語し始めていました（今でも言ってる）。何れにせよ、自分の人生を大きく変える講演であったことに間違いはないと言えます。
以下、ACCV2020にてBest Honorable Mention、ViEW2020にて小田原賞 (最優秀論文賞)、先端ロボット工学WSにて優秀論文賞をいただいた直後のツイートです。笑
この講演が自分の研究モチベの原点です。研究が思うように進まない時や締切直前など、よく振り返って自身を鼓舞しています‼️ Yamada Ryosuke (@FragileGoodwill) January 27, 2021
cvpaper.challengeでの活動
B4となり研究室活動がスタートして、片岡さんと中村研究室が科研費の文脈で共同研究していた「自然形成原理に基づいた深層学習の究明」(FDDBグループ)に関するプロジェクトを幸運にも卒論のテーマとして担当することになりました。特に私はフラクタル幾何学に基づいて3Dモデルを自動生成し、3Dデータセットを自動構築するというテーマで研究をスタートさせました。
しかし、「俺はAIスターになるっ！」という意気込みでcvpaper.challengeに参加したは良いものの、打ち合わせで議論している内容が全くわからない状況でした。それも当然ですよね、つい先日まで遊んでいた大学生が議論に入れるわけもない。
打ち合わせには研究室メンバーは誰1人おらず、私だけ各所から集合している精鋭研究者たちの打ち合わせに参加することも多々あり、打ち合わせの度に劣等感が襲ってきました。そして、同世代の研究メンバーが雲の上のような存在に見えて、うまく進捗も出ず、話についていけない自分に無力さを感じながらつくばエクスプレスで帰宅していたのを覚えています。
でも、みなさん人間ですし、最初から専門的な知識を身につけている人なんていないわけで、「自分も学ぶしかない」という気持ちになりました。また、研究室を跨いで優秀な先輩方と繋がりができたことは非常にありがたく、「なんでも聞いちゃえば良いじゃん！」というある意味吹っ切れることができました。相談すると皆さん親身になって相談に乗ってくれました。
とはいえ、当時は先輩方と研究の話なんて怖くてできなかったので、とりあえず趣味や大学の話でコミュニケーションをとることで気軽に相談できる関係性まで築いていった気がします。
そこからは血反吐を吐くぐらい猛烈に研究に打ち込みました。寝ると食べる以外は研究しかしていない日々を4ヶ月は過ごした気がします。終電も関係なかったので毎日深夜2時くらいまで1人で研究室で研究していました。とりあえず、「俺はAIスターになるっ！」という気持ちが強かったので良くも悪くも無我夢中でした。また、サーベイ等で知識を吸収していたのですが、1人では時間的に限界があったので、研究室の同期を巻き込んで輪読会を主催しました。そして数ヶ月後には、少しずつ打ち合わせで議論にも加われるようになり、実験結果も出せるようになってきました。
# 研究室直属の先輩である美濃口先輩にはcdコマンドすら分からなかった礼儀知らずの自分に1つ1つ丁寧に知識を教えてくださったことを本当に感謝しています。
Top Conferenceへの挑戦
Abstractまでしか書けなかったECCV2020
卒論を執筆し始めた頃、片岡さんからの「ECCVに挑戦しよう！」の一言で突如、自身初めてとなる論文投稿 (ECCV2020)への挑戦が始まりました。しかもTop Conference。「よっしゃ！これで俺もTop Conference採択だ！」と思いきや、結果的には投稿さえたどり着くことができませんでした。
英語論文を書いた経験がない自分には想像以上に高いハードルでした。
これは投稿してみようとしないと感じれない感覚かもしれないですが、自分が計画したスケジュール通りに実験と執筆は進みません。当時は「そもそも、Overleaf？LaTeXって何？」のレベルでした。また、Top Conferenceに投稿できるレベルの実験量をこなすこともできませんでした。
なので結果的にはAbstractまでしか書けずにdeadlineを迎えてしまいました。自分としては必死に頑張ったつもりでしたが、いざ挑戦するとTop Conferenceの高い壁が立ちはだかってきて、無力感が強かったです。
ECCV2020へ投稿はできませんでしたが、自分の現在の実装力と執筆力ではTop Conferenceクオリティの論文を仕上げるまでに想像以上の時間を要することを身をもって経験できたことは非常に良かったと思います。特に実験に関しては、1. 実験のプロトタイプを作り上げるのに必要以上に時間を要してしまったこと、2. 実験を進めているうちに頭がグチャグチャになってしまい闇の中を彷徨っている時間が長かったこと、が大きな要因だと思います。
Strong Reject×1, Weak Reject×2のCVPR2021
M1（当時2020年）となりECCV2020の反省を活かして、CVPR2021には絶対投稿する！の意気込みで猛烈に日々研究しました。
実験面では、完成度は低くてもよいので可能な限り早く実験を回せるプロトタイプを作り上げました。そして、実験を開始する段階でCVPR投稿に必要な実験を全てドキュメントへ書き出しました。その実験表が全て埋まったら投稿できる！というレベルに何度も片岡さんに修正してもらい実験を進めました。後は実行するだけにしておくことで頭がスッキリした状態で研究を進めることができました。
執筆面では、片岡さんにすごく助けていただき、なんとか8ページ執筆することができました。（自分が書いた英語を全部片岡さんが上から赤で修正していただくスタイルでした。ほぼ真っ赤になりました。笑）10月初旬の1on1では４時間くらいでイントロ書き上げました。自分1人では絶対できないですね。また、当時は英語を書くことで精一杯だったのですが、執筆前にWilliam T. Freeman先生の有名資料であるHow to write a good CVPR submissionを2時間くらいかけて解説してもらいました。共同執筆を経て伝わる文章・ストーリー展開に関して非常に勉強させていただきました。ありがたい限りです。
CVPR2021の結果としては、残念ながらStrong Reject×1, Weak Reject×2の厳しい結果でした。しかし、修士1年でTop Conferenceに投稿するまでの道のりを１度経験できたことは自分の中で自信へと変わりました。
cvpaper.challengeでは毎年, Top Conferenceへの投稿数を目標にしています。採択数も大事ですが、なにより投稿するまでの経験をコミュニティの知見として集約することは非常に重要だと実感できたCVPR2021でした。悔しかったですが。
3度目の挑戦でIROS2021への採択
CVPR2021が終わり、IROS2021への投稿へと切り替えました。が、この時CVPR2021での結果が良くなかったので、個人的にはIROS2021への投稿を見送ろうと考えていました。
しかし、片岡さんから「何度も挑戦しよう！自分の研究は簡単に安売りしないこと！」という一言で、可能な限りCVPR2021のReviewを踏まえて短い期間でしたがプレゼンテーションの面を改善してIROS2021へ投稿しました。
具体的には実験の見せ方やどのように自身の研究がロボティクス分野に貢献できるかという観点から論文を修正していきました。
そしてありがたいことに３度目の挑戦で、主著では自身初の国際会議に採択されることができました。諦めない精神って大事です。
IROS2021に採択されたましたが、実装・執筆面では本当に片岡さんや鈴木亮太さんをはじめ、共著者の先生方にサポートしていただきました。はやく自分も1人でゴリゴリ進めれるような力を身につけ、cvpaper.challengeの目標である「コンピュータビジョン分野のトレンドを創出する」を達成したいです。
採択を経て感じること
cvpaper.challengeの強みの1つとして研究メンバーがみんな高いモチベーションでTop Conferenceを目指していることだと思います。このメンバーだからこそ味わえる空気感って貴重でなかなか感じれないものなのかなと思っています。特に、CVPR等の投稿直前にはみんなで戦っている感を強烈に感じることができました。トップ会議に論文を投稿するときってゴールまでの道のりが絶望的に長く、何度も諦めかけそうな時があるものですが、この空気感が自分を後押ししてくれたおかげで投稿できたとも思っています。切磋琢磨できる戦友って素晴らしいです！
おまけ 〜学振への挑戦
無事に修士課程を修了できたら、来年からは博士課程に進学予定です。博士課程への道を選択したことはcvpaper.challengeにて身近に博士課程の先輩方を見てきたことが非常に大きいです。博士課程進学に伴い、今年は学振(DC1)にも挑戦し、採択内定をいただくことができました。
自分の研究室では学振に関する知見が全くなかったので、cvpaper.challengeの先輩方に添削含めてお世話になりました。なんなら学内締切があることすら知らずに５月を迎えていました。怖すぎる。
締切直前にも関わらず毎日、申請書を添削していただいた中村先生には本当に感謝しております。また、片岡さん、千葉さん、山本さん、綱島さん、山縣くんには申請書の添削、手続き、学振に関する様々なTipsを教えていただきました。ありがとうございます。学振に関してはここでは書ききれないので、また機会があれば書こうかなと思います。
おわりに
この2年半でcvpaper.challengeの研究活動を通じて同じ目標に同じ熱量で頑張る戦友ができたことはかけがえのない財産だと思っています。殴り書きみたいな文章で読みにくかったと思うますが、少しでも同世代の学生さんの参考になったら嬉しいです。最後に、私の原点である言葉で締めます。
AIスターに俺はなるっ！
こちらの内容は12/22（水）に開催されるCvpaper.Challenge Conference (CCC) 2021 Winterで講演予定です。こちらのリンクから参加登録可能ですので、もしご都合よければ参加登録の方よろしくお願い致します。
また、私がグループリーグを担当するFATEグループでは絶賛研究メンバー募集中です。こちらもcvpaper.challengeのHPに詳細が記載されていますので、もしよかったら一緒に研究しましょう！