挑戦から創り出される（コンピュータビジョン研究の）世界を変える物語

2022年12月25日 15:15

「コンピュータビジョン分野の今を映し、新しいトレンドを創り出す。」

これは、cvpaper.challengeが掲げ、全研究メンバーが本気で目指すビジョンである。このビジョンの実現に向け、日々奔走する研究メンバーから創り出される「物語」。今年も、その「物語」を25日間に渡りアドベントカレンダーというカタチで多くの皆様に提供することができた。
これらの「物語」も全ては、たった5名の大学生と1名のポスドク研究員による「CVPR2015の602論文を完全読破」から始まっている。

【速報】CVPR2015完全読破！！！
— cvpaper.challenge | AI/CV研究コミュニティ (@CVpaperChalleng) August 25, 2015

cvpaper.challengeの創設秘話に関しては、昨年のアドベントカレンダー記事（宮下さん記事、片岡さん記事）に譲ることとする。

さて、11名の研究メンバーから始まったcvpaper.challenge。
2022年12月25日現在では、研究メンバーは107名となり、サーベイメンバーは1,000名を超える。企業に例えるなら、いわゆる「大企業」への仲間入りを果たしたと言っても遜色ないのではないだろうか。
2015年から組織が肥大化する度に何度も組織編成を見直してきた。
しかし、あらゆる研究組織との決定的な違いが、「中心は学生メンバー」で構成されているという点である。
これは2015年のツイート時から何ら変わらない。

世界では巨大IT企業が高額なオファーでスター研究者を雇い、潤沢な研究資源を駆使して他からの追随を許さないスピードで研究を進めている。
そして、世界中の学生はそれらの企業にてスター研究者として雇われることを夢に、CVPR/ICCV/ECCVなどのコンピュータビジョン分野のトップ国際会議の採択へ日々奮闘する。（注意: 決して全てではない。）
確かに、それは研究機関・研究者の生存戦略の一つであることに間違いはない。しかし、競争が激化しているこの分野・時代に、それを実現できる企業・学生が一部であることも事実である。

cvpaper.challengeのあるべき姿は、それらのスター集団に学生率いる集団で打ち勝ち、コンピュータビジョン分野のトレンドを創り出す、ということにあるのではないだろうか。
いわゆる、「高校野球で大阪桐蔭に勝つ」、「サッカー日本代表がドイツ/スペイン代表に勝つ」、「湘北高校が山王工業高校に勝つ」といったところである。
そして、このアドベントカレンダーもcvpaper.challengeの「世界を変える物語」の一部分にすぎない。

アドベントカレンダー 2022 振り返り

本日はアドベントカレンダー最終日ということで、執筆していただいた研究メンバーに感謝の意を込め、これまでの記事について振り返っていこうと思う。最終日という大トリに主宰である片岡さんではなく、博士課程1年の私が執筆するのは大変恐縮である。至らない点も多いと思うが、読んでいただけると幸いである。

昨年に引き続き、2度目となるアドベントカレンダー。今年も多くの研究メンバーにご協力いただき実現することができた。改めて感謝申し上げる。
（なお本記事では、各大学の先生方には〇〇先生、学生・ポスドク研究員等含めた研究メンバーには〇〇さんと統一させていただく。）
https://adventar.org/calendars/8089

特に、2022年も福原さん（株式会社エクサウィザーズ / 早稲田大学）に運営面でサポート頂き実現することができた。実はこのアドベントカレンダー企画、10月頃から記事担当者の選定は開始していたものの、CVPR 2023の投稿時期と被り、さらにはcvpaper.challenge (CCC) Winter 2022と同時並行して進めていく必要があった。かなり厳しいスケジュール感であったが、福原さん持ち前の人間離れした頑健性から繰り出される適切なサポートにより、無事に25日間を走り抜けることができた。
そんな福原さん（記事6日目）は、本職でもあるML Opsの知見から研究面でもコミュニティをサポートしてくれている。cvpaper.challengeは複数の研究機関でメンバー構成されているため、実験環境の構築が1つのボトルネックであった。その問題を解決して、効率的にグループ研究を進めるために Ascenderを開発・運用してくれている。実に頼もしい運営メンバーである。今回の記事では「Pythonを用いた研究プロジェクトのためのテンプレートAscenderの紹介」という内容で寄稿していただいた。

実際、上田さん（記事8日目）はAscenderを使用してECCV 2022に採択された。上田さん（筑波大学）はMIRU メンターシッププログラムと cvpaper.challenge の連携企画の第1期生として研究メンバーに加入してくれた。今やコンピュータビジョン分野で一番のレッドオーシャンといっても過言ではない Neural Radiance Fields (NeRF)。上田さんがNeRF分野にてECCVに採択されたことは、日本の学生であってもNeRFで戦えることの証明である。今回はECCV 2022に採択されるまでの上田さん自身の研究記を「読み手も楽しい論文を作るには？」という題目で寄稿していただいた。ECCV 2022に採択された要因の1つには、上田さんの世界に負けず劣らずの研究パワーがあったからではないのだろうか。上田さんなら日本のNeRF界を盛り上げることができるはずである。

研究パワーでいうと、2022年は特に他分野からcvpaper.challengeに参加してくれている篠田さん（記事13日目）、田所さん（記事16日目）、中原先生（記事22日目）が凄まじい。
篠田さん（京都大学）は農学研究科出身ながら、コンピュータビジョンの研究を初めて約数ヶ月でCVPR 2022 Workshopに採択された。そこから、テーマ設定に苦戦しつつも、9月後半から開始したプロジェクトではCVPR 2023へ投稿し、さらには国内学会であるViEW 2022では若手奨励賞を受賞するまでに急成長している。今回の記事では「農学研究科のCVPRへの挑戦」という題目で寄稿していただいた。研究プロジェクトの進め方は研究メンバー随一ではないだろうか。
田所さん（東北大学）は医学部医学科、さらには学部4年生。こちらも篠田さんと同様にCVPR 2023へ投稿し、さらにはViEW 2022でも発表済みである。医学部医学科ということもあり、毎週のテストや実習で「超」多忙である。それでも、他分野であるコンピュータビジョン分野に飛び込み、既に国際・国内会議にて論文を投稿できたことは彼の今後の研究人生にとって必ず大きな糧となるはずである。今回はそんな田所さんだから伝えられる「医療分野から研究するコンピュータビジョン領域」という内容で寄稿していただいた。今後も本業との両立に無理せず、cvpaper.challengeを通じて研究活動を楽しんでもらいたい。
中原先生（岡山大学）は、cvpaper.challengeのメンバー顔負けのサーベイ力の持ち主である。今回の記事では、「北米放射線学会の医療AI教育セッションの抄録を読んでまとめてみました」といった題目で寄稿していただいた。「知への探究心」は私も見習わなければならない。今後も中原先生にはアドバイザーという立ち位置で研究グループを鼓舞していただきたいと思う。

アドバイザーといえば、cvpaper.challengeの研究メンバーが増えてきたことで、研究サポートが希薄にならないようアドバイザーも意識的に増やしてきた。現在では多数の研究機関の先生方やポスドク研究員の方々と連携しながら研究を進めている。
今回のアドベントカレンダーでいえば、品川先生（記事2日目）、玉木先生（記事4日目）、八木さん（記事15日目）、千葉さん（記事23日目）、藤井さん（記事21日目）、横田先生（記事11日目）である。

品川先生（奈良先端科学技術大学院大学）には、Vision and Language Groupのアドバイザーを担当していただいており、今回は「自己紹介とメタ視点の研究効率化Tips（研究生活のデザイン）について」という題目で寄稿していただいた。品川さんの圧倒的な情報収集能力から体系化された知見（スライド）は毎回脱帽である。さらには、研究者と教育者という2つの側面を絶妙なバランスで両立されている。そんな品川さんに教えてもらいたい学生も多いのではないだろうか。

また、Video Recognition Groupのアドバイザーとして参加していただいている玉木先生と八木さん。玉木先生（名古屋工業大学）にはご自身の研究室活動の一環であるコンピュータビジョン論文読み会について、「研究室でコンピュータビジョン論文読み会をやってみた」という題目で寄稿していただいた。論文数が劇的に増加しているこの時代。論文の読み方だけでなく、自身の研究において「肩」となる研究を見極める選球眼は重要なスキルと言える。論文の選び方から読み方について再考させられた記事であった。また、実に学生目線での説明であり、論文初心者には非常に参考となる記事である。
八木さん（東京大学）には、「データを作るということ」という題目で寄稿していただいた。最近、研究を始めたばかりの学生さんの中には当たり前のように様々なベンチマークデータセットがありふれており、その狭い世界の中での評価競争に固執しまっている人もいるのではないだろうか。また、学生だけでなく多くの研究に携わる人が、そのベンチマークデータセットがどのような目的で、どのようにして作成され、それらで評価した数値にはどのような意味を成すのか。まで考えて研究を進められているだろうか。八木さんの記事では、データセット構築におけるご自身の経験談から、研究においてサイエンスの側面を忘れてはならない、課題を「生む」側に回ることの重要さが伝わる記事であった。

続いて、Neural Fields Groupのアドバイザーとして参加していただいている千葉さん（早稲田大学/オムロンサイニックエックス）。いまや、日本で三次元点群における深層学習といえば千葉さんといっても過言ではない。研究者として（専門領域の）看板を掲げることは、若手研究者が目指すべきことではないだろうか。千葉さんには、「点群関連書籍執筆の話と，毎日やるという話」という題目で寄稿していただいた。題目にもある通り、今年は『詳解 3次元点群処理』、『コンピュータビジョン最前線 Winter 2022』という2つの書籍にて三次元点群をニューラルネットワークで扱う部分を執筆されている。三次元点群に関する日本語での情報があまり豊富ではない時期から千葉さんは点群周辺に関してサーベイされており、三次元点群を取り扱うニューラルネットワークのサーベイ Ver.2 等は、私含め数多くの学生の点群深層学習への入門の敷居を下げてくれた資料に間違いないだろう。

最後に、Formula-Driven DataBase (FDDB) Groupのアドバイザーとして参加していただいている藤井さんと横田先生。
藤井さん（株式会社エクサウィザーズ / 東京大学）にはアドバイザーだけでなく、研究メンバーとしても参加していただいている。「平凡父親エンジニア/研究者の生存戦略」という題目で寄稿いただいた。限られた時間で、どのように最大限のパフォーマンスを発揮し、世間における自身の立ち位置を確立するか。藤井さんの記事を読んで勇気づけられたエンジニア・研究者は多いのではないだろうか。私はまだ父親ではないため、子供目線のことしか分からない。が一つ言えることは、父親が藤井さんのような姿で仕事をしていることを将来知ったときには「かっこいい」と必ず思うはずである。
横田先生には「大規模計算機を深層学習に利用する方法」という題目で寄稿していただいた。計算資源を持たざるものがどのようにして研究を進めるべきか。豊富な計算資源を使えないと思い込んでいるのではないか。今回、そんな方々が再考するきっかけになった記事ではないだろうか。特に、横田先生とは片岡さんの記事（記事12日目）にもある通り、FDDB Groupにおいて「最強の」研究チーム、連携ができつつあるのではないだろうか。これも毎週、研究室全メンバーと1 on 1している横田先生の研究者マインドからなるものだろう。今後も横田先生、井上中順先生（東工大）、片岡さんの研究連携からは目が離せない。

そんな横田先生の研究室の学生としてcvpaper.challengeに参加してくれている高島さん（記事17日目）。高島さん（東京工業大学）には、「大規模分散学習でGPUを食べまくる人」という題目で寄稿いただいた。高島さんに豊富な計算資源を渡すと、1年8ヶ月で約159年分の実験量をこなせる程の逸材である。（数値の詳細については高島さんの記事を参照してください。）実際、これだけの計算資源を渡されても、これだけの短期間でこれだけの実験量を回せる人材は数少ないと思う。考慮するパラメータ含めて混乱しそうでもあるが、高島さんは実験計画・管理を含めて確実に打ち合わせの資料を準備してくれる。研究チームには欠かせない最強の仕事人である。
そんな高島さんと密に連携してCVPR 2023で投稿まで漕ぎつけたのが速水さん（記事9日目）である。速水さん（東京電機大学）には、「チャンスを掴み取るために」という題目で寄稿していただいた。速水さんは現在修士1年生。cvpaper.challengeの運営メンバーとしても活躍してくれているのはもちろんのこと、学部4年生ながらCVPR 2022に片岡さんと共著として採択されている。今回の記事では、CVPR 2022にて提案したRadial Contour DataBase (RCDB)の誕生秘話と当時学部4年生ながら怖がらずに挑戦し続ける姿勢が綴られている。年齢問わず、貪欲に挑戦し続ける姿勢は誰もが模範にするべき姿ではないだろうか。

貪欲に挑戦し続ける姿勢といえば忘れてはいけないのが綱島さん（記事5日目）である。綱島さん（早稲田大学）にはGenerations Groupのグループリーダーとして活動してもらっている。今回の記事では、「小さな狂気の閃光を失うな」となんとも綱島さんらしい題目で寄稿していただいた。
博士課程では、修了要件や次のポストを含めて研究を焦ってしまい、本当に自分が博士課程でやりたいことを見失いがちである。そんな苦労を超えたからこそ伝えれる綱島さんの記事を読んで、考えさせられる学生も多かったのではないだろうか。その苦労を超えた先にいる綱島さんが、周囲の想像以上のスーパーゾーンタイムに入るまでは目と鼻の先である。

綱島さん同様に、Vision and Languageにてグループリーダーを務めるQiuさん（記事20日目）。Qiu（産業技術総合研究所）さんには「Visual Reasoningデータセット紹介」という題目で各データセットの詳細について紹介してもらった。Qiuさんの凄いところはVision and Languageにて不足している評価・技術を自らデータセットを構築し、同時にネットワークまで提案して分野の知見を広げる点にあると思う。この問題設定はQiuさんのサーベイ力に裏打ちされているのであろう。今年から産総研の常勤職員となったQiuさん。研究者として多くの学生・研究者とコラボレーションしてVision and Languageにおけるトレンドを創り出すのも目前であるに違いない。

そして絶対に忘れてはならない次世代の台頭。cvpaper.challengeでは大学1年生や高校生までが博士課程含めた研究グループに混ざって、一緒に研究している。その代表として、研究とイラストの２足の草鞋の持ち主である大西さん（記事18日目）。大西さん（大阪大学）には、「コミックマーケット101に参加します」と今回のアドベントカレンダー記事の中でも、なんともユニークな題目で寄稿していただいた。DALL•E 2やStable Diffusionを含めて巨大IT企業から次々に提案される画像生成モデル。倫理関係含めて問題は山積みであることは間違いないのだが、研究とイラストを両立している大西さんだからこそ、この研究の流れに何か一矢報いることができるのではないかと期待してしまう。大西さんを含めた次世代の急成長に胸が躍りっぱなしである。

2022年 cvpaper.challenge 振り返り

このアドベントカレンダーを含め、2022年もcvpaper.challengeは網羅的サーベイ / CCCといった企画を実施してきた。

CVPR 2022/ECCV 2022の網羅的サーベイでは多くの方々に参加していただき、合計で1,000本も超える論文サマリを公開することができた。ご協力していただいた皆様には、この場をお借りして感謝を伝えたい。
そして、何よりこの大型企画を学生ながらに運営してくれた長崎さん（記事10日目）、速水さん、高橋さん（東京電機大学）には感謝を伝えたい。何よりすごいのは冒頭にも述べたように、中心メンバーが全員学生であることである。網羅的サーベイの主宰として引っ張ってくれた長崎さんには、「網羅的サーベイの読破システムの裏側や読了数を増やすための秘訣」という題目で寄稿いただいた。長崎さんには、ICCV 2021 網羅的サーベイから運営として参加してもらっている。運営のやり方次第で読破数は大きく変化する。今年は、昨年の反省を活かしながら、速水さんと高橋さんと協力しつつ読了数を増やすために適切に指揮を取ってくれた。彼らの運営なしに1,000本の読破完了はなかったことと思う。コンピュータビジョンの激流を追うため、1つでも多くの論文を皆様に届けたいという気持ちのあられではないかと思う。そして、その裏側には論文要約システムの運用する速水さん（サポート: 中嶋さん（筑波大学）、鈴木亮太先生（埼玉大学））の存在が大きい。

今では、cvpaper.challengeの夏と冬の名物となったcvpaper.challenge conference (CCC) Summer / Winter。こちらも網羅的サーベイ同様に学生主体で企画運営している。
CCC Summerは、General Chair 山田、Program Chair 中村さん（記事7日目）で運営した。また、CCC Winterは、General Chair 篠田さん、Program Chair 田所さんで運営した。そしてなにより、CCCの開催にはなくなてならない最強の黒子的存在である長谷部さん（記事14日目）。

中村さん（福岡大学）は研究力もさることながら、今ではcvpaper.challengeでも運営的な立ち位置として全体を統率できる数少ない研究メンバーである。今年はそんな中村さんだから伝えられる「cvpaper.challengeでの研究とそのTips，メンバー紹介などなど」というメタ的な目線で、cvpaper.challengeはどのようなメンバーがどのようにして研究を進めているか、について執筆していただいた。研究グループでも中村さんのサポートによって精神的に支えられたメンバーを少なくはない。

長谷部さん（ResearchPort）には、【“タレント（=研究者）”の成功をサポートし続ける“マネージャー”である】という立ち位置として日々サポートしていただいている。もうかれこれ1年半のお付き合いである。「タレント（=研究者）の成功」をここまで本気で「サポートし続ける」方々は本当に研究者からして貴重である。
タレント（=研究者）の成功を花火に例えるなら、ResearchPort様には花火の打ち上げ師としてしか見れない光景を見続けて頂きたいと思う。（注意: ちなみに、我々の花火は一瞬では終わらない。）

そして、榎本さん（記事19日目）にも昨年に引き続き、「コミュニティで変えるAI情報のキャッチアップ」という題目で寄稿していただいた。榎本さん（AI-SCHOLAR）には現在、cvpaper.challengeの広報側としてお世話になっている。記事にて説明されている「AI情報のキャッチアップコミュニティ」、楽しみで仕方ない。博士課程の学生が研究に専念できる環境として新たな方法論になりうると思う。このような取り組むがあってこそ研究者が最大のパフォーマンスが発揮でき、CV(AI)分野が盛り上がっていく。

cvpaper.challengeのこれから

ここまで長々と今年1年間の活動について振り返ってきた。ここまで振り返るだけでも非常に濃密な1年であったことに違いはない。残念ながら今回のアドベントカレンダーで紹介できなかった研究メンバー、アルムナイメンバーの「物語」も数多く存在する。この紹介はまたどこかで。

さて、CVPR/ICCV/ECCVに定期的に採択されるようになった今。cvpaper.challengeは過渡期を迎えているのではないかと思う。これはどの組織でも同様であるが、組織の成長とともに必ず訪れる。CVPR/ICCV/ECCVに採択される論文が0本→1本、1本→5本、5本→10/20本、各段階（フェーズ）において組織の姿とスキームは異なる。目の前の業績を確実に抑えつつも同時に次の段階（フェーズ）へ移行する準備も必要だ。これは理解していても非常に難しい。時には研究メンバーの不満を招くこともあるだろう。
さらには、2020年以降、コロナウイルスの拡大が相まってオンラインでのコミュニケーションが基本となり、cvpaper.challengeの良い文化が一時期消えかけているようにも見えた。文化の修復には多大なる時間が必要だ。そんな不安定な時期だからこそ忘れてはならないのは原点（ビジョン）である。

「コンピュータビジョン分野の今を映し、新しいトレンドを創り出す。」

2015年5月7日、「CVPRの論文を全部読もう」という「ノリ」から始まったcvpaper.challenge。そして2022年12月25日、今のcvpaper.challengeがあるのは、片岡さんはじめ、これまでcvpaper.challengeに携わってくださった皆様のおかげ以外のなにものでもない。いつの時代でもcvpaper.challengeにおける各研究メンバーの「物語」が研究業界でいう名の「巨人の肩」となり、それが積み重なることで少しずつビジョンの実現へ近づいていく。

おまけに

私以外で唯一アドベントカレンダーメンバーで片岡さん（産業技術総合研究所）だけ書いていないのも変かなと思うので「おまけ」という項目で書かせていただくこととする。片岡さんは私の所属研究室でのメンター（いわゆる上司）にあたり、このような公の場で主宰である片岡さんについて執筆するのは実に烏滸がましい話であり、公開ゴマスリみたいになるため躊躇ったのだが、片岡さんが研究メンバーから執筆される機会も少ないと思うので書くこととする。

約4年弱、片岡さんの近くで研究させていただいた。片岡さんに関しては、よく「体力オバケ」等の声を耳にする。近くで見ていて、それはある意味、事実だと思う。ただ特に、研究という業界において「世界を俯瞰して見る視点」は非常に重要であり、片岡さんはその点で長けているのではないかと感じる。あとは、それに付随した「（天性の）ノリ」である。ここでの「ノリ」とは、いわゆる誰しもがやらなければならないと分かっていても、やりたくないことに対して真正面から先導して突き進んでいく「ノリ」である。なんなら周りを巻き込んで研究を推し進める力といってもいい。片岡さんと打ち合わせしているとエンカレッジされて自然と「やる気」が漲ってきた研究メンバーも少なくないのではないだろうか。その内容が今回、片岡さんに寄稿していただいた「「最強の」研究チームについて考える」に表れているのではないだろうか。

最後に

まずはじめに、大変忙しい中、アドベントカレンダーの執筆を引き受けていただいた研究メンバーの皆様、運営面で至らない点もあったかと思うが、皆様のご協力のおかげで今年もアドベントカレンダー企画を無事に終えることができた。この場を借りてお礼申し上げます。

そして先述したが、cvpaper.challengeがここまで大きくなったのは、研究メンバー/サーベイメンバー/アルムナイメンバー、そして日々我々の活動をSNS等で応援していただいている皆様のおかげであると運営メンバーの1人として日々感謝の気持ちでいっぱいである。

cvpaper.challengeの主宰でもないのだが運営メンバーの1人として、最終日という重要な記事を執筆させていただいた。大変恐縮である。
私は主宰ではないため全てのことを把握しているわけではないが、限られた時間の中で精一杯書かせていただいたつもりである。

これからも「世界を変える物語」は続くであろう。
乞うご期待。

長々と読んでいただき、ありがとうございました。

2022.12.25
山田亮佑