館詰研究記
筆者：福原吉博
差出人: 片岡裕雄
送信日時: 2019年1月10日 17:45
宛先: ○○○○
件名: XX館の申請
片岡です。
明日から（に限らずなるべく早く）10泊11日で、早稲田大の学生さんをXX 館に宿泊させることは可能でしょうか？明日は私も出勤予定なので、直接お願いしに行くことも可能です。
これは2019年の年始にcvpaper.challenge主宰の片岡さんから実際に送信されてきたメールの一部です. 当時, 私は博士課程の1年目でcvpaper.challengeの研究メンバーとして ICML 2019への投稿を目指して, 同研究室の後輩と共同で研究を行なっていましたが, 深刻な計算リソース不足の問題で片岡さんに相談をしていました. すると, 産総研で実験をすればABCIというスパコンを実験で使用することが出来る上に, 産総研にはXX館という宿泊施設があり, 長期滞在が可能なので産総研に明日から来ないかという提案を頂きました. 私と後輩はこの提案に即答し, 翌日には Desktop PC 2台, モニター2枚, 電子レンジ, 炊飯器, 簡易ホワイトボード, 20kg 米袋, トランク2つで膨れ上がったレンタカーに乗って筑波を目指して常磐道を北上していました.
はじめに
こんにちは. 株式会社エクサウィザーズで機械学習エンジニアをしています福原（@gatheluck）です. cvpaper.challengeには2018年から参加しており, 現在はXCCVグループのグループリーダーとHP周りの開発・管理を担当しています. この度, アドベントカレンダー企画の19日目を担当させて頂く機会を頂きました. 既にこれまでの約20日間で多くの方が素晴らしい記事を投稿されているので, どのような内容について書くかを非常に悩んだのですが, 今回の記事では私がチームで研究をする際の体制や仕組み作りの重要性について考えるきっかけとなった体験について振り返ってみようと思います.
具体的には, cvpaper.challengeに参加した初年度に下記の２つの国際会議への投稿に際して, 共著者と泊まり込みで（館詰め状態になって）寝食をともにして研究をした体験の振り返りです.
・ICML 2019 投稿：2019/01/11 - 01/24（産総研：11 泊, ホテル：2泊）
・ICCV 2019 投稿：2019/02/27 - 03/15（産総研：16 泊）
私の主観に基づく振り返りですので, 読者の方にとって有益な情報はほとんど無いかもしれないですが, cvpaper.challengeにおいて行われている様々な研究の裏側の一例として楽しんでもらえると幸いです.
前日譚
私が所属していた森島研は2018年にcvpaper.challengeとの連携をちょうどスタートしたところでした. CVPR 2018の読破チャレンジにも森島研グループを作って本格的に参加し, 産総研チームと論文サマリの作成本数で鎬を削った後, Hard Sample [^1] についての研究を経て, 12月からAdversarial Examples (AEs) とHard Sampleの特徴の違いについての分析を後輩の板摺君（@zulinx86）との共同研究として開始したところでした.
2018年当時cvpaper.challengeでは年末に産総研で2泊3日程度のブレスト合宿を行っており[^2] , それらを含めた年末の議論を通して, MLモデルが構成する分類曲面の曲率などの幾何情報を使用する方法がAEsとHard Sampleの特徴を分析する道具として良さそうということが分かりました. 当初の投稿の目標としては3月締切のICCVを予定していましたが, 年明けすぐに ICML の期限があるので, 一度 ICML を目指して全力で進めてみようということになりました. しかし, 大きなMLモデルが構成する分類曲面の曲率を求めるためのHessianの計算やPGDによるAdversarial Trainingを行うためには, 手持ちの計算資源が不足しており, 到底投稿期限には間に合いそうもありませんでした. そんな中, ありがたいことに片岡さんから冒頭のようなご提案を頂き, 私と板摺君は翌日からの産総研行きを即決しました.
[^1] 誤分類されやすいデータ点のこと（定義の仕方は複数あります）.
[^2] ブレスト合宿については鈴木さんが記事の中で詳しく紹介して下さっています.
館詰研究 ICML編：2019/01/11 - 01/24（産総研：11 泊, ホテル：2泊）
このような背景から, 私と板摺君は急遽, 産総研とXX館を拠点として国際会議投稿に向けた研究活動を行うことになりました. 産総研に着くと急いで研究環境を構築し, ABCIのスペックの高さに驚愕しながら [^3], ABCIが使える前提で練り直した計画に沿って実験を開始しました. 下の写真は当時のXX館に急遽構築した環境の写真です（ABCIの使用やPCの持ち込みは片岡さんにご確認を頂いて問題の無い範囲内で行いました）.
そこからは怒涛の2週間でした. 板摺君と文字通り横並びで実験と論文執筆を並行して行い, 議論が必要になれば産総研の中央塔に行って片岡さんを相手に壁打ちをさせて頂き, フィードバックを持ち帰って出来るだけ早く次の結果を出し, 食料が尽きそうになったらつくば駅近くの西友に自転車で買い出しに行くという具合でした.
この期間は毎日24時間, 常にお互いが何をしているかが物理的に見える状況だったので, コミュニケーションコストが非常に小さくなり, 必要に応じてペアプログラミングを行うことで研究のhowの部分については実装レベルで確実なコミュニケーションがとれたため, 研究のスループットが大きく向上するというメリットがありました. また, 環境を変えたことと, お互いに良い意味で監視し合っている状態を作り出せたことによって, 普段以上の集中力が長時間発揮出来るという副次的な効果もありました（少なくとも主観的にはそう感じていました. また, 念のための補足ですがこのような24時間体制での研究は私と板摺君の2人の意志で行ったものであり, 片岡さんや森島先生からの指示を受けたものではありません.）.
最終的に, Red Bull の空き缶のタワーを生成しながらも, ほぼ 12日間で大方の実装・実験・執筆を行い, 論文としての最低限の体裁が整ったものが出来ていました. このときの論文執筆を通して cvpaper.challengeの読破チャレンジや網羅的サーベイの枠組みで論文を多読していた経験が生きているのを実感すると共に, チームで研究を進めることの威力を体感しました [^4] .
上述のようなメリットがあった一方で, 物理的に近い距離にいることで, 会話ベースのコミュニケーションが中心となり, 文字ベースのコミュニケーションが必要最低限になりがちなことに関しては, デメリットもありました. 特に, 研究の動機となるwhatとwhyの部分について, 実験に取り掛かる前に明文化して共有しておかなかったために, 研究の意義について説得力が不十分なライティングとなってしまいました. この点も影響してか, 査読の結果としては Reviewer 4人中3人がRejectという非常に厳しいものでした. 私にとって初めてのトップカンファレンスへのフルペーパーの投稿だったため, トップカンファレンスの壁の高さを感じました.
[^3] 当時cvpaper.challenge内にはABCIを使用した計算のノウハウがほぼありませんでしたが, 板摺くんの圧倒的エンジニア力によりたった１日で自作ドキュメントとジョブを投げるためのスクリプトのテンプレートが出来上がっていました.
[^4] 私の所属している研究室は基本的に個人単位で研究プロジェクトが作られているため, 本格的にチームを作って複数人のフルコミット体制で研究をするという経験はこの時が初めてでした.
館詰研究 ICCV編：2019/02/27 - 03/15（産総研：16 泊）
前述のように不採択で終わったICML編の館詰研究ですが, 寝食をともにしながら進めることで得られるメリットは大きいということが分かったため, ICCV 2019への投稿の際も館詰研究の方法をとることにしました. このときの産総研への往路については森島先生直々に車で大量の荷物共々送迎して頂き, 応援のお言葉を頂きました (森島先生ありがとうございました).
ICCVに向けては, 研究のスループットの向上という館詰研究のメリットを生かしつつも, 前回の反省を生かして, 研究の意義について初期の段階から文章化を行うように努め, よりシンプルで分かり安い形（Adversarial Examplesに対して頑健なモデルが持つ特徴量の性質の分析とアンサンブルによる頑健なモデルの活用法）にアップデートしました. また, 実験量についても ABCIの計算資源をフル活用して十分な実験結果による武装が出来るように計画をして臨みました.
このように初回のときよりも周到な準備をして臨んだ, 2回目ですが, 初回よりも期間が長かったこともあり, 頑健なMLモデルについての研究をしていた我々自身の心身の頑健性が求められました [^5]. また, どのくらいの期間が経過するとパフォーマンスが低下し始めるのかを大まかに計測するために, 居室に GoPro カメラを設置してタイムラプスを撮影するという試みも行いました. 下の動画は当時撮影した2回目の館詰研究の様子の一部です.
周到な準備をして臨んだ甲斐もあって, ICCVはsupplemental materialまで, 納得のいく内容で投稿をすることが出来ました. 投稿完了直後につくば駅のすぐ近くで食べたとんかつがあまりにも美味しかったので, 2週間もまともなものを食べないと味覚にこんなにも影響があるのかと, 板摺君と2人で感動したのを良く覚えています [^6].
ICMLのときとは違い, ある程度の自信を持って投稿したICCVでしたが, 査読の結果としては, Borderline, Weak reject, Weak reject と厳しいものでした. しかし, ICMLのときとは違い, 査読者のコメントは前向きなものも多かったため, 査読者全員が貢献を認めてくれている箇所を強調しつつ, 一部の査読者に誤解されていると思わしき部分の説明を加える形でリバッタルを行うことにしました.
一方で, コメントの中には「研究の意義は分かるし, ライティングも悪くないが, 実験の結果の分析結果の解釈の説明が不十分な部分があるため, 説明を追加して欲しい」といった, 説明不足を指摘する内容のコメントが複数あり, 著者以外のメンバーに事前に論文を読んでもらう事で, 事前情報が無い状態で論文を読んだ場合に感じる印象のフィードバックを貰っておくべきだったと後悔したのを覚えています [^7].
内容をもう一度改善して, トップ会議を目指すことも考えましたが, 類似の内容を報告している論文が別のトップ会議に採択されたことと, 卒業の要件として論文誌が必要になることから, 片岡さんにご提案を頂いたJSPEの論文誌として最終的に着地させることにしました. こうして, 産総研での館詰研究は幕を閉じました [^8].
[^5] 余談ですが, 私のメガネはつくばの強風に耐えられるほど頑健ではなかったため, ブリッジ部分から真っ二つになって吹き飛んでしまい, アロンアルファで簡易修理した歪んだメガネで研究を続ける必要がありました.
[^6] 後日, 片岡さんにこのお話をしたら, 我々がとんかつを食べた「とんQ」は有名なお店であり, 私達の状態に関わらず, ただただ凄く美味しいとんかつだったということが判明しました.
[^7] 丁度この時期からcvpaper.challengeコミュニティ内では内部締切と内部査読の仕組みを導入して, 論文としての完成度が十分で無いものについては, 投稿を見送りを検討するルールが出来ましたが, まだマストの仕組みではなかったため, 私達は利用していませんでした.
[^8] またまた余談ですが, 最後の退去時にはあまりの荷物の多さに受付の方に業者の搬入と間違われるほどでした.
後日譚 -その後の研究体制へ-
前述のように館詰研究を通して行っていた研究は, 残念ながら満足のいく着地をさせることが出来ませんでした. しかし, 館詰研究を通して学んだ教訓には有益なものが多く, 現在の cvpaper.challengeやXCCVグループの研究の進め方を考える上でも1つの大きな指針となっています.
・関連研究の網羅的サーベイが終わった後に, メタサーベイとしてまとめる
・手を動かし始める前に研究における仮説を文章化して定期的に見直す
・投稿前の内部査読のシステム
などは館詰研究を含む, 様々な種類の研究の進め方から得られた知見を元に, 改善を重ね, 現在もcvpaper.challenge のコミュニティの中で実践されている仕組みです. これらの仕組みは継続的なアップデートの最中にあり, チームや個人による研究をサポートする仕組みと全力で研究するメンバーをコミュニティ全体で応援する文化が整ってきています.
特に, 私 [^9] と片岡さんが共同グループリーダーを務めるXCCVグループは, CV分野のトレンドを作るための1つの通過点として, 難関国際会議への投稿を目指す研究メンバーを公募して2021年から新しく立ち上げたグループです. XCCVグループでは前述のような研究サポートの仕組みに加えて, cvpaper.challengeの各グループリーダー（GL）を含む研究メンバーとの議論の機会やPRMU 研究メンターシッププログラムとの連携など新しい取り組みを行っています. 2022年もメンバーを募集する予定ですので, XCCVグループやcvpaper.challenge の環境での研究に興味がある方はHPに記載の詳細をご確認の上, 是非ご連絡下さい.
本記事を最後まで読んで下さり, 誠にありがとうございました. 最後に, このような貴重な研究の機会を与えてくれた片岡さん, 長期間の産総研滞在に対して快く予算を付けて下さった森島先生, そして共同研究者として最高のパートナーの板摺君に感謝を述べて, 結びとさせて頂きたいと思います. ありがとうございました.
[^9] 早稲田大学の所属として活動を行っております.