よわよわ大学院生と研究とcvpaper.challenge
はじめまして。cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2023 14日目を担当します、東京電機大学データ科学・機械学習研究室M2の髙橋秀弥と申します。
私は2022年8月ごろからcvpaper.challengeへ本格的な参加を開始し、その２ヶ月後の10月からは産総研リサーチアシスタントもさせていただくようになりました。
それから約１年が経ち、2023年も12月の中盤に差し掛かかっています。それとともに、修論の足音が近づいてきており、修士生としての生活にも終わりが見えてきました。せっかくなので研究生活の振り返りを通して、研究題材の布教、およびcvpaper.challengeに参加したら…?の１サンプルを提供できればと思います。（結構な文字数になってしまったので興味のないところは読み飛ばしてください。）
興味深い研究分野の数々
自身の研究紹介
急に自身の研究を紹介し始めるのですが、現在まで一貫して二重降下と呼ばれる現象に関する研究を行っています。二重降下…耳なじみがない方もいると思うので説明します。もともと、機械学習におけるモデルのパラメータ数はいたずらに増やせばいいわけではなく、パラメータ数の増加によって一定までは性能が向上するが、その後過学習しやすくなるために性能が低下していくことから、多くも少なくもない最適なパラメータ数が存在すると考えられていました。しかし、実際のところ、近年提案されているモデルは、数千万以上、多いと数千億といった莫大なパラメータを持つにもかかわらず、著しく高い性能をたたき出しています。
そんな中で、実はモデルのパラメータ数の増加に従って性能の向上、悪化と移り変わった後に、再度の性能向上を見せる場合があることがわかりました。この現象はテストデータに対するloss(or error)が二度の降下を見せることから「二重降下（double descent）」と名付けられています[1]。
この二重降下と呼ばれる現象はパラメータ数の増加だけでなく、学習回数（エポック数の増加でも）起きることが報告されています[2]。自身はこの学習回数の増加に対する二重降下を研究のメインターゲットとしています。
この二重降下の明確なメカニズムは未だわかっていません。
自分の興味分野について
二重降下現象は言ってしまえばパラメータ数（または学習エポック数）とモデルが示す精度との関係を表しています。また、パラメータ数が指数的に増加すると性能は対数的に増加するいわゆるscaling lawと呼ばれる仮説も立てられています[3]。一方で、学習エポック数の文脈においては、モデルが急に理解をする（＝性能向上を示す）Grokkingと呼ばれる現象も報告されています[4]。
これらの研究は結局、どこに/どのように/どうやって精度を向上する特徴が学習されているのか？という問題に行きつくと思います。機械学習は、モデルが出力する結果がどのようなプロセスで判断されたのかわからないことから、ブラックボックスであるといわれます。しかし、それに留まらず、機械学習の少なくない部分が現在においてもブラックボックスとなっていると思います。その上で二重降下の解明がこのような未解明な問題を解決するための足掛かりになると考えています。
また、プルーニングの文脈での宝くじ仮説、モデルアーキテクチャによって画像特徴への偏重度合いの違いなどの研究は個人的に非常に興味深く、また関連する（かもしれない）と考えています。（後者は自身の研究のもう一つのきっかけにもなっています）
まとめると、「モデルとは何ぞや？」との問いに関する研究に非常に関心を持って二重降下について研究しています。自身の研究を通しては、ある条件においては、二重降下の動きとモデルが示す画像特徴への偏重度合いが相関する場合があるということが判明しています。ぜひ、この記事を読んだ方も興味を持っていただけたら嬉しいです。
二重降下との出会い～cvpaper.challenge
参加・産総研RAになるまで
二重降下現象に興味を持ったのは、もともと機械学習の根底にある数理的な仕組みに感心を持っていたことがきっかけです。それを受けて、所属する研究室のボス（前田英作先生）にいくつか提案された中から、この題材を選択しました。
その後、入り口のタスクとして、二重降下の再現実験を進める中で、先輩のアドバイスで新たな実験案が固まり、そこから思っても見ない結果がでたため、その内容をMIRU2022に提出することになりました。また、提出時期の少し前に、前田先生のつながりで片岡さんに研究内容の報告も行いました。この時にRA制度を紹介いただいたと記憶しています。
RA制度を紹介いただいた当時、自分に自信があるタイプではなかったためかなり悩みましたが、教授の後押しと、国際学会へのあこがれからRAになることを決心しました。（研究テーマは産総研のプロジェクトにある程度即していれば、研究室でのテーマを持ち込みOK）
そののちに、どうせなら先に乗り込んでおこうという考えから、2022年6月ごろ？のCVPR2022網羅的サーベイからcvpaper.challengeに参加させていただいています。（研究グループに参加するようになったのはMIRU2022後の8月ごろです。）
cvpaper.challengeに参加してみて
このコミュニティに参加させていただいて、研究室では得られない経験、機会等、多くのものを得られたと感じています。以下にいくつか取り上げようと思います。
様々なイベント
研究に関わらず、スキルが伸びるイベントが多いです。例えば、網羅的サーベイでは複数人が集まって対象学会の論文を読むうえでかなりのモチベーションになりました。また、ECCV2022網羅的サーベイでは運営側に回り、目標読破数に到達してもらうためにはどのようなアナウンスをすればいいかを考えながら立ち振る舞うという貴重な経験を積むことができました。
さらに、自分の研究を発表する機会が多くあり、普段から発表の場に慣れるだけでなく、議論をすることも可能なので、より研究が促進されると感じました。（自身はインフルエンザで参加できませんでしたが、他の研究機関との研究発表会なども行われています。）
人とのかかわり
参加してからを振り返ると、このコミュニティへの参加が生んだ人とのつながりこそが、最も貴重なものであったと感じています。つくばにある産総研の某所には通称RA部屋と呼ばれる部屋があります。ここでは、産総研RAであり、かつcvpaper.challengeのコアメンバーが出入りしています。右を向いても左を向いても国際学会に主著、または共著での採択経験のある研究員の方、先輩、同期ばかりといった猛者の集うcvpaper.challengeの本丸といっても過言ではないです。そのような場所に集うメンバーは、関わってみるとお優しい方ばかりであり、研究のアドバイスや励ましの言葉をいただいたり、つくばのおいしいお店に連れて行ってもらったり、時には、就活の相談を受けてくださりもしました。これらは常に心の支えになっています。
また、所属する大学の他研究室との関わりができたのも良かったと感じています。例えば、同じ東京電機大学の同期にもかかわらず、すでに主著or共著として複数本の論文が国際学会に採択されている速水さんや、その先輩にあたる、偉大な山田先輩は、このコミュニティに参加していなければできなかった縁だと思います。
そして、最も重要な先輩との出会いから、初めての国際学会投稿までの話をさせていただきます。
研究における先輩との出会い～最近まで
もちろん、このコミュニティにおけるほとんどの方が研究における先輩ではあるのですが、特に中村凌さんなくては国際学会投稿まで至ることはできませんでした。
思い返すと2023年の5月ごろ、NeurIPS2023に出してみようとなったのですが、実験量は少なく、どう書けばいいかも定まらず、執筆作業が遅かったため締め切りに間に合いませんでした…
そして６月ごろ、中村さんから、研究をこんな感じでスライドにまとめてみてよとアドバイスをいただきました。手を差し伸べていただいたことを感じた私は、これを逃してはいけないとアドバイス通りにスライドをまとめ、共有したことを覚えています。そこから、中村さんの打診で共著に入っていただくことになりました。
そこからは、その時までの研究方法がガラッとかわり、一時期は週に一回以上、長いと3時間以上も時間を取っていただき、思いも見ない切り口での実験や考えていなかった分析方法を試すなど多くのアドバイスをいただきました。執筆においても、学会に合わせた論文の書き方を教えていただきながら、作業自体を一緒に進めてもらったりと圧倒的パワーで論文執筆を促進していただきました。結果として、８月末締切のWACV2024のround2になんとか投稿することができました。査読結果は、残念ながらStrong Reject×2、Weak Reject×2とといった結果だったのですが、非常に有益なコメントを多数いただけました。
その後、先月にはCVPR2023の締め切りがあり、WACVを意識したアプリケーション提案型のスタイルから、CVPRに合わせたスタイルに書き換え、査読コメントを反映したりといった作業をし、再度論文を投稿させていただきました。CVPR2023の投稿では、博論執筆による中村さん多忙のため、中村さんの支援が望めませんでした。しかし、中村さんとの執筆で得た経験と教授の力を借りてCVPR2023に何とか投稿できました。WACVでいただいた査読コメントのおかげで、自分、論文ともにランクアップしてCVPRの投稿につなげられたと感じています。現在査読待ちです。
最近では、中村さんに自分の性格がばれつつありますが、頻繁に気にかけていただいています。
国際学会へのパスとしてのcvpaper.challenge
近年、採択される論文の著者数は増加傾向にあるとのデータが出ているそうです。[URL]
実際にcvpaper.challengeでもここ数年で個人プレーからチームプレーに代わっていったようです。（中嶋さんの記事を読むまでそのような時代があったことを知りませんでした。）中村さんにフォーカスしていたため、これまで言及していませんでした。しかし、私もこのコミュニティの研究メンバーとして加わったときから、複数の先生方にアドバイスをいただいています。
cvpaper.challengeには、このような連携体制であったり、前述した機会や中村さんに留まらない、メンバーとの出会いの場であるという面を持っていると思います。
このような面を活かすことで、cvpaper.challengeが日本から国際学会へとつながる１つの「道」になると自身は感じています。
一年を振り返って
このコミュニティで過ごした１年を振り返ると、もっとこうするべきだった、ああするべきだったと思うことは多分にあります。（絶賛思っていることもいくつか…）しかし、直接的、または間接的に、多くの人の助けを借りながらも、自分なりにもがきながら、なんとか国際学会投稿までこぎつけられたのは良かったのかなと思います。
卒業まで残り少ないですが、所属研究室から初めて参加した人間として、このコミュニティで勉強をさせてもらう中で得られた経験を、少しでも還元して行ければと思っています。
おわりに
今回の記事では自身の研究生活を振り返りながら、面白いと思った研究分野の紹介と半人前な自分がcvpaper.challengeに参加してみて感じたことを記事にしてみました！
この記事で自身の興味ある分野に感心を持っていただけたり、自分もcvpaper.challengeに参加してみようかなと思っていただけたら嬉しいです。
参考文献
[1] M. Belkin et al., “Reconciling modern machine-learning practice and the classical bias-variancetrade-off,” PNAS, vol. 116, no. 32, pp. 15849-15854,
2019.
[2]P. Nakkiran et al., “Deep double descent: Where bigger models and more data hurt,” ICLR, 2020.
[3]J. Kaplan et al., “Scaling laws for neural language models,” arXiv preprint arXiv:2001.08361, 2020.
[4]A. Power et al., “Grokking: generalization beyond overfitting on small algorithmic datasets,” Mathematical Reasoning in General Artificial Intelligence Workshop, ICLR, 2021.