研究の自動化とより良い研究への所懐
はじめまして！私は独立して個人で機械学習の研究をしています。この度私は、学術系クラウドファンディングを運営されているacademistさんの、月額支援型クラウドファンディングに挑戦することにしました！！そこで、この機会に、自分の今の考えや思っていることをまとめようと思いnoteを書くことにしました！
大分風呂敷を広げましたが、目指す世界に向けて一緒にやっていってくださる方、目指す世界に共感してくださる方などに一人でも届いたら嬉しいなという気持ちで書きました。ですので、もし興味を持っていただけたら是非是非ご連絡いただけると嬉しいです！是非一緒にやっていきましょう！
私自身研究を始めたばかりのまだまだ新参者ですので、色々勘違いしている部分、理解が不十分な部分などあるかと思います。もしお気づきの点がございましたら、ご指摘いただけますと幸いです！！！よろしくお願いします！
twitter: @takagi_shiro
gmail: takagi4646@gmail.com
webpage: Shiro Takagi
背景
昨年「研究のあり方について」と題してnoteの記事を書きました。そこからの半年ほどは、まず生きていくために仕事に集中していました。仕事で得た経験は自分の今後の目指す方向を考える上でもプラスになるものばかりでしたので良い経験だったと思っています。そして、今年の頭からは国際会議に論文を投稿することを目指して研究にフルコミットしました。研究歴も浅いのでまず自分で研究を回すことで研究過程への解像度を上げること、そして何より独立して研究者としてちゃんと一人で成果を出すことが重要だと考えたからです。
当初はあと半年研究に全集中するつもりでした。ただ、色々機会に恵まれたのと研究が一区切りついたのとで、このタイミングで頭の中にあることを少しずつ進めていきたいと考え、月額支援型のクラウドファンディングに挑戦することにしました。
プロジェクトページに書きましたが、私が目指すのは、人工研究者を実現する（研究を自動化する）ことと、研究のあり方をより良いものにしていくことです。しかしこれらは超長期的な発展が必要ですし、私一人だけでやってどうこうなるものではありません。これまでの先人の歩みがあってこそ、そしてこの時代の、これからの時代のより多くの人の力があってこそ、実現に近づけるものだと考えています。ですので、もしこの記事を読んでくださった皆さんが、目指す世界観に共感してくださり、一緒にこの目標を目指してくださったら嬉しいなと思っています。
知的にもすごくチャレンジングですし社会に与えうる影響も甚大だと思うのですごく刺激的な挑戦だと思います。研究でもエンジニアリングでもビジネスでもデザインでもなんでもどんな形であってもどんな背景があっても、この目標に関心がある方々の一人でも多くの参入が、目標の実現への大きな推進力になると思っています。少しでも面白いな、いいな、と思ってくださった方々、ぜひ一緒にやっていきましょう！
ただ、この目標の実現に関しては、私個人は誰が実現するかよりも実現されること自体に関心があります。ですので、私じゃなくても、既にこれらの分野で精力的に研究/活動をされている方々への協力が増えたらとても嬉しいなと思います。もっと言えば、私の活動がもっと広くコミュニティ全体/社会全体としてこれらの動きをより力強く進めていく一助になればいいなと思っています。今後は既に研究の自動化に取り組まれている先人の取り組みなども発信していければと思っていますので、是非みんなで分野全体を盛り上げていければ嬉しいです。
一緒に人工研究者の実現（研究の自動化）を目指していきましょう！
私は研究に対してずっと強い憧れと尊敬の念をいただいています。わからないことに対して、今持てる限りの知恵を絞り、なんとかして理解に接近していくという営みはとてもかっこいいと思っていますし、時間も空間も超えて人類全体で知を共有して謎に迫っていくという文化もとても魅力的だと感じています。
私は、研究者の頭の中では何が起きているのだろうか、この研究という営みを突き詰めた先には何があるのだろうか、そして人類は研究によってどこまで世界の謎に迫ることができるのだろうか、ということに興味を持っています。そして、この研究という営みを超長期的に突き詰めていった結果の一つが人工知能による自律的な研究だと考えています（同じような考えを持っている方は多いと思います）。
このような純粋な知的関心から、私は超長期的に人工研究者の実現を目指していきたいと考えています。仮に人工研究者が実現できれば知の生産の未だかつてない質的/量的な飛躍が起きるのは想像に難くありません。部分的な自動化でさえも社会に大きな影響が生まれうると考えていますし、現に多くの成果が生まれはじめています。このように非常にチャレンジングですが大きな知的/社会的価値を持つ人工研究者の実現を是非多くの人と一緒に目指していければと思っています。
研究の自動化を進めていくには大きく二つのアプローチがあると思っています。一つは汎用性の高い知能でかつ研究ができるだけの能力を持った知能を作る方法、もう一つは個別具体的な研究作業を部分的に自動化していく方法です。
これらはいずれも重要で相補的な関係にあると思っています。最終的に人工研究者を作るとなると前者は絶対必要ですが超長期の実現を見据えた基礎研究がまだまだ求められている段階だと認識しています。後者も非常にチャレンジングではありますが、既に色々な成果が出ています。近年で言うとDeepMindのAlphaFoldが有名ですし、昔からやられているベイズ最適化による実験条件探索などもこれにあたります。また、論文からの情報の自動抽出は古くから重要なテーマですし、近年では簡単な論文の自動執筆なども試みられています。その他野心的な試みとして人型ロボットに実験を行わせるといった研究も進んでいます。
私は自身の知的関心もあり汎用性の高い知能を目指した基礎研究にコミットしています。しかし、良い抽象化の指針は具体の積み重ねの中にしか出てこないとも思っているので、後者のような個別具体的な自動化の研究が今後一層増えていくことは極めて重要だと考えています。今回の記事では書き切れないですが、自動化に関連する研究分野を「おまけ」にいくつか簡単に載せたので、関心がある方は見ていただければと思います。
個人的に、いずれのアプローチを進めていく上でも重要だと考えているのが、研究過程をパイプライン化し、ソフトウェアとして表現することです。例えば、仮説検証型の研究は多くの場合、目的/トピックの設定 → 問題設定 → 仮説の提案 → 実験計画 → 実験 → 解析と進むのが大きな流れで、それらの中に論文サーベイや論文執筆、実験条件/データ/結果の管理などの作業が発生すると認識しています。大きな流れの中のこれらの作業一つ一つをモジュールとして表現し、その入力は何か、出力は何か、どのような制約（ビジネスルール）が課されているのか、を整理し、それらをコードに落とし込んでパイプラインを構築するイメージです。
機械学習の文脈ですと、MLOpsという名前で、機械学習プロジェクトにおけるデータ収集から実験、デプロイ、保守運用までの各工程を表現するパイプラインを構築して、これら各ステップを（半）自動化することが行われています。特徴量を作成するFeatureモジュール、学習をするTrainingモジュールに分かれている、といったような感じです。これにより、ヒューマンエラーを低減しながら効率よく機械学習プロジェクトを実行することができます。
私がイメージしているのは、MLOpsの研究版（ResearchOps）が作られていくと良いのではないかということです。特に、MLOpsでは研究でもよく行われるような「実験管理」のノウハウも詰まっているので、研究のパイプライン構築を推進していく上で非常に学ぶところが多いモデルだと考えています。
もちろん、実際に「ある目標を達成するために」は「仮説の提案 → 実験計画」といった粒度で抽象化して実効的な意味があるのか、など様々な議論があると思います。しかし、これは構造化に関する試行錯誤を繰り返していく中でこそ結論が出てくるものだとも思っています。こういったパイプライン化の議論は企業などで特に進んでいるのではないかと考えているので、その辺りはもっと勉強したいなと思いますし、知見がどんどん公になってくると嬉しいなと思っています。この辺りの話に詳しい方がいらっしゃいましたら、是非色々教えていただけると嬉しいです！
研究をソフトウェア化していくメリットは生産効率を上げることだけではないと思っています。人間の介入の余地を減らすことで、ヒューマンエラーやQRP (Questionable Research Practice) を人間が頑張らなくても「設計上」削減しうる可能性があることも大きなメリットの一つだと考えています。
例えば、実験結果が判明した後に仮説を作るHARKingは代表的なQRPの一つです。これは「結果」が入力された後に「仮説」が入力されることに対する、順序の制約に違反することによるエラーです。仮に「結果」が入力された後に「仮説」を入力しようとするとエラーメッセージと共に入力ができなくなるように制御すれば、少なくとも「無自覚な」HARKingは削減できるようになるかもしれません。
さらに、コードで表現できるということは、これまでハッカー達が築き上げてきた脱俗人化/効率化の知の恩恵を受けやすくなることを意味します。これはより最適な知識産出システムを構築していく上で、極めて重要だと考えています。私が考えているのとは少し違う部分もありますが、日本のオープンサイエンスを牽引している国立情報学研究所もNII研究データ基盤を用いて研究の各工程を制御する取り組みを精力的に進められているようです。
超長期的に研究ができるだけの汎用性を持った知能が実現されたときには、今とは異なった研究のされ方がなされていることは想像に難くありません。つまり、現在行われている研究実践をモジュール化しても、その手順に則って研究が行われていることはないと思います。そう考えると、現在の研究実践を素朴にパイプラインに落とし込むことが自律的な人工研究者の実現に向けて意味があるかは疑問に思われるかもしれません（もちろんボトムアップな自動化には必要だとは思います）。
私がパイプラインに落とし込んで自動化を進めることが重要だと思うのは、現在地点と人工研究者の実現までの距離が極めて長いからです。したがって、現在の研究実践と人工知能による研究の中間程度の抽象度の表現を一度目指すことは、人工知能にどのようなinductive bias（モデルに加える制約）を持たせるかの指針を定める上で非常に重要になると考えています。これがないと何が研究という行為にとって本質的であってそれはどのように抽象化/実装すべきなのかを明確化するのが難しいと考えています。研究ができるだけの汎用性を持った知能の実現を目指しつつ個別具体的な研究作業の自動化をすることで、研究に対する解像度が上がり、人工研究者実現への登り方がより明瞭に見えてくるものと考えています。
私は現在、「研究ができるだけの汎用性を持った知能を作る」ことを超長期的に実現することを目指した基礎研究をおこなっています。しかし上述したことはいずれも重要なトピックで、これを推進していくためには多くの方の力が不可欠となります。例えば研究過程をどう構造化するかを考える際には科学哲学の議論も参照しますし、自動化のアルゴリズム構築には機械学習の方の力が不可欠ですし、パイプライン構築はエンジニアの方々なくしてはなし得ません。本格的に進めていく上ではビジネスや法律に詳しい方のご知見も貴重です。ですので、是非一人でも多くの方が興味を持ってくださり、実現に向けて一緒に進んでいけると嬉しいです！私はまだまだ新参者ですが、既に多くの方々が研究の自動化に実際に取り組まれていらっしゃいます。私ではなくてもそういった方々へのご賛同やご協力が少しでも増えていき分野全体が盛り上がっていくと嬉しいなと思っています！
一緒により良い研究のあり方を目指していきましょう！
私は冒頭で、研究の自動化と、より良い研究のあり方を目指したいと述べました。私の考える理想的な研究のあり方とは、知識の生産/維持/共有に最適化されたものであり、研究をしたい人がその背景や属性によらず心身ともに健康に研究を行えるものです。これらを一緒に目指してくださる方々も募集しております！少しでも興味を持ってもらえましたら是非是非ご連絡ください！
知識の生産/維持/共有の最適化
研究は様々なステイクホルダーが関与する社会的な営みです。研究者及びその集まりが研究成果を生み出す活動を、ある入力を受けて知識を産出するシステムだと捉えます。産出された知識は次の知識を生み出すために使われますので、再帰的に同システムに流入します。したがって、研究の最適化とは、1. 知識を産出するシステムへの入力、2. 知識を産出するシステム、3. 産出された知識を維持/共有する仕組み、それぞれを量的/質的に改善していくことになると考えています。
「1. 知識を産出するシステムへの入力」は「ヒト」「カネ」「モノ（情報）」に大別されると考えています。既に多くの場所で指摘されているように、「カネ」で言えばより多様なチャネルからのより多くの資金流入をいかに実現できるか、「ヒト」で言えば「知を産出する主体」と「知の産出を支える主体」の流入を増やし流出を減らすにはどうするか、を考えることになると思います。私が独立して研究しているのもacademistで挑戦させていただいたのもこういった問題への個人的実践という側面があります。
「3. 産出された知識を維持/共有する仕組み」は生み出された知をいかにして最大限利活用するかという論点です。特に、システムによって取り除くのが困難なQRPの存在や論文数と査読者数の不均衡の問題などを考えると、産出された知識の管理は人類の知の歩みを方向づける極めて重要な要素であることがわかります。1も3も極めて重要な論点ですので、また改めて記事を書きたいと思います。
「2. 知識を産出するシステム」は、個人、研究室、研究機関、研究エコシステムといった複数の階層からなるシステムだと考えています。私が上で説明した私が注力する「研究の自動化」は、個人のレベルでの研究過程の自動化を指していました。その中でも特に、研究に直接関与する部分についての議論をおこなっていました。しかし、知識を生産するという営みを最適化する上では、個人レベル以外の階層の最適化や研究に直接関与しない業務の自動化も極めて重要になります。
例えば研究室単位で言えば、大学の研究室では研究指導、資金獲得、研究プロジェクト管理といった研究室運営業務があります。これをいかに最適化していくべきか、特にいかにこれらを脱属人化された共有知とするかが重要な論点です。
前回の記事でも指摘しましたが、大学のPI（研究室のボス）は研究業績によってPIになりますが、一度なると教育/研究指導/経営/マネジメント/大学事務なども求められるため容易にスキルミスマッチが発生しうることが想像できます。研究組織を超えたより大きな単位での最適化としては、すべての研究者/研究組織がアクセス可能なインフラの整備などがあると思います。
例えば、研究データの適切な共通管理/利用基盤の構築などは国や国立の研究機関が主導となって進めています。例えば、第6期科学技術・イノベーション基本計画とその年次実行戦略である統合イノベーション戦略2022の資料には、オープンサイエンスとデータ駆動型研究推進のための基盤整備を行うことが記されています。
次に、研究に直接関与しない業務の自動化について話します。平成 30 年度に実施された大学等におけるフルタイム換算データに関する調査によると、大学教員が実際に研究業務に当てられる時間は全体の3割から5割くらいだと報告されています。そして残りの5割から7割は教育業務や諸々の事務手続き、予算申請書の執筆などのタスクが占めていると言われています。知識産出システムの最適化という目標からすれば、これらの研究外業務の自動化/効率化のインパクトは極めて大きいことがわかります。
これは研究にユニークとは限らない作業の自動化なので、これまでの他産業でのDXの知見などがより直接的に役に立ちやすいかもしれません。その意味でこれらの知見を持つビジネスサイドの方々が一人でも多くご協力してくだされば、効率化が大きく進んでいくかもしれません。
物事を進めていくためにはコミットする対象を絞るのが重要だと思いますので、これら全てに対して私個人が進めていくことはできません。しかしいずれも極めて重要な論点であり、少しでも早く一歩でも先に進んでいくことが望まれます。ですので、既にこれらの分野の前線で課題に取り組まれている方々には是非私ができることであればできる範囲でお手伝いさせていただければと思っています。また、新しくこれらの分野に参入される方も、私ができることなら喜んで協力させていただければと思います。是非みんなで一丸となってより最適な研究システムを構築していければと思います！
研究をしたい人がその背景や属性によらず心身ともに健康に研究を行える研究環境
私は、研究成果や効率化云々以前の問題として、研究環境は人間が過ごすのに好ましい環境であるべきだと考えています。具体的には、研究をしたい人がその背景や属性によらず心身ともに健康に研究を行える研究環境が望ましいと考えています。
こちらについては以前書いた記事にお伝えしたいことは基本的には書いたので、今回は多くは書きません。より詳細な内容についてはまたいずれ書くかもしれません。もし同じような問題意識を持ってくださっている方がいらっしゃいましたら、是非上記の記事をご一読いただけたら嬉しいです。
私は、既存の研究エコシステムの外側に研究の場が広がっていくことが、超長期的にこの問題を緩和していく上で大切だと思っています。ですので、私個人としてはそれを進めていくために動いています。特に、システムによって解決を志向するアプローチを採用して進めていくことを考えています。
他方で、これでは今目の前にある課題に対しての処方箋を提供しないのも事実です。また、私は取り組めないですが、システムを作っていくことではなく政策的アプローチでこれらを解決していくのも同様に重要だと思っています。ですので、これらの分野で奔走されている方々は心から応援していますし、私でできることであれば喜んで手伝わせていただければと思っています。
それ以外にも、何か研究しているときに不必要に辛いことや許容し難いことなどを経験された方がいらっしゃいましたら、ぜひご相談ください。問題の直接的な解決にはならないかもしれないですが、何らかの形で手助けができればと思います。研究が好きだったけど色々な事情で研究を嫌いになってしまったり研究界隈を離れざるをえなくなってしまう人が、一人でも少なくなればいいなと思っています。是非みんなでより心地よい研究環境を広げていけたらと思っています！
新しい研究スタイルで研究する仲間を探してます！
独立研究者に興味がある方ご協力します！
上述したように、私は既存のアカデミアの外側でも研究の場が盛り上がっていくのが長期的に見て研究エコシステム全体にとってプラスになると考えています。私が独立して研究している理由の一つもそれなので、独立したり新しいスタイルで研究する方が増えていくと良いなと思っています。ですので、もし独立研究に興味がある方、あるいは新しい研究スタイルに挑戦したい方などがいらっしゃいましたら、喜んでご協力させていただければと思います。是非是非ご連絡ください！
私の専門が機械学習なので個人でほぼ支障なく研究できたこと、素晴らしい方々に仕事を恵んでいただけたことなどがあるので、私のやり方はあまり再現性はないかもしれません。ただ、私なりに知っていることをお伝えできたりですとか、条件が合うものがあればお仕事をご紹介できたりとかするかもしれません。私が直接何かできなくても、私よりもずっと前からずっとうまく個人で研究されている方々はたくさんいらっしゃるので、そういった方々がどう生きてらっしゃるのかといった情報をご紹介することもできるかもしれません。
ラボでうまくいかなかった方、ちょっと研究が辛くなってしまった方、次のポストを得るまで一時的にフリーになる方などもいらっしゃると思います。それによってちょっとした空白期間ができた/を作りたい方もいるかもしれません。もしそういう方で興味を持っていただける方がいらっしゃいましたら、そのタイミングにでもお気軽に連絡いただけると嬉しいです！
いろんな研究方法を一緒に試していく方を募集してます！
以前の記事で書いたように、GitHubに全部の研究過程を載せるですとか、色々やってみたいことがあるので、時間が許せばどんどんやっていきたいと考えています。一人でもやっていくつもりではありますが、こういうのはみんなでやると色んなアイデアも出てきますし一人ではできないアイデアも試せますし、何より楽しいと思っています。ですので、こういった新しい研究の方法を色々一緒に試すことに興味がある人も探しています！
GitHub以外にも、本格的にプロジェクトマネージャーを入れて研究をするとか、DAOを作って研究してみるとか、色々と試してみたいものはあるので、仮説検証を回していろんな研究スタイルを模索したいと思います。こういったのに興味はあるけれど立場上の制約や研究分野の制約などでできないという方もいらっしゃると思います。そういった場合には「こんなのいいんじゃない？」とアイデアをいただけるだけでもとても嬉しいです。
自由に自分の判断で色々できる立場として、そういった方々の分まで色々と試していけたらと思っています！個人的には研究の多様性の輪が広がっていくことが重要だと考えていて、こういうボトムアップな試行錯誤の中から次の時代の研究のあり方が生まれてくると思っています。是非みんなでいろんな研究のやり方に挑戦していきましょう！
最後に
研究の自動化とより良い研究のあり方を目指す上で一人でも多くの方に興味を持っていただければとの思いからこの記事を書きました。是非皆さんと一緒に目指す世界に向けて走っていければと思います。すでに大分風呂敷を広げてしまいましたが、この記事を終える前に、最後にもう少しだけ風呂敷を広げさせていただければと思います。
以前、twitterでも積極的に情報発信をしてくださっている神経科学者の紺野さんが次のようなツイートをしていました。
「人類は乗り越えられていく存在に過ぎない」という事実を理解したうえで、それでも「真理の扉」を開くために一歩一歩進みたい、そのために長生きしたい、というのが現時点での私の目標です。https://t.co/BuszBIfyuQ
— Daichi Konno / 紺野 大地 (@_daichikonno) January 14, 2022
私もこれに近い考えを持っています。私が「自律的な人工研究者を実現したい」といったときに頭の中にあること、その先にあることはこの世界観になります。ここで「真理の扉を開く」（by 鋼の錬金術師）と表現されてるものは、ある者にとってこの世界の未知が可能な限り既知になった状態だと解釈しています。私が冒頭で「研究によってどこまで世界の謎に迫ることができるのだろうか」と述べたときに頭にあるのは、この世界の未知がどれだけ既知になりうるのか、という知的関心です。言い換えれば、私はこの世界の未知を少しでも早く少しでも多く既知にできる世界に関心があり、それを目指しています。
そして「人類が」この世界を少しでも早く少しでも多く「理解する」ためには、1. 知の生産の改善、2. 人間の理解可能範囲の拡張、3. 人間の機械移植による永続化を目指していくことが必要なのではないかと考えています。2 と 3 は「人類が」「理解する」ための条件です。これに関しては、志を共にする優秀な研究者/実業家たちがいるので、その発展は彼/彼女らに託します。1 は私がこれまで述べてきた部分で、私は 1 の知の生産の改善にコミットすることで上記の世界の実現に少しでも近づけるように貢献する所存です。
1 で目指したい自律的な人工研究者はまさに「人類を乗り越えていく存在」ですが、その出現の後でも人間が知の探究を享受できるために、2 と 3が進んでいってほしいと思っています。ですので、人間の理解可能範囲の拡張と人間の永続化に取り組まれている方がいらっしゃいましたら、心から応援しています！何か私でできることがあればいつでもご相談ください！
風呂敷をだいぶ広げましたが、どんな大きな目的も日々の地道な作業、具体的な成果の積み重ねの先にあるものと理解しています。特に私はまだまだ力もないので目先のことをまずはちゃんとやっていければと思っています。目指すところまではまだまだ大分距離があり相当遠い道のりですが、地に足をつけてできるところから一つ一つ具体的な課題をクリアしていければと思っています。
おまけ
研究の自動化/最適化に関して、先人たちが既に多くの取り組みをしています。ここではそのいくつかだけを参考程度にご紹介します。また、私が個人的に関連すると考えているものについても載せています。全部は網羅できていませんが、より網羅的なまとめはいずれ行えればと思っています。
研究の理解
科学哲学
科学を対象とする哲学の一分野です。自動化に直接関連しませんが、研究を形式的に表現するための有用な視座を与えてくれると思っています。私は専門外なので、初学者にも優しいStanford Encyclopedia of Philosophyのページでよく勉強させてもらっています（Scientific Method、Confirmation、Scientific Discoveryなど）。
科学者のネットワークや、文献引用のダイナミクス、科学者のキャリア、といった研究に関連する幅広いテーマを、実データから科学的に分析する分野です。The Science of Science という本も書いているネットワーク科学のBarabasiなどが有名な印象です。
科学を社会的な営みとして研究する分野だと理解しています。社会が科学に与える影響の社会科学的な分析から科学者の倫理に至るまで幅広い問題を取り扱っている印象です。
研究の自動化
実験の自動化、解析の自動化、研究生活の自動化など研究に関することの自動化の総称です。laboratoryを広く捉えるのであれば私の活動もこれに内包されます。日本だとラボラトリーオートメーション研究会が月例勉強会を行っています。実験の自動化研究を牽引する人型ロボットまほろを使った研究で有名な理研の神田先生などがオーガナイザーをされています。神田先生も所属されている理研BDRバイオコンピューティング研究チームリーダーの高橋恒一先生は以前からAI駆動研究などを提唱されています。
機械学習の科学への応用
機械学習を用いて科学の特定のプロセスを代替する研究群です。これが最近では一番盛り上がっているように感じます。上でも述べましたが、実験条件の探索にベイズ最適化を用いたり、タンパク質の構造予測に深層ニューラルネットワークを用いたり、理論モデルのパラメータ推定をする研究などがあります。AlphaGoで有名なDeepMindがかなり大規模に進めようとしている印象です。理論駆動科学に対してデータ駆動科学と呼ばれることもあります。DeepMindもそうですが、いかに科学的発見に機械学習を使えるかに注目が集まっていると思っています。日本だと北野先生とかも以前から主張されています。
数学の証明をコンピュータによって自動化するという試みです。特に、従来型の定理の自動証明と機械学習を組み合わせる手法が近年出てきています。この機械学習と定理の自動証明という分野ではチェコのJosef Urbanという研究者が早い段階から分野を引っ張っており、近年Googleの研究者なども続々参入している状況です。AITPという国際会議は小規模ですが機械学習×定理の自動証明の分野の最新の研究が集まっています。
方程式をニューラルネットワークで（解く・発見する）
今のニューラルネットワークに方程式を解かせたり発見させるような試みです。私も詳しくはないですが物理だとAI Feynmanなどが名前を聞きます。定理の自動証明は主に証明を木の探索問題に帰着させるのに対して、こちらの研究は方程式を構成するシンボルをニューラルネットワークに入力したりする印象です。
機械学習の自動化です。ハイパーパラメータの探索やニューラルネットワークのアーキテクチャの探索の自動化などがあります。企業が大きく進めているイメージで、日本だとPreferred NetworksのOptunaなどが有名です。研究だとドイツのグループが牽引している印象です。
論文サーベイ・論文執筆に関する自動化
論文からの情報抽出や関連研究取得や要約、執筆などです。関連研究取得の自動化などは比較的昔から取り組まれてきた分野です。AIを適用したこの分野については最近ではAllenNLPが頑張っている印象です。COVID19の影響で論文からの情報の自動取得のニーズが高まってCOVID関連の研究が多く出てきている気がしています。ライフサイエンス論文の実験条件の自動取得をするサービスなども開発されています。
企業による取り組み
上でご紹介したMLOpsをはじめ、企業ではR＆D部門を中心として研究過程の構造的な表現が進んでいる印象です。また、研究者向けにより構造化された研究ノートを提供するサービスや、データ管理の効率化をするサービスなど、様々なサービスが出てきています。
色々な研究のあり方、研究関連スタートアップ etc.
また今度まとめます！