AAAI 2024 社会課題解決のためのAIとAGI実現に向けた研究：参加報告①
三菱UFJフィナンシャル・グループ（以下MUFG）の戦略子会社であるJapan Digital Design（以下JDD）でMUFG AI Studio（以下M-AIS）に所属し、データサイエンティストをしている上野です。
2月20日から27日にかけてカナダのバンクーバーで開催されたAIの国際会議「AAAI 2024」に参加してきました。
AAAIでは幅広い領域でAIに関する研究発表が行われており、Plenary sessionsでもさまざまな話題が取り上げられていましたので、本記事ではPlenary sessionsでのAI for Social Impactに関する講演と人レベルの知能をもったAIの実現に向けた研究についての講演について紹介します。
AAAI 2024について
AAAIはAIの難関国際会議の一つで、AAAI 2024の論文採択率は23.75%(9,862件中2,342件)となっています。
採択された論文の領域としては、
Application Domains
Cognitive Modeling & Cognitive Systems
Computer Vision
Constraint Satisfaction and Optimization
Data Mining and Knowledge Management
Game Theory and Economic Paradigms
Humans and AI
Intelligent Robots
Knowledge Representation and Reasoning
Machine Learning
Multiagent Systems
Natural Language Processing
Philosophy and Ethics of AI
Planning, Routing, and Scheduling
Reasoning under Uncertainty
Search and Optimization
と多岐にわたっています。
領域の中で採択された論文件数が多かった3つは以下のようになっており
Computer vision (3D Computer Vision, Language and Vision, Computational Photography, Image and Video Synthesisなど)
Machine Learning(Reinforcement Learning, Graph based Machine Learningなど)
Natural Language Processing((Large) Language Modelsなど)
その他の領域が続きます。
AAAI 2024ではmain trackと別にspecial trackとして、AI for Social Impact(AISI)とSafe, Robust and Responsible AI(SRRAI)が設けられていました。発表論文以外でも、多くのTutorialやWorkshop、AISIに関連してMilind Tambe氏によるAAAI Awardでの講演などのプログラムがあり、以下のように構成されます。
2340 main-track papers (3 outstanding papers)
78 papers in AISI and 109 papers in SRRAI tracks
7 plenary talks
22 tutorials
30 technical demos
16 Senior Member Presentations (10 Blue Sky, 6 Summary)
7 diversity and inclusion events
Plenary Sessions
最後にAAAIで行われたPlenary SessionsのうちAAAI Awardを受賞したMilind Tambe氏による講演とYann LeCun氏の講演をご紹介いたします。
AAAI Award: ML+Optimization: Driving Social Impact in Public Health and Conservation
AAAI Awardを受賞したMilind Tambe氏はこれまでGoogleとハーバード大学で取り組んできた研究についての講演を行いました。
動画は講演中に共有された動画で、インドの母子保健を対象に活動するNGO団体のARMMANとの共同研究について紹介します。
彼らは公衆衛生、特に母子保健の分野において、初めてRestless Multi-Armed Bandit(RMAB)アルゴリズムを適用させました。ARMMANでは母子の健康情報を音声やテキストで提供し、母子保健の改善を目指すモバイルヘルスプログラムを提案しています。
しかし、登録した受益者の多くがプログラムから脱落してしまったり、情報への関与が減る可能性が高いという問題があります。更にこの研究の課題は対象者の数(200万人)に対して、受益者に対しての架電や苦情への対応といった介入を行う医療従事者のリソースが限られています。
限られたリソースを最適化し、最も利益を受ける受益者を優先するために彼らはRMABを適用させることでこの問題に対処しています。この課題をRMABで解決しようとする際の技術的な課題として、従来の研究で置かれていたRMABのパラメータが既知であることや容易に学習されるという仮定が実世界で成り立たないという課題があります。
そのため、RMABのパラメータを推定するためにオフラインの過去データのクラスタリング手法を提案することでこの課題に対処しています。RMABを用いてARMMANの協力のもと実世界での実験を行うことによって対照群と比べてプログラムからの脱落率を30%以上削減しました。RMABはこの課題だけではなく他のヘルスケアに関する研究の紹介もなされていました。
その他、確率的多腕バンディットアルゴリズムを用いて野生動物や森林を密猟者や違法伐採者から守るパトロールの最適化に関する研究なども紹介されていました。これらの研究はPAWS（Protection Assistant for Wildlife Sanctuary）のプロジェクトの一環として、世界規模の密猟対策に機械学習とゲーム理論を初めて適用させたものとなっています。これらの施策によりウガンダやカンボジアで何万もの罠を撤去することに貢献しています。結果としてPAWSはIEEE Spectrumによって2018年のトップテクノロジーとして選ばれました。
Objective-Driven AI: Towards Machines that can Learn, Reason, and Plan
Yann LeCun氏はAGIの達成や人レベルの知的エージェントのために必要な技術について講演しました。
まず、現状の機械学習モデルやLLMに代表されるAuto-Regressive(自己回帰)生成モデルの問題点として、事実に即したり無害な回答の生成が難しく、制御不能であることが挙げられています。
その理由として生成されたtokenが確率に基づいて生成されるため、正しい回答から外れる確率 eと回答の長さnが正しい確率を考えるとP(correct) = (1-e)^nとなり、指数関数的に発散していき大規模に修正しない限り直せないという問題があり、これは我々が他者と行う会話の中で計画や回答を話す前や記述する前に行うのと異なります。
このように現状のLLMではプラニングや抽象化の能力がなく、本当の意味での推論、計画、常識や判断力がないと主張しています。
そのため、LLMはライティングのアシストや最初の下書きの生成、スタイルの洗練、コーディングのアシストには向いている一方で、事実や一貫した回答の生成、最近の情報の考慮、適切な振る舞い(あくまで学習データからの模倣)、推論、プランニング、数学、検索エンジンなどツールの利用には向いておらず、現時点では人レベルには到達できていないと主張しています。
その理由としてAIは人や動物と異なり、世界がどのように動いているかを学習できていないことがあり、それはトークンや映像の学習データをbyte数で換算すると4歳の子供ですらLLMの5倍以上のデータを見ていることを考慮して主張しています。そこで、氏はObjective-Driven AI Architectureの提案を行なっていました。
Objective-Driven AI Architectureの根幹は6つのモジュールで構築された認知アーキテクチャです。Configuratorはタスクに応じて他のモジュールを構成する役割です。Perceptionは世界モデルの状態の評価を行い、World Modelでは将来の世界の状態を予測します。Costでは不快の度合いを計算し、Actorでは最適な一連の行動を見つける機能を持ちます。最後にShort-term memoryでは、ある状態と関連したコストを蓄積する機能を果たします。
これらの各モジュールが、例えば上の図のような流れでつながり、タスクを処理していきます。ある世界の状態はPerceptionモジュールへ送られ、Perceptionモジュールは受け取った世界に関する抽象表現の計算を行い、現時点で得られなかったメモリーに保存されている過去に得られた残りの情報と組み合わせることも可能になっています。
これらの表現はWorld Modelモジュールに入力されます。World ModelモジュールではPerceptionモジュールとmemoryモジュールから送られてきた世界の状態とAction Sequenceモジュールから想起された一連の行動から次に何が起こるか、世界がどのような状態になるかを予測します。
予測した状態は複数の目的関数に送られます。一つは特定のタスクが達成されたかどうかを測定するもので、もう一つはシステムやシステムがたどった軌跡や一連の動作がどの程度安全であるかを測定するものです。
このことから、このシステムはシステム自身が持っている世界モデルに沿ってその目的関数を最小化するような一連の行動を見つけようとするため、Objective-Drivenなモデルといえます。加えて、すべてのモジュールは微分可能であり、行動から誤差逆伝播法で学習できます。
このモデルを起点に多段階モデルや階層的なプラニング(例えばニューヨークからパリへの行き方)モデルへの適用へと展開されています。その他にも感覚入力から世界モデルを獲得する方法、エネルギー関数に基づいたモデルについて紹介されていました。
詳細は論文やAAAIでの発表資料ではないですが同じ内容を取り扱っているCollège de Franceでの講演資料でご確認ください。
まとめ
AAAIでは多様な領域の研究が発表されており、LLMやdiffusion model、fair allocation、創薬、ゲーム理論、人とAIのインタラクションに関する研究など様々な分野での研究がされていました。そのため、特定の領域ではなくAIに関する様々な研究のトレンドを掴める貴重な機会となっています。他のAIと異なる特色としてAIを用いた応用研究が多く、理論的な背景に加えて特定のタスクへの有用性を示している論文が多かったように思いました。
JDDのM-AISチームでは、LLMに関するテーマも含めてR&D活動として、以下のような国内外の学会参加および発表を積極的に実施しています。
Japan Digital Design株式会社では、一緒に働いてくださる仲間を募集中です。カジュアル面談も実施しておりますので下記リンク先からお気軽にお問合せください。
この記事に関するお問い合わせはこちら
M-AIS
Michihiko Ueno