見出し画像

Teaching AI Through Object Demonstrations and Language Instructions

情報処理学会・学会誌「情報処理」

2023年度研究会推薦博士論文速報
［ユビキタスコンピューティングシステム研究会］

周　中一
（理化学研究所／グーグル）

邦訳：物体教示と言語指示によるAI学習

■キーワード
ヒューマン・コンピュータ・インタラクション／画像処理／大規模言語モデル

【背景】人間がAIを教えるためのインタラクティブなシステムが不足
【問題】人間が直感的にAIを教えるシステムをどのように設計し構築するか
【貢献】デモンストレーションと指示を通じて自然にAIを教えるシステム

　AIは，多くの研究課題に対処する上で非常に効果的であることが証明されている．しかし，特定の応用に対するAIソリューションの開発には，依然として高度な専門知識と多大なリソースが必要である．この現象は，AIの影響範囲を制限し，わずかな数のAI専門家だけがAIを知的なツールとして活用し，問題解決に役立てることができる状況を生み出している．

　この問題の主な原因は，人間が直感的にAIを教えることができるインタラクティブなシステムの欠如にある．非専門家のユーザーとインタラクティブシステムの間で自然な対話を促進するためには，ユーザーがまるで日常的な社会イベントに参加するようにAIを教える行動を取ることができる必要がある．

　本論文では，ティーチングイベントにおける2つのインタラクション技術，すなわち1）デモンストレーションと2）インストラクションに焦点を当てている．ユーザーがオブジェクトデモンストレーションと言語指示を行うことでAIを教えることができる2つのインタラクティブシステム（LookHereおよびInstructPipe）を構築した．LookHereは，ユーザーがオブジェクトデモンストレーションプロセスで自然に行うジェスチャーインタラクションを活用し，ユーザーが指定したい対象物を予測する．InstructPipeは，ユーザーがテキストベースの指示によってビジュアルプログラミングでAIパイプラインのプロトタイプを開始できるようにする．

　これら2つのプロジェクトにおける研究では，システムが人間の自然な教育能力を活用することで，AIを教える経験がよりスムーズかつ直感的になることが明らかになった．質的な結果もまた，知覚された負担の軽減がシステムのより創造的な使用を促進し，システムの予測の可視化がAIの透明性を高めることを示している．

　AIの進展と普及に伴い，このようなインタラクティブシステムの開発は，より多くの人々がAI技術を利用できるようにするための重要なステップとなる．非専門家でも直感的にAIを操作できるようになることで，AIの可能性はさらに広がり，多様な分野での応用が期待される．この研究は，そのような未来に向けた重要な基盤を築くものであり，AI技術の民主化に貢献するものである．

　さらに，これらのインタラクティブシステムは，教育や医療，ビジネスなど，さまざまな分野においても広く応用可能である．教育現場では，教師が簡単にAIを用いた教材を作成し，生徒の学習を支援することができる．医療分野では，医師がAIを活用して診断や治療計画をより効果的に立てることが期待される．ビジネスにおいては，企業がAIを活用して業務効率を向上させ，新たなビジネスチャンスを創出することが可能である．

　このように，AIと人間の自然なインタラクションを実現するシステムの開発は，AIの利用範囲を広げ，多くの人々にとって有益な技術となる可能性を秘めている．今後もさらなる研究と開発が進められることが期待される．

■Webサイト／動画／アプリなどのURL
https://zhongyi-zhou.github.io/GestureIMT/
https://www.youtube.com/watch?v=wE3P5KlQu-0

■動画URL（YouTubeチャンネル用）
https://www.youtube.com/watch?v=1ouS_5o-2Fo
https://www.youtube.com/watch?v=wE3P5KlQu-0

（2024年5月29日受付）
（2024年8月15日note公開）

ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
　取得年月：2024年3月
　学位種別：博士（工学）
　大学：東京大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー

推薦文［情報環境領域］ユビキタスコンピューティングシステム研究会
本論文ではユーザの指し示す動作や自然言語での指示によって人工知能（AI）モデルや処理プロセスを設計・変更できるインタラクティブなシステムを提案しています．これによりAIに関する知識や経験の少ないユーザも自分自身でAIモデルや処理プロセスを実現でき，AI開発の民主化が強く推進されると期待されます．

研究生活　　博士課程の生活は，挑戦に満ちていますが，その一方で喜びもあります．多くのプロジェクトのアイデアを持っていましたが，ほとんどの場合，すでに誰かがそのプロジェクトを終えていたり，アイデア自体がうまくいかなかったりしました．誇りを持ってプロジェクトを完了し，研究論文を提出しても，会議で拒否されることが多く，それはとても悲しいことです．しかし，これは世界中の研究者が経験していることであり，研究生活の一部です．私は通常，休憩を取り，友人と過ごし，スポーツをしてリフレッシュし，再び元気を取り戻しました．博士号を取得する中で，このような働き方に徐々に慣れ，プロセスを楽しむようになりました．特に，自分の研究が他の研究者に影響を与え，現実の製品のデザインプロセスに役立っていることに気づくと，その努力の成果を実感する瞬間が一番の喜びです．