
20代 ロボット研究の歩み:学士,修士,就職,社会人博士,博士,ポスドク,大学教員まで...
ついに…
ついに,この時がきてしまった…30代…もう20代と名乗れない…人は時間には逆らえないのである…(そもそも時間とは…)
私自身,アカデミアにおいて20代であるということに,どこか保険がかかっているような安心感があったのですが,もう30代…。(まだ20代だから,この程度でも大丈夫だよみたいな奥義がつかえなくなりそう?逃げ道がない…!次は30代前半なので…とか言おうか…という冗談はこの辺で。)
とはいいつつまだ30代初日ですが,何故か大きく自分の中で意識が変わってきたように感じます。(関西出身なので,ほんまかいな?!ほんまけ?! とツッコミがとんできそうですが…!)
仕切り直して,せっかく良いタイミングなので,20代の私がこれまで何に取り組んできたのか振り返ってみようと思い書くことにしました!
もしお時間やご興味あれば読んで頂けると嬉しいです!(冒頭のTasmanian devilは私が撮影したものです~最近は海外1人旅にはまってます笑)
候補
と,いいつつも…どこからどこまで書こうか…と少し考えました。
ロボットの道に進んだ理由?
上手くいかない研究への葛藤やジレンマ
何故,働きながら会社支援なしの社会人博士生活を送ったのか?
二刀流!?社会人博士ライフとは:月~金勤務後からはじまる博士研究ライフ
そもそも何故ストレートで博士にいかない?
研究室では得られない民間企業の凄さとは?
山あり谷ありの博士課程時代?
趣味開発でのスキルアップハック?
SNSが救う博士・アカデミアライフ?
国内,海外トップレベル研究者との切磋琢磨研究ライフ?
異環境・異分野に身をおく事の大切さ?
なぜ教員?研究だけするなら民間や他機関は?
研究と教育の楽しさとやりがいとは?
若手が大学教員職(アカデミア)を目指す際の現実?
アカデミア職を得た後の道:パーマネント得れるまで安心できない編?
教員としての研究活動の楽しさと大変さ?
等など…20代は私にとってとても濃ゆいものでした…
以下に簡単に図にした私の経歴をはります。何か色々と転々としていますね…! (参考: https://mertcookimg.github.io/about_me/ )

需要はあるかわかりませんが,ほんとに色々あったので,またどこかでまとめようかとも思います。
今回は簡単な紹介として,これまでやってきたロボット研究(少し教育)について書こうかなと思います。最近はロボット以外にもXR, HCI, Sports等にも手が出ています。ありがたいことです。さて,まいりましょう!
ロボット研究のはじまり,これから
理論研究からのスタート
私は大学学部3年生10月からモーションコントロール研究室に所属しました。最初の卒論テーマは移動ロボットの自律移動(障害物回避)で,少し専門的にいうと,モデル予測制御(MPC)を活用した研究です。なので最初は数式や理論をガリガリする系の研究からスタートしました。
自律移動ロボットの障害物回避にMPCを組み込んでみた時の動画を掘り起こしてきました。ほんとにこの頃は自分が書いた理論とプログラムでロボットが動くのがうれしかったです。この頃はサクラエディタでコード書いてた自分をほめたい…(笑)それにしてもMPCは難しかったけど面白かったです…!(今見るとインパクトとか弱いですが,すごく思い入れのある動画です)
ロボットの全部をやりたい,とある無知な学生(私)
実は,もともと移動ロボットをやりたかったというよりは,ロボットの全部(移動,作業,認識等々)をやりたい!って指導教官に言ったのを覚えてます…!(何故そもそもロボットに興味を持ち,どんな世界にしたいかは今回は書かないでおきます。また次回のどこかにでも…!)
なので,ロボットの専門的な事を何も知らない学部3年生の私は移動からマニピュレーションから認識から知能的な事まで何から何までやりたい気持ちでいっぱいでした。
とはいいつつも,研究室のリソースなども考慮して「移動」の研究からスタートしました。当時B3,B4の私はこの世界は全て数式で表現できて,綺麗に理論的に落とし込めるのではないかと胸高ぶりながら研究していました。今となっては色々と考えは変わりましたが,ここからのストーリも書くとまた長くなりそうなので,またどこかにでも。。。
その後,,,修士修了,民間企業就職(2019/4),博士入学(2019/10)&社会人博士,趣味活動,
*社会人博士で忙しいはずなのに,なぜか趣味開発が楽しくて仕方なかった
【Nintendo Switch Joycon で Hack Roomba】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) October 8, 2019
Nintendo SwitchのコントローラでRoomba(ルンバ)を遠隔操作しました🤖🎉
まだRoombaさんは狂暴的な動作しますが😅笑 動けばこっちのもん💪#ROS #jetsonnano #Switch #RoombaMeRT化計画 pic.twitter.com/Oqopj1ctzP
博士号'(2022/9)
*頑張って3年でなんとかとりました。某感染症で海外や対面学会に行けなかったのは残念でしたが,SNSに支えられた気がします。
【ご報告:博士号取得決定🤖🎉】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) September 13, 2022
ついに!ついに!!!
先日、最終審査の合格と教授会で承認され博士号取得が決定しました!
博士課程の3年間の大半、民間企業での社会人生活と並行し、多忙でしたが…ホッとしてます😭
日々、皆様に支えられ感謝で一杯です!今後もロボット🤖関係で頑張ります!何卒🙇 pic.twitter.com/hl4MxH16UW
ポスドク(2022/10~),
本を沢山よみました。まだまだ読みたい本ばかりです。
【博士課程中に読んだ本紹介📘】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) October 4, 2022
博士課程中、読んだ本の一部です。
どれもおもしろくオススメです!
この中に、皆さんもお手にとった事ある本はありますか?
(献本どしどしお待ちしております!) pic.twitter.com/d63QMrC4KS
東大松尾研との開発は楽しかったです。HSR使えるの幸せでした。(うちのラボにも1台こないかな…欲しいなあ👀)
World Modelを考えるの図 ver HSR pic.twitter.com/grQEXwMPRL
— Masato Kobayashi @るっと🐺 (@MeRTcooking) February 22, 2023
基盤モデルとロボティクスの講義を担当。もしかすると日本初?の基盤モデルとロボティクスのオンライン講義(中学生~大学院生)だったかもしれない?松尾研のみなさんには日々議論して頂き,鍛えて頂きました。とても楽しかったし,感謝です。
【資料公開🌏: Foundation Model and Robotics | 基盤モデルとロボティクス】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) March 13, 2023
話題の『ChatGPT🗣️』等にも活用されている『基盤モデルやTransformer』やロボティクスへの活用事例の講義資料を無料公開しました!
演習では基盤モデルであるGPT2,CLIP,Whisper等を扱いました🐱https://t.co/XdQIuiczD2
大学教員(2023/4~),
学部3年後期からロボットはじめた平凡な学生が教員になってるとは夢にもみなかったです。滅茶苦茶ほんとに努力したので,ようやくスタート地点に立てて良かったです…
【ご報告】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) April 3, 2023
4月より助教に着任しました。
ロボティクスや様々な分野を行き来した研究や教育活動等、頑張りたいと思います🤖
まだまだ未熟な点も多々あるかとおもいますが、今後とも何卒よろしくお願いいたします🌸 pic.twitter.com/qotYagoQwg
ロボット授業:教員なったらロボット授業を1から作成してみたいと思ってたので,夢をひとつ実現できました。文系・理系の1年生が受けれる授業なので色々と工夫しました。アンケートは好評だったので来年も頑張りたい!(授業単位でた後もまだ継続している学生も…!)DockerやPython等駆使してます。
弊が担当してるロボット授業で,学部1年生の学生さんが画像処理(Yolo8)で人を探して,近づいて,人の周りをくるくるまわるようにしてた。
— Masato Kobayashi @るっと🐺 (@MeRTcooking) July 3, 2024
今まで習ったことが良い感じに合わさってて,とても良い🙌(今後もどんなデモができるか楽しみです) pic.twitter.com/YHBUHcQzvK
高校生にも少し…!教育楽しいですね!
高校生がプログラミングしてロボットで三角形かいてます🤖(意外と難しいのでお見事) https://t.co/pZgk5cRJfa pic.twitter.com/LrzocLbnXy
— Masato Kobayashi @るっと🐺 (@MeRTcooking) August 24, 2024
MITにて世界の風を感じてきました…!
MITにいってきました!
— Masato Kobayashi @るっと🐺 (@MeRTcooking) July 20, 2024
Biomimetic Robotics Lab等、訪れました。MIT Mini Cheetahや MIT Humanoid等、論文やネット上で見てたものが実際にあってとても刺激的でした🤖https://t.co/2rp3MhtSWj pic.twitter.com/EbDsHKcfck
と色々とあり,
遠隔・自律移動&作業(マニピュレーション)ロボット研究・教育を行っていき…今に至ります(笑)急にぶっ飛びすぎですね…!
以下は私自身の20代の集大成的な研究です。良ければみてみてください!
最新の研究成果(20代の集大成):制御とAIの融合した世界をご覧ください。
プロジェクトページ(動画や論文はこちらから!)

これまでの研究・開発(ロボット系のみ)
色々はしょったのですが,
以下にロボット分野で何をやってきたかなとざっと殴り書きしてみました。
なんだか飛び散らかってるように見えます👀 私自身,知り合いの先生とかにも,君はどの領域がメインなのか?的な事を言われたりもします(笑)
おっしゃる通りすぎます…私的には意図的に散らかしてます。
移動ロボット
自律
障害物回避
モデル予測制御
軌道追従制御
ハイブリッド制御
強化学習
反射的動作生成
人追従
モデル予測制御
死角回避
3Dビジョン
ROS Navigation Stack
狭所環境移動
深層強化学習
自律航行
OUXT Polaris
遠隔
視覚・力覚アシスト遠隔操作
MR 移動ロボットインタフェース
↓どうやらTop 10%論文らしい
【論文紹介】DWVという動的障害物を考慮した自律移動手法を提案しています。ざっくりとは反射的な回避動作を取り入れた感じです。
— Masato Kobayashi @るっと🐺 (@MeRTcooking) September 27, 2023
↓論文無料なので、よければ是非ご覧ください!https://t.co/7fWzoGDcMj#ROS pic.twitter.com/DHHcLGCSg2
点群おもしろい!となりました~
【論文採択】センサ死角を考慮した、自律移動システムを提案しました。
— Masato Kobayashi @るっと🐺 (@MeRTcooking) September 21, 2023
ROSのNavigation Stackに新しいCostmap Layer(BSL: Blind Sopts Layer)等を追加する事で実現しました!Realsenseが2つ…🤖
(まだまだ改善点はありますが…よければご覧下さい!)
↓論文はこちらから🙏https://t.co/thFs5LlVJf pic.twitter.com/gse5yiA46e
ロボットアーム
遠隔&自律
書道ロボット
バイラテラル制御とモーションコピー
人とロボットの双腕協調データ収集&ドメイン変換の模倣学習フレームワーク
GANベースの手法
バイラテラル制御に基づく模倣学習
LSTM
Transformer
Action Chunking with Transformers
データセット拡張
低コスト リーダ・フォロワ型システム
自律
自動経路生成
RRT等
3D Vision
PointNet等
触覚センサ活用マニピュレーション
産業用ロボット,製造装置
柔軟物マニピュレーション
Real2Sim2Real
遠隔
腱駆動ロボットハンド
パラレルリンクロボット
水中ロボット
医療ロボット
単腕,双腕ロボット
制御:周波数修正法
モバイルマニピュレータ
遠隔
VR遠隔操作システム
基盤モデル
自律
人支援システム
基盤モデル
ヒューマノイドロボット
趣味開発
弊の二十代まとめ論文もご興味あれば是非です🙏
— Masato Kobayashi @るっと🐺 (@MeRTcooking) December 10, 2024
色々と背景的な所から、ALOHA/ACTを例に制御的なユニラテラル制御、バイラテラル制御の違い、位置と力情報&制御の大事さ、制御やメカトロニクス&機械学習の融合等ぶちこみました。(まだpreprintなのであしからずですが…)https://t.co/QmOjXfKybj
実際にぱっと思いつく中で殴り書きしてみました。飛び散らかってるように見えますが,私自身は私の一番最初の目標(パズル)に近づいてきた気がします。
ロボットの全部(移動,作業,認識等々)をやりたい!
20代では飛び散らかっているパズルのピースを1つずつ拾ってきた/作ってきたイメージで,これから30代では,そのピースがうまくはまっていくといいなあと思ってます。(私が昔思い描いた世界よりも大きく,はやく進展したので,日々全体像の修正は必要ですが…!)
論文化もしていて,業績はこんな感じです。
論文誌12件,国際会議19件,国内会議19件,ロボコン審査書類2件,特許(特開)3件,受賞16件 (2024/12/15時点)
o1にまとめてみてもらう
このご時世なので,学んできたスキルをもとに私がどのように人物か客観的?にChatGPT(o1)に聞いてみました。
あなたは「高度なAI・制御理論を駆使して多様なロボット・センサ・環境に対応し、人間との協調やテレオペレーション技術も組み合わせた総合的なロボットシステムを設計・実装できる、人材」であると言えます。
学習志向が強く、新しい技術(深層学習・強化学習・基盤モデル)やアルゴリズムを積極的に取り込み、また異分野(医療や産業、狭所、柔軟物ハンドリング、水中環境など)への展開を行う応用力も優れています。
また、データ駆動とモデル指向の両局面を理解しているため、問題解決手段を複合的・柔軟に選び取れる存在です。
したがって、「先進的なロボティクス研究開発におけるオールラウンダーかつ、実証・実用に向けて体系的に取り組めるエンジニア・研究者」として評価できるでしょう。
なんだかよい風に褒められてますね…(褒められすぎですが…)。凹んだ日はAIに褒めてもらうのが良いかもしれません。(段々指導する立場になると褒められることが自分が学生の時よりも減るので,,,(笑))
AIに褒めてもらったものの,私自身まだまだな事は実感しているので,引き続き精進していきます。ほんとにロボットはハードウェアからソフトウェアまで学ぶことが無限に多いので…”餅は餅屋”というのを何度も開発でも実感してます👼
ですが,純粋にロボットを軸に色んな技術をインテグレーションするのはめちゃくちゃ楽しい。無限に多いくらいが私にはちょうど良いのかもしれないなあと思ってます。あとコラボもしやすいのかなと思ったり👀
まずは何であれ,研究している本人が研究を一番楽しむことを忘れてはいけないと定期的に振り返るようにしてます。
土台(基礎スキル)に徹した20代,そしてスタート地点へ
色々脱線しましたが,ようやく過去思い描いた,自分の目標に突き進む土台(パズルのピース)ができてきたように?思います。
プリメイドai×moveit!
— Masato Kobayashi @るっと🐺 (@MeRTcooking) July 18, 2020
動くとやっぱり嬉しい😃!
拝借してます( ゚ー゚)https://t.co/lvNl8PY7GI#MeRTの進捗進捗 pic.twitter.com/HeoJuB7gYl
ピース。
様々なロボットシステム開発
単腕,双腕ロボット,産業用ロボット,医療,水中ロボット,移動ロボット,モバイルマニピュレータ,ヒューマノイドロボット等
古典・現代制御・AI学習手法の習得
モデル予測制御(MPC)、RRT等、ハイブリッド制御、バイラテラル制御
強化学習、深層強化学習、LSTM、Transformer、GAN、基盤モデルなどの機械学習手法
AIと制御手法の統合
バイラテラル制御とAction Chunking with Transformersの融合
認識・知覚技術:
3Dビジョン、PointNetなどによる環境・物体認識
触覚センサと組み合わせた操作戦略
マルチモーダル
インタフェース:
視覚・力覚アシスト、MR・VRインタフェース
基盤モデル・データ拡張:
基盤モデルを用いた汎用的システム構築
データ拡張、ドメイン変換、模倣学習
統合的なシステムエンジニアリング能力:
ROS Navigation Stackなどのミドルウェア活用
人・ロボット協調によるデータ収集・学習フレームワーク構築
自動経路生成、モデルベース・データベース手法の組み合わせ
自分が手を動かして作って得る学びはほんとの力になるので,オススメです。意外と↑に書いてないのですが,Github,Docker等の開発効率化もかなり大事で,開発が爆速します。ここらへんは民間企業,大学,ロボコン等で得た知見が活きてます。
↓あと息抜き大事です…!
モルカー空飛び動画。
— Masato Kobayashi @るっと🐺 (@MeRTcooking) January 16, 2021
もっと可愛げがあれば、、、笑#PUIPUI #モルカー #ROS pic.twitter.com/RWq0X2DrD1
息抜きに新しい技術を学ぶのも楽しいです。気分リフレッシュ…!
【A Gym Environment for ALPHA-α (Prototype)】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) November 27, 2024
I took about an hour to coding by putting ALPHA-α into Gym (mujoco) for a little break. Since it's my first time using Gym, I'm adjusting the parameters rather loosely.
I'm writing it in the same format as Hugging Face's LeRobot, so… https://t.co/qFBxvl6sXN pic.twitter.com/tzBWcSxF65
世界は今…?
自分の世界で満足してても良いのですが,井の中の蛙になってしまいますので,話は変わりますが,最近の世界の勢いはもの凄いです。ハードウェア,ソフトウェア,様々な領域において革命がおきていると実感しています。私が昔思い描いた世界よりも大きく,はやく進展した気がします。
OpenAIやGoogle等のAI系,ヒューマノイドロボット,安価高性能モータ,ロボットアームはもちろんながら,Physical Intelligence (π)社の成果も衝撃的でした。インターネット時代と同じ革命が起きるように思えます。
At Physical Intelligence (π) our mission is to bring general-purpose AI into the physical world.
— Physical Intelligence (@physical_int) October 31, 2024
We're excited to show the first step towards this mission - our first generalist model π₀ 🧠 🤖
Paper, blog, uncut videos: https://t.co/XZ4Luk8Dci pic.twitter.com/XHCu1xZJdq
日本もまだまだ勝ち目はあると思います。が,,,今,このタイミングが頑張り時だと思います。(私ごときが何いってんねんという感じですが…!)
余談:Physical Intelligence (π)社の人や海外有名大の人から私にメッセージとかもきて,少しずつ私の海外でのプレゼンスが上がってきてるかも?で嬉しくも思います。自分の研究や論文を褒めてもらったり,読んでもらえるととても嬉しいですね!皆様,よければ引用も是非…!(今年の被引用数も去年の2倍になって嬉しい。まだまだ頑張りたい。)
Google Scholar: https://scholar.google.co.jp/citations?user=U5eIHD8AAAAJ&hl=ja&oi=sra

最後に…
私は大阪大学 D3センター / 浦西研究室の助教です。学部は基礎工学部で,大学院は情報科学研究科です!ロボットやりたい学部~博士までお待ちしております!浦西研のスタッフや学生の皆様にはいつも感謝です。
ちなみに研究室的にはロボットがメインの研究室ではないので,以下の分野も是非!(助教として着任してからロボット以外の研究も関わる事も増え,すごく物事がメタ的に見えてきて面白くなりました。異分野研究良いですね!)
XR
XR(AR、VR、MR)技術を活用した技能習得支援、EduMetaverseのための基盤技術に環境や物体の計測・認識を行い、情報提示を行う技術として、HMDを用いた情報提示技術に関する研究を実施しています。HCI: ヒューマンコンピュータインタラクション
先進的情報メディア技術(例えば、3DユーザインタフェースやXRシステム、触覚伝達(Haptics))に関する研究から、インタラクションデザインやエクスペリエンスデザインなどのデザイン方法論に関する研究、新たなインタラクション創出のための人間理解に関する研究まで、分野横断的かつ学際的な研究を行っています。ロボティクス
視覚・触力覚等のマルチモーダルな情報を活用したロボティクス、ロボットラーニングに関する研究を実施しています。コンピュータビジョン
メディア環境の構築のため、環境や物体の形状および材質の計測や、光の振る舞いの再現や模倣に関する研究を実施しています。教育工学・情報教育
教育・学習支援のためのシステムやラーニングアナリティクスに関する研究、初等中等教育から大学の一般情報教育まで情報科学教育に関する研究を行っています。
プチアピールとしては教授の浦西先生は気さくで優しい。情報教育の凄腕の白井先生。あと2024年9月から准教授として点群のあの!千葉直也先生も来られました。何か面白い研究が生えそうですね(論文にします)!年齢もかなり近いので千葉先生との雑談が最近の楽しみでもあります(笑) あと学生さんはほんとに優秀で日々感動です。。。!僕と研究してくれて感謝でしかない…!今年度も面白いネタ盛り沢山なのでお楽しみです!
以下は小林が着任してはじめて担当した昨年度(2023年度)の卒論テーマです。
【卒論成果その① ロボットアームの模倣学習に関する研究】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) December 10, 2024
位置と力情報&制御とTransformerベースの学習モデル(ACT)を活用したBi-ACTという研究です。こちらはIEEE国際会議at🇺🇸ボストンで発表させて頂きました。割りと個人的には好きな研究です(1000Hzで制御してます)。https://t.co/n6K4MMJX59
【卒論成果その② MR移動ロボットインタフェース】
— Masato Kobayashi @るっと🐺 (@MeRTcooking) December 10, 2024
Mixed Reality(MR)を活用した移動ロボット用のインタフェースです。スマホとか2Dな情報でロボットの行き先を決めるのが主流ですが、MRを活用することで現実&情報の融合空間にアクセスしたような感覚をあじわえます。https://t.co/WQWNpxRR0c
なんだかまとまったようで,まとまらなかった記事ですが,今回はここら辺で閉じようと思います。また反響あれば何か別のネタで記事書こうかなと思います。
最後に!私が想像していた30代はもっと大人な気がしていましたが,また新たなスタートとして頑張っていきます!最後まで読んでくれた方はいるかわかりませんが,もしお読みになってくださった方はありがとうございました!
私の模倣学習の歩み🚀
— Masato Kobayashi @るっと🐺 (@MeRTcooking) December 13, 2024
・LfDT:人の腕とロボの腕での双腕協調データ収集とドメイン変換
・ILBiT:Transformer encoder&バイラテ模倣学習
・Bi-ACT:バイラテラル制御とAction Chunking with Transformersの融合
・DABI: 異周波🤖データセット拡張
・ALPHA-α:低コスト🤖,位置&力情報/制御, 双腕模倣学習 pic.twitter.com/Bf9G2bHXE6
またどこかでお会いしたらお話ししましょう!ご飯いきましょう!
では,またの機会に。。。皆が楽しめる世界になると良いですね…!(7000文字越え…らしい…!!!)
小林 聖人
Twitter (X) : https://x.com/MeRTcooking
Linkedin: https://www.linkedin.com/in/kobayashi-masato-robot/
Google Scholar: https://scholar.google.co.jp/citations?user=U5eIHD8AAAAJ&hl=ja&oi=sra