1000万枚の画像から生み出された船舶画像認識技術！自動運航船の"要"となれ!!【自動運航船シリーズ vol.2】
フルノが今、力を入れて取り組んでいる分野のひとつが"自動運航船"。
海運業の担い手不足や離島航路の維持などの社会課題の解決策として、またフルノが目指す海難事故ゼロの実現に向けて期待が高まっています。
自動運航船を実用化するには、”他船との衝突などの危険を検知すること"と"正しい避航行動を取ること"が重要です。
その避航ルートを策定するためにはまず他船の位置を正確に把握することが必要になります。
では、その他船を正確に見つけるにはどうしたら良いのでしょうか。
シリーズ第二弾では自動運航船に不可欠な技術"画像認識"にフォーカスを当て、フルノにおける画像認識の第一人者にお話を伺いました。
人間の目視に変わる技術を。
画像認識で自動運航船の実用化を推進。
村上 博紀さん
2019年ソフトウェアエンジニアとして新卒で入社。航法システム研究室に配属され、主にAI技術を用いた船舶画像認識の研究開発を担当。その後、自律航行システム開発部設立と同時に同部署へ異動し、船舶画像認識技術の実用化に尽力している。仕事で印象に残っていることは？と聞くと「無人運航船プロジェクトの実証実験で乗船した際に、船が大きく揺れて実験メンバーのほとんどが酔い潰れたこと」だそう。
まず簡単に画像認識とはどんなものかを村上さんにお聞きしました。
村上さん「画像認識にも歴史があり、例えば身の回りだとバーコードなどが一般的な例かなと思います。その後、2012年頃に深層学習を使ったAIが画像認識コンテストに圧勝し、現在までに画像認識技術は劇的な性能向上を果たしました。私が今進めている船舶の画像認識も深層学習ベースの技術となります。」
船舶画像認識では、画像認識の中の「物体検出」という技術を用いているとのこと。物体検出とは画像中の物体をコンピュータが検出・識別できる技術ですが、コンピュータは通常、画像をピクセル（画素）の集まりとしてしか認識できません。ですが、大量のデータから統計的な特徴をAIに学習させることで船舶の検出・識別を行えるようになるのだそう。
村上さんがフルノ入社後、自律航行システム開発部(以下自航部)の前身である航法システム研究室に配属され、当初はレーダーの偽像検出関連の研究をしていたそうですが、その後フルノで画像認識を始めるとなった際にメイン担当に抜擢され、ゼロから取り組まれてきたそう。
村上さん「まず船舶の識別に特化したAIモデルを作るところからスタートしました。AIに学習させたい画像データに、『これが船だよ』と意味付けを行う作業のことをアノテーションというのですが、フルノの実験船などにカメラを取り付けて画像を収集し、船の写っている範囲を人力でアノテーションする作業から着手していましたね」
船舶や物標にボックスと呼ばれる枠をつけてAIに学習させる
その作業を数千枚の画像で行うことで、ある程度船舶を検出できるAIを作れるのだそう。それを人力でやるだけでも途方もない苦労が想像できます。
しかし自動運航船での実用化レベルだとまだまだ不十分とのことで、日本財団が推進する無人運航船プロジェクト「MEGURI2040」がスタートしたことで飛躍的に精度があがったそうです。
村上さん「MEGURI2040プロジェクトが始まったことで24時間、様々な船の画像データが取得できるようになりました。そのおかげもあり、約1000万枚以上の画像が集まりました。その中からAIの学習に有益なデータを選別し、アノテーションを実施して約20万枚の正解データセットを作成しました。その結果、かなりの高精度でカメラ画像から船舶を識別できるようになり、船の向きや船の種類(商船・漁船・客船・帆船・海上物漂)など得られる情報量も多くなっています」
船舶の画像認識の難しさは？と聞くと様々な状況下で多種多様な船舶を識別することなのだそう。雨のとき、霧のとき、夕方や夜、荒天時など、同じ状況というものがない中で大小、形も様々な船を識別することが困難で、それらの状況を学習させるための画像データを用意することも難しかったのだそう。
「実証実験で乗船した際、船が揺れて揺れて…」とその時に撮られた写真を見せてくれました
本当に「👍」なのでしょうか
村上さん「自分たちで3Dモデル空間を作っていろんなパターンの画像作成をする時期もありました。それでも精度を上げるだけの3Dモデル品質を確保することは難しかったことを考えると今は恵まれた環境になったと思います。積み上げた画像認識のAIモデルはフルノの重要な海洋ビックデータ資産になっていると感じますね」
既存技術とのコラボレーションで実用化へ。
自船周囲情報統合システムの構築。
こうして獲得した画像認識の技術は実際に自動運航船ではどのように活用されているのか、現在の状況をお伺いしました。
村上さん「船舶には自船の周囲状況を把握する機器としてレーダーとAIS(船舶自動識別装置)があります。レーダーとAISで得た情報を船員の方々が自分の目で見て避航ルートを策定するのが従来の方法ですが、そこで船員の目視の代わりをするのが画像認識の技術です。そこでレーダーとAISと画像認識を組み合わせた自船周囲情報統合システムを構築しました」
レーダーやAISの情報とカメラで識別した情報を統合して表示しています
このシステムによって自船の周囲状況を総合的に把握できるようになり、その情報を避航ルートを策定するシステムに提供しているのだそう。
村上さん「画像認識結果とレーダー情報を間違えて紐づけたり、船舶の見逃しが発生すると自動運航船では事故に直結します。このシステムの実験のためたくさんの船舶に乗船させていただきましたが、画像認識が船員さんの見張り支援に貢献出来ると実感しています。
船員の方々も人間なので、体調・海況・本人の熟練度などによって認知能力にばらつきが出てしまいますが、そこを機械に置き換えることで船員の方々の苦労を軽減できるメリットを感じました。そのためにも画像認識の精度をさらに向上させて信頼度を高めていきたいと考えています」
また海の上で船以外にも識別するものとしてブイや定置網などが挙げられるそうで、海面ギリギリに設置される定置網は通常のカメラによる識別が非常に難しいそうです。
村上さん「今はズームカメラを活用した網の検知も進めています。広角のカメラで全体を捉えて、怪しい部分をズームカメラで寄って識別の精度を高めるイメージですね。ただ船は揺れるので、カメラでズームすればするほどブレが大きくなってしまう問題もあります。この課題を解決するためにMEGURI2040プロジェクトにおいて他社さんと協業して開発を進めています」
画像認識の汎用性に期待大？
"現場種技"で新しいソリューションを生み出せ！
フルノでは避航技術のほかに離着岸の技術を獲得することもプロジェクトの目標と掲げられています。村上さんは離着岸のチームではないのですが、やはり現場に行ってその難しさは肌で感じたそう。
村上さん「沖に出て海況が安定していると比較的リラックスした雰囲気で航海は進んでいきますが、離着岸となるとブリッジの空気が一転したことが強く印象に残っています。離着岸を誤ると乗船しているお客さんや貨物などにご迷惑をかけますし、最悪事故に繋がります。それだけプレッシャーがかかる作業なんだなと実感すると、自動化のメリットも感じましたし、求められる技術レベルの高さを認識しました。
他にも船員の方々の動きを観察していると、ちょっとした困りごとを『あ、あの技術を使えば解決できるな』という気付きも多く得られました。"現場種技"というフルノで大切にされてきた考え方はまさにその通りだなと実感しています」
だからこそ、現場に行く機会があれば多くを経験して次の開発に活かしたい
このようにAI・画像認識の技術を現場にうまく適合させ、無人運航船プロジェクト「MEGURI2040」に貢献してきた村上さん、どういう点に面白さを感じておられるのでしょうか。
村上さん「AI、画像認識の面白さは汎用性の高さだと思っていますね。私が学生時代に始めたときは第3次AIブームの頃で、画像認識のみに特化した『特化型AI』が人間の能力を上回るなどして話題になっていました。一方で、某猫型ロボットのように何でも出来るAIを『汎用型AI』と呼ぶのですが、汎用型AIはまだ夢の話だと思っていました。
しかし、近年話題のChatGPTなども登場して、想像よりも早く汎用型AIの第一歩を踏み出したなという感覚があります。
また、フルノの中ではAI人財はまだまだ希少ですが、これから盛り上がってくるだろうなと感じています。AIの知識や活用経験を獲得すれば様々なフルノの先進的な活動に参加することができると思います」
若くして自航部で活躍している村上さん、同世代で活躍しているエンジニアも多いそうで活発に議論を重ね、研究開発を進めています。
彼の目標は「画像認識技術を人間の目視以上の技術として確立させ、自動運航になくてはならない技術にすること、そして信頼性を勝ち取っていきたいです！」とのこと。
AIの登場は新たな産業革命とも言われていますが、フルノでもその技術を獲得し現場で応用していくことで、新しいソリューションが生まれていくはず。若い世代の活躍に大いに期待していきたいと思います。
自動運航船シリーズvol1 はこちら
執筆：高津 みなと
- 海を未来にプロジェクト -
