人工知能と半導体、どこで動くものが面白いか？

　最近は人工知能が各所で話題になっています。最近だとNVIDIAが次世代のチップを公開したりして話題になりました。またLLMの推論や学習を効率良く実行するためのチップ開発なども話題になっていますね。
　自分は天邪鬼というか、話題になっている事項に関連はするが、王道ではないところを攻めるのが好きです。なので王道と比べれば大したことがないが確実に需要があるところを考えてみたいと思います。

　自己紹介

　日本の大学でPhDを取得し、日本の会社に就職するも会社の方針転換で一年も経たずに外部に出向し、先行きが見えないため別の日本企業に転職。なぜか転勤族になり西の方に移住。英語を勉強して外資系に転職しVISAをサポートしていただきUSに移住。その後GCを取得しBay Areaの大手テック企業に転職して今にいたります。専門は半導体のプロセス設計です。
　転職に関する自己経験なのどは別のnoteにまとめていますのでご興味がありましたらご参照ください

人工知能処理の半導体はどこで動くか？

　実際に使用されるケースを考えてそこから深掘りしていきたいと思います。だいたい３つぐらいが想定されると思います。

• サーバー施設内

• Mobile端末内

• 設置端末

サーバー施設

　これは一般的ですね。大手Cloudサーバー事業所が巨大なサーバー施設を設置し、その中に最新鋭のGPUなどをインストールして顧客に使用してもらうケースでう。この場合はサーバー施設を運用すると同義になります。なので既知の部分が多いかと思います。
　ここではNVIDAやAMDまたはintelなどが提供しているハイエンドのものが使われるのが通常だと思います。

Mobile端末内

　ここは今後5年ぐらいの主戦場になると思っています。ラップトップPCやタブレットから始まり、Smartphoneへという流れですね。この分野ですと学習自体をMobile端末側でするのは現実的ではないので、サーバーとの連携が必要となると思います。つまりMobile端末で情報を取集し、サーバー側で学習実施、その学習結果やModelを使用してMobile端末側で処理をする。みたいな流れかと思います。
　例えばGoogle PixelやiPhoneまたはQualcommなどはチップ内にNeural Engineを搭載しており、そこで効率よくAIに関係する処理を実施しています。あくまで実行に最適化したものであって、この部分で学習までするのは想定していません。

設置端末

　ネットワークから切り離されている、または定期的に低頻度でサーバーとやりとりするだけで、基本的にシステムとして自己完結しており学習と実行を両方実行できる。ちょっとイメージしずらいですね。要はATMとか車のようなものです。別名エッジAIとも言われたりする分野です。

設置端末に関して深掘り

　以前にもエッジAIに関して触っているので、もしご興味があれば読んでみてください。

　導入の部分でも触れましたが、学習する機能と推論する機能を両方持っているのが望ましいですが、電源容量などが限られている場合が多いかと思います。なので学習用のフル機能は必要だが、常に動かすのは割りに合わないと想定されます。
　大抵のSolutionは学習に合わせた機能をそのまま流用して推論実行するようにチップが設計されいるかと思いますが消費電力の観点から見るとどうなんだろうと思ってしまいます。なので自分が考える効率が良いと思われる構成は以下ようなものとなります。

• 推論と学習のチップは分ける

• 推論側は使用するモデルに特化したアーキテクチャーを採用し電力効率を最優先する。自分が思うAIチップ

• 学習チップは想定している推論モデルを効率よく学習できるようなアーキテクチャーとなっている。学習時以外は動作しない。または待機モードに入っており消費電力を抑えられるような構成になっている。

• できれば学習と推論チップはパッケージ内で集積されていると良い

セキュリティーも大事

　セキュリティーは今後とも重要性が増してくるかと思います。特にMobile端末や設置端末はなおさらだと思います。Model自体の暗号化はなおさらですが、それに使用するDataも暗号化が必要かと思います。もちろんMemory上のDataもです。
　特に設置端末は、自己で学習することを想定しているのでMobile端末以上のセキュリティ強化が要求されると思います。

まとめ

　今回はど真ん中とは少し外れた、外角高めを狙ってみました。外角低めの打ちにくいところではなく、高めなので上手く当てれば大当たりするようなところです。ど真ん中のように素直に勝負じゃないところが個人的には好きです。