最近のAI専用ハードウェアから

　こちらでも時々、「（人間のように）ごく少数の例から他ジャンルの知識体系なども踏まえた一般化、共通項の発見をもとに理解しごく少ない計算で学習できる機械が求められている」と書いてまいりました。先にチューリング賞を受賞した、ヒントン博士もNHKのインタビューでそう英語で答えて、まだまだAIが足元にも及ばない人間の素晴らしさについて目を輝かせて語っていたのですが、その字幕は出ていませんでした。

　今から10年、20年後には、CNNなどの深層学習は、「少々計算量が多すぎた」と振り返られる可能性が高い、と踏んでますが、当面は、１秒間に数10兆～数100兆回以上の演算ができるようなハードウェアが必要で、それが最先端AI応用開発の死命を制する状況が続きます。「最強のAI活用術」（今日現在kindle版がunlimitedで当該会員さんは実質無料で読めます！）では、そんなハードウェアでふんだんに出回っているのは、ハイエンドゲーム向けにコストダウンを続けたNVIDIA一択である、と書きました。その後、Googleが、整数演算や、半精度浮動小数点ながら格段に速いTPU (Tensor Processsing Unit)を量産して、オンラインで９時間までは無料などの提供を開始。フレームワークによってはハイエンドGPU 10枚分くらいの速度をたたき出し、世界の深層学習開発がGoogleの支配下になるのか、と感じて冷や汗を流したのを思い出します（2018年夏頃）。

　上記書籍では、NVIDIA対抗の汎用的なGPU的なチップとして、超小型のMovidiusも紹介。執筆時点で既にインテルに買収されていました。インテルは、このチップや、もちろんGPGPUも、そして、第４世代Core i以降に追加された拡張命令のうち、AVX2, AVX512といった、256bit, 512bit幅のレジスタ間の演算でCPUながら、通常の32bit演算を同時に8組、16組できるようにして、学習時間、認識時間を速めるライブラリ群OpenVINOを提供し、対抗しています。

　そのインテルが、学習のフレームワークからして、まったく新しいタイプのニューラルネット専用ハードウェアをリリースしました。

Intel、800万のニューロンからなる新しいAIシステムを開発 | fabcross for エンジニア

"第5世代自己学習式ニューロモルフィックリサーチチップ「Loihi」を64個搭載し、800万のニューロンで構成" ということでは、これらの数字だけでは、なんともいえません。それ以上の規模をGPGPU内部に実現しているフレームワークもあるからです。画像認識に好適な深層学習のCNNに対し、SNN：Spiking Neural Network と称していますが、振る舞いの違いはともかく、同種のタスクに対して、CPUの1000倍、ということは量産ハイエンドGPUの10倍クラスの速度で学習が可能で、消費電力はそんなGPUの1/10で済むようなことが、この記事から読み取れます。

　後半の、どうやら未学習の状態を推定、予測したりできるのか？というあたりが少し気になったりもしますが、あまりハードウェアと方式（アルゴリズム）、フレームワークを一体化しすぎないで欲しいものです。いろんな意味で、注目を要継続。

　なお、ミシガン大学からは、大容量メモリがそのまま超並列計算プロセッサになるかのようなチップが出されています。CPUの１万倍ということは、上記インテルのプロトタイプシステムと同等の速度となります。

CPUよりも最大1万倍の速度で演算可能な機械学習向け処理装置「メモリスタチップ」のプロトタイプが登場

　"「メモリスタ」は、通過した電荷を記憶し抵抗を変えられる特性を持った受動素子です。メモリスタは論理演算装置と記憶素子という2つの役割を持っており、記憶素子としてはアナログでデータを保持するため、不揮発性メモリとしての活用が可能で、さらに積和演算が可能とのこと。"
 

　可塑性に富んだヒトの脳内（や皮下にも5000セル規模のCPUやメモリがあるらしい）の神経細胞もほぼ間違いなく、演算レジスタとメモリの両方の機能を果たせるようですから、方向性は正しいといえそうです。そしてもちろん、純粋にエンジニアリングとして、ゲーマー向けにコストダウンされたGPUに依存してばかりでなく、機械学習専用に安く、低消費電力で高速化できる代案がどんどん出てくることは、我々AI開発者としては大いに歓迎するところであります。