近刊『リザバーコンピューティング―時系列パターン認識のための高速機械学習の理論とハードウェア―』まえがき公開

2021年3月下旬発行予定の新刊書籍、『リザバーコンピューティング』のご紹介です。
同書のまえがきを、発行に先駆けて公開します。

＊＊＊
『リザバーコンピューティング―時系列パターン認識のための高速機械学習の理論とハードウェア―』まえがき

皆さんは、毎日のように人工知能（AI）や機械学習に関するニュースに触れているのではないだろうか。これらの技術が急速に発展しているのを目の当たりにして、早くAIや機械学習の技術を習得し、学業や仕事で活用したい、という心境になる人も少なくないだろう。最近では人工ニューラルネットワークを基礎とした機械学習技術の一つであるディープラーニング（深層学習）が大きな注目を集めている。ディープラーニングのきわめて優れた計算能力は、さまざまな応用分野で活用されつつある。しかしながら、初学者がディープラーニングを実際に使ってみようとすると、その学習アルゴリズムを理解し、十分なサンプルデータを取得し、高性能な（たとえばGPUを備えた）計算機を準備し、学習計算と結果検証を繰り返す、という多くのハードルをクリアする必要がある。

こうしたハードルを下げてくれる機械学習手法の一つとして、リザバーコンピューティングに対する関心が高まってきている。リザバーコンピューティングは、とくに系列データや時系列データの機械学習に適した計算の枠組みである。通常は線形学習器で学習計算を行うので、線形代数の知識があれば学習アルゴリズムを理解することができる。また、学習に要する計算量が少ないので、一般の計算機でも十分に扱える。1回の学習計算が終わるまでに長時間待たなければいけない、というようなディープラーニングでは起こりがちな状況も避けることができる。モデルの訓練・検証のサイクルを比較的短時間で繰り返すことができるので、パラメータの再調整も行いやすい。こうした学習の簡便性・高速性がリザバーコンピューティングの特長である。計算性能はタスクに依存し、ディープラーニングに迫る計算性能が得られる場合もあれば、そうでない場合もある。どのようなタスクでどの程度の計算性能が得られるかについての一般的な知見が確立するには、さまざまなタスクや応用問題における計算性能評価のさらなる蓄積が必要である。リザバーコンピューティングとディープラーニングは特長が異なるので、いずれもAIの基礎技術として目的や環境に応じて使い分けられていくと見込まれる。

リザバーコンピューティングに関心が集まっているもう一つの理由として、ディジタルコンピュータだけでなく、さまざまなスケールの物理系を用いたハードウェア実装が可能であることが挙げられる。こうした物理リザバーコンピューティングは、一方では将来の高効率な機械学習デバイスを実現するための基礎原理として注目され、微細素子や微小デバイスを用いる研究開発が進展してきている。将来的には、リザバーコンピューティングに基づく機械学習チップとセンサを組み合わせることにより、時系列データのリアルタイム処理に適したAIハードウェアの実現が期待される。時系列データは社会の至るところで扱われているので、こうした技術の応用範囲は広いだろう。他方で、もう少しマクロな自然現象や生物現象をリザバーコンピューティングの枠組みの中で利用し、新規計算資源としての活用を検討するという興味深い試みも行われている。また、脳の情報処理原理との関係にも関心が寄せられている。

本書は、リザバーコンピューティングを体系的に解説した初めての和書である。本書の目的は、下記のような、異なるタイムスパンでの可能性を併せもつリザバーコンピューティングという計算技術を紹介することである。

●現時点での実用性：時系列パターン認識用の高速機械学習手法として
●近未来の可能性：高効率な機械学習デバイスの基礎原理として
●将来的な展望：AIハードウェアの基盤として

本書では、リザバーコンピューティングの代表的モデルであるエコーステートネットワークとリキッドステートマシンの数理的・アルゴリズム的側面を中心に解説するとともに、ハードウェア実装を念頭においた物理リザバーコンピューティングシステム／デバイスの近年の進展についても触れる。本書の顕著な特徴は、一つの技術を数理・アルゴリズムの視点（ソフトウェア実装）とデバイス開発・実装の視点（ハードウェア実装）から概観できる点である。どちらかといえばリザバーコンピューティングの「考え方」の説明に重点を置いているが、時系列パターン認識問題の具体例とそれらに対応するPythonサンプルコードを用いて、その「使い方」についても学ぶことができるようにした。

読者対象としては、主に理工系の大学生・大学院生から大学や企業の研究者および技術者まで、幅広い層を想定している。本書の執筆にあたっては、リザバーコンピューティングの機械学習技術としての有用性だけでなく、ディープラーニングとの相違点、非線形力学系理論との関連、新規計算デバイス開発につながる実装面でのポイント、脳研究との接点などについても盛り込むように工夫した。本書を通じて、リザバーコンピューティングの分野横断的な魅力を感じ、新しい着想のヒントにしていただければ幸いである。

＊＊＊

『リザバーコンピューティング』
https://www.morikita.co.jp/books/book/3499
共著：田中剛平・中根了昌・廣瀬明

深層学習時代の注目技術、初の解説書！

「リザバーコンピューティング」は、深層学習（ディープラーニング）の最大の難点である「計算コスト」の問題を克服すべく精力的に研究が進められ、
・直近では、時系列パターン認識用の高速機械学習手法として、
・近い未来には、高効率な機械学習デバイスの基礎原理として、
・将来的には、「AI ハードウェアの基盤」になりうる技術として、
高い期待を集めています。

本書では、この技術を数理・アルゴリズムの視点（ソフトウェア実装）とデバイス開発・実装の視点（ハードウェア実装）の両面から解説。読者のバックグラウンド・モチベーションを問わず入門できるよう、ニューラルネットの原理や、デバイス・ハードウェア選定の発想から順を追って紐解きます。時系列パターン認識問題への実行例をPythonサンプルコードとともに示し、リザバーコンピューティングの「使い方」も体感しながら読み進められるよう配慮されています。

【目次】
第1章 はじめに
　1.1 機械学習とは
　1.2 リザバーコンピューティングの概念
　1.3 リザバーコンピューティングの位置づけ
　1.4 歴史的背景
　1.5 本書の構成

第2章 人工ニューラルネットワーク
　2.1 背景
　2.2 人工ニューロンモデル
　2.3 活性化関数
　2.4 パーセプトロン
　2.5 ニューラルネットワークの構造
　2.6 順伝播型ニューラルネットワーク
　2.7 リカレントニューラルネットワーク
　2.8 まとめ

第3章 エコーステートネットワーク
　3.1 背景
　3.2 モデル
　3.3 リザバーの役割
　3.4 Echo State Property （ESP）
　3.5 モデル設計の指針
　3.6 学習アルゴリズム
　3.7 計算性能評価
　3.8 計算性能向上のヒント
　3.9 リザバーの性質
　3.10 発展的モデル
　3.11 まとめ

第4章 時系列パターン認識の基礎問題
　4.1 概要
　4.2 時間的排他的論理和（XOR）タスク
　4.3 時間的パリティタスク
　4.4 非線形チャネル等化
　4.5 波形分類
　4.6 正弦波生成
　4.7 非線形時系列予測（バッチ学習）
　4.8 非線形時系列予測（オンライン学習）
　4.9 カオス時系列予測
　4.10 まとめ

第5章 時系列パターン認識の応用問題
　5.1 応用分野
　5.2 時系列データの前処理
　5.3 発話数字認識
　5.4 心電図の異常検知
　5.5 太陽黒点データ予測
　5.6 まとめ

第 6 章 リキッドステートマシン
　6.1 背景
　6.2 概念
　6.3 フィルタ近似能力
　6.4 モデル実装
　6.5 スパイク列パターン認識
　6.6 まとめ

第 7 章 物理リザバーコンピューティング
　7.1 概要
　7.2 実装に向けた二つのアプローチ
　7.3 物理リザバーの分類
　7.4 物理リザバーの具体例
　7.5 まとめ

第8章 物理リザバーコンピューティングの要素技術
　8.1 信号処理の流れ
　8.2 要素技術
　8.3 まとめ

第 9 章 将来展望
　9.1 大雑把で高速な判断
　9.2 作り込まない脳型計算ハードウェア
　9.3 産業応用に向けて
　9.4 自然計算や脳科学とのつながり
　9.5 まとめ

付録
　A.1 RLS 法に基づくオンライン学習則の導出
　A.2 遅延フィードバック型リザバーの具体例
　A.3 エクストリームラーニングマシン
　A.4 Python サンプルコード

参考文献

索引