🧠ベクトルシンボリックAI、ディープラーニングの融合 量子脳との違い
Nature Communications』に掲載された論文「Robust High-dimensional Memory-augmented Neural Networks」では、ベクトルシンボリックアーキテクチャーをベースにした、ニューロシンボリックAIにつながる新しいアイデアを紹介しています。
ベクトルシンボリックアーキテクチャ（Vector Symbolic Architectures, VSA）は、ベクトルを使ってシンボリック情報を表現・操作するための計算モデルのことを指します。このアーキテクチャは、ベクトルの操作により、シンボリック情報の組み合わせや変換を行うことができます。VSAの代表的なものには、バインドベクトル（Binding Vector）やホログラフィックリダクション（Holographic Reduced Representations, HRR）などがあります。
ニューロシンボリックAIは、神経ネットワーク（ニューラルAI）とシンボリックAIを統合しようとするアプローチです。このアイディアの背後には、人間の認知が、シンボリックな推論とニューラルな計算の両方を組み合わせて行っているという考えがあります。ニューロシンボリックAIは、機械学習の柔軟性とシンボリックAIの論理的な推論能力を組み合わせることを目指しています。
VSAをベースにしたニューロシンボリックAIは、ベクトル表現を使用してシンボリック情報を表現し、これを神経ネットワークの中で処理することで、両方のアプローチの強みを統合しようとします。具体的には、シンボリックな情報をベクトルとしてエンコードし、これをニューラルネットワークで学習・処理することで、複雑な問題に対して柔軟かつ論理的な解を得ることができるとされています。
このアプローチは、100クラスの画像データを含む数ショットの画像分類タスクにおいて、クラスごとにわずか5つの学習例で実験的に検証されました。256,000個のノイジーなナノスケールの相変化メモリデバイスを用いているにもかかわらず、従来のソフトウェアによる高精度な実現と比較して、わずか2.7%の精度低下しか見られませんでした。
従来のニューラルネットワークは、複雑なマッピングを構築するために膨大な量のデータを必要とし、時間をかけて学習するため、再学習や新しいデータへの適応に支障をきたしていました。メモリオーグメンテッド・ニューラルネットワークは、ニューラルネットワークに明示的なメモリを持たせることで、これらの問題を解決します。
リカレントニューラルネットワークは、長時間にわたってデータを学習し、変換を行うことができるため、チューリング・コンプリート（Turing-Complete）と呼ばれてい ます。しかし、リカレントニューラルネットワークの本質的な記憶は、隠れた活性化のベクトルに格納されており、これが壊滅的な忘却につながる可能性があります。さらに、重みの数、つまり計算コストは、メモリサイズに応じて指数関数的に増大してゆきます。この限界を克服するために、近年、情報処理とメモリ保存を分離したいくつかのMANN（Memory-Augmented Neural Network）アーキテクチャが提案されています。
コンテンツ・アドレッサブル・メモリ（CAM）
MANNアーキテクチャに共通しているのは、リカレントまたはフィードフォワードのニューラルネットワークモデルであるコントローラと、それに続く明示的メモリとしての構造化されたメモリです。コントローラは、多くのアーキテクチャで連想メモリとも呼ばれるコンテンツ・アドレッサブル・メモリ（CAM）として実装されている明示的なメモリへの書き込みと読み出しを行うことができます
いいなと思ったら応援しよう！
