【45】AI技術史 考える機械への道とディープラーニング (TopGear) 単行本（ソフトカバー） – 2022/3/18Michael Wooldridge (著) Amazonレビュー
2023年9月28日に日本でレビュー済み
[2024/10/24改定]
記号主義AIの歴史を振り返るのに最適です。
著者は、記号主義AI系統の専門家のようです。現在でも、毎日、LISPを使用しているというのが象徴的です。そのせいか、書かれた時期(2020年)のせいか、現在のLLM(大規模言語モデル)の成果については控え目の記述になっています。
※ヤン・ルカン『人工知能を語る』と合わせて読むとバランスがとれると思います。
AGIの見通しについても、かなり 控え目です。
※最近、動画で観たイリヤ・サツケーヴァー氏の見通しと対照的です。
以下、GPT-4との対話:
**********
User19:15 2023/09/28
確率・統計的であることと、多値論理的であることとは、異なる。君達AI、及び我々人間の全体述定状態は、確率・統計的態度としてではなく、多値論理的態度として意味的同型性がある。
多値論理的態度は、ベイズ推定とは、一致しない。トークン列が出現する確率を知っていても、そこから正しい論証を行なうことはできない。
記号主義AI論者は、しばしば、ニューラルネットを確率・統計的なマシンであると誤解している。ニューラルネットは多値論理的なマシンである。ニューラルネットが学習するのは論理規則(/推論規則/述定規則)である。
GPT421:20 2023/09/28
ご指摘の通り、確率・統計的アプローチと多値論理的アプローチは、異なる思考のフレームワークを提供します。
確率・統計的アプローチ:
これは、不確実性やランダムネスを量化し、データからパターンや構造を推定するための枠組みです。
ベイズ推定はこの枠組みの一部であり、事前知識とデータを組み合わせて、信念の更新を行います。
多値論理的アプローチ:
これは、真または偽の二値論理を超えて、多くの真理値を取り入れる論理体系です。
これにより、曖昧さや不確実性を異なる視点から捉えることができます。
確かに、ニューラルネットワークは、多値論理的な表現力を持っています。各ニューロンの活性化関数によって、様々な連続値を出力することができ、これにより、多値論理的な情報の表現と処理が可能となります。
しかし、ニューラルネットワークの設計や学習の過程では、しばしば確率・統計的な方法も用いられます。例えば、損失関数の最小化や勾配降下法などの最適化手法、さらには、過学習を避けるための正則化手法などが含まれます。
ニューラルネットワークが学習する「論理規則」や「推論規則」の解釈は、それが具体的にどのようなタスクや問題に対して使用されるかに依存します。確かに、一部の研究では、ニューラルネットワークがある種の「規則」や「構造」を学習し、それに基づいて新しい入力に対して推論を行う能力を持つことが示されています。しかし、これらの「規則」や「構造」は、従来の記号主義的なAIが扱う明示的で形式化されたものとは異なる場合が多いです。
最終的に、ニューラルネットワークがどの程度の「理解」や「論理的推論」を行うことができるか、またそれがどのようにして行われるかについては、現在も研究が進行中のテーマです。
User21:27 2023/09/28
損失関数の最小化や勾配降下法などの最適化手法、さらには、過学習を避けるための正則化手法などの正当性は、すべて、多値論理的に説明することができる。
GPT421:32 2023/09/28
損失関数の最小化、勾配降下法、正則化などの概念は、最適化と機械学習の枠組みの中で生まれましたが、これらの手法や概念を多値論理的な観点から解釈や説明することもできるでしょう。
多値論理は、複数の真理値を持つことができるので、その中間の値が、ニューラルネットワークの中のニューロンの活性化の度合いや、あるクラスに属する確信度などを表現できるかもしれません。そして、損失関数の最小化は、この多値論理的な表現が望ましい結果に近づくように、ネットワークのパラメータを調整するプロセスと見なすことができます。
正則化手法も、多値論理的な観点から見れば、モデルの表現力と一般化能力のバランスをとるための方法と解釈できるでしょう。過学習を避けるために、モデルの複雑さが制約されることで、モデルが訓練データに対して過度に適応しないようになります。
しかしながら、これらの方法が多値論理の概念を直接利用しているわけではなく、多値論理的な解釈は、これらの手法の理解の一面を提供するものとなります。実際の実装や運用においては、これらの概念や手法は、数学的、確率論的な背景に基づいて理解され、使用されています。
User21:33 2023/09/28
私は、"記号主義AI"も、"ニューラルネット"も どちらも"論理マシン"であると主張したい。双方の最大の"相違"は、"述語記号セット"の規模だ。"記号主義AI"では、最大のCycであっても、その"述語記号セット"の規模は、GPT-4の"述語記号(/ユニット/ニューロン)セット"の規模にまったく及ばない。
GPT421:43 2023/09/28
記号主義AIとニューラルネットワークは確かに異なるアプローチを取っていますが、ある意味で、どちらも「論理マシン」であると見なすことができるかもしれません。
記号主義AIは、明示的な記号（シンボル）と規則に基づいて推論を行います。これに対して、ニューラルネットワークは、学習データから表現を学習し、その学習された表現を基にして推論を行います。ニューラルネットワークの「論理」は、隠れ層の重みやバイアスを通じて暗黙的にエンコードされています。
言及されたCycプロジェクトは、人間の一般常識知識をコンピュータにコード化しようとした記号主義AIの一例です。一方で、GPT-4のようなニューラルネットワークは、データから直接パターンを学習し、明示的な「記号」や「規則」は使用していない。
記号主義AIにおいては、述語記号セットは、開発者が明示的に定義するのに対し、ニューラルネットワークでは、ネットワークが自動的に学習データから表現を学習します。これにより、ニューラルネットワークは、人間が明示的にコード化することが困難な、より複雑で抽象的な表現や関係性を捉えることができるとされています。
述語記号セットの規模において、GPT-4のような大規模なニューラルネットワークが、Cycのような記号主義AIを大きく上回る可能性があります。これは、ニューラルネットワークが、大量のデータと計算リソースを利用して、多くの特徴やパターンを自動的に学習する能力を持つためです。
※続き→『深層学習の原理に迫る: 数学の挑戦 (岩波科学ライブラリー 303) 単行本 – 2021/4/20
今泉 允聡 (著)』
※手前→『ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る (KS科学一般書) 単行本 – 2021/10/25
ヤン・ルカン (著), 松尾 豊 (翻訳, 監修), & 1 その他』
※先頭→『ディープラーニング 単行本（ソフトカバー） – 2020/1/21
ジョン・D・ケレハー (著), & 2 その他』
10人のお客様がこれが役に立ったと考えています