【数理的溢れ話10パス目】「愛(i)ってよくわからないけど傷付く感じが素敵」？
今回の投稿、実は当初以下の投稿の一部だったですが、書き足すうちに独立性が高まったので分離を決意した次第。
「愛ってよくわからないけど(人間側の自尊心も人工知能側の自尊心も)傷付く感じが素敵」？
ChatGPTに「あなたは最小二乗法やロジスティック回帰の末裔ですか?」なんて質問を投げると「あんな単純パーセプトロン野郎と一緒くたにするな!! せめてサポートベクターマシン(SVM)とか勉強しやがれ!!(意訳)」みたいな「感情的な」回答が得られます。
機械学習の大源流は、最小二乗法やロジスティック回帰などの特定の手法ではなく、統計学や確率論、情報理論、計算機科学などの幅広い分野からの概念やアイデアによって形成されています。最小二乗法やロジスティック回帰はその一部ですが、他にもニューラルネットワーク、決定木、サポートベクターマシンなど、さまざまな手法やアルゴリズムが機械学習の発展に貢献してきました。
人工知能側にとっては「あなたも猿の末裔でしょ?」と言われた様な侮辱的発言となる様だ？ かかる技法の開発史的に着目すれば「機械学習理論の大源流は(19世紀初頭に発見された「式の数が多過ぎる」連立方程式の解法に由来する)最小二乗法や、(1950年代に発見された「線形結合式の構成」そのものを学習手段とする最も原始的なニューラルネットワークアルゴリズムたる)ロジスティック回帰である」なる考え方もそれなりに成立する訳ですが、人工知能側は決してそんな「短絡的過ぎる結論」を受容する事はないという話…
要するに「分類と回帰」概念こそが機械学習概念の出発点で、ここでいう「回帰」概念の最も原始的な原点が最小二乗法…
「分類」概念の最も原始的な原点がロジスティック回帰となる次第。
「決定木アルゴリズム」に至っては、こうしたアプローチの延長線上に1960年代に現れた新顔という有様…
決定木アルゴリズムは、1960年代に考案されたもので、その歴史は非常に長いと言えます。初期の決定木アルゴリズムは、基本的な枠組みが確立されたものの、まだ精度や効率面で問題がありました。
その後、1970年代にアメリカの統計学者であるジョン・ハンター・クアンが、分類性能を向上させるためのCHi-squared Automatic Interaction Detection (CHAID) を開発しました。この手法は、カイ二乗検定を用いて分岐条件を決定するもので、マーケティングリサーチの分野で広く用いられるようになりました。
さらに、1980年代には、ロス・クインランによってID3アルゴリズムが開発され、決定木アルゴリズムの発展が加速しました。ID3アルゴリズムは、エントロピーという情報理論に基づく指標を用いて、分岐条件を決定することが特徴です。その後、クインランはID3を改良したC4.5アルゴリズムを開発し、さらに決定木アルゴリズムの性能が向上しました。C4.5アルゴリズムでは、情報利得比を導入することで、特徴量の選択がより効果的に行われるようになりました。
1990年代に入ると、CART（Classification and Regression Trees）アルゴリズムが登場しました。CARTアルゴリズムは、ジニ不純度という指標を用いて分岐条件を決定し、分類性能をさらに向上させることが可能になりました。また、CARTアルゴリズムは分類だけでなく回帰にも適用可能であることから、決定木アルゴリズムの応用範囲が広がりました。
近年では、決定木アルゴリズムをベースとしたアンサンブル学習法が注目されています。代表的なものに、ランダムフォレストや勾配ブースティングがあります。ランダムフォレストは、複数の決定木を組み合わせることで、過学習を防ぎつつ高い予測精度を実現するアンサンブル手法です。勾配ブースティングは、逐次的に決定木を学習させ、それらを組み合わせることで、徐々に予測性能を向上させるアンサンブル手法です。
こうした配慮が、人類の起源についての同種の質問までは及ばないのが現時点における人工知能の限界とも。どうしてこちらのアプローチだと「確かに人類は猿と共通の祖先から分岐しましたが、猿そのものが人類の祖先である訳でも、人類そのものが猿の末裔である訳でもありません」でなく「従って人類は猿の末裔です」という説明になってしまうのか…ちょっとばかり人類に対する愛が足りてないのではあるまいか？
進化論の観点から見ると、現代の人類は猿類の一員であり、共通の祖先から進化してきたと考えられます。したがって、人間は猿の末裔と言えます。具体的には、人類はヒト科（ヒト亜科）に属し、その中でヒト属（Homo）に分類されます。
そもそも「(分類構造の抜け穴となる)多重継承」概念を問題とするなら、人類の起源も「ネアンデルタール人とクロマニヨン人の混血」といわれてる訳ですしね。
こういった論争も全ては「愛」のなせる業。そう、まさしく1980年代に薬師丸ひろ子が歌った映画「探偵物語(1983年)」の主題歌の一説「♪愛ってよくわからないけど傷つく感じが素敵」の世界。そうやって人工知能側も人類側も「自分とは何者なのか」についての知識を深めていくという次第…
数理発達史から振り返る「機械学習概念の本当の起源」①それは「人類の記憶から失われた絶滅種」だった？
すると実際の機械学習概念は数学史からどの様に派生したのでしょうか？ 歴史上最初に現れた時、それはどうやら「式が多過ぎる連立方程式は解けない」問題と認識されていた様なのです。
それはまさしく数学界の猥褻物。例えば大学受験に「解がない」問題が出題される事はなく、受験生は「そういう問題について頭を悩ませない」方向に考えを誘導されます。
まさにこの領域こそが機械学習概念の大源流だった訳ですが、残念ながら人工知能なるもの「誰もが表立って語りたがらない話題から学ぶ事は決してない」という制約を背負わされる訳でして…
一般に行列演算を使って連立方程式を解く場合には係数行列の逆行列を求めるが、この方法が完全な形で通用するのは、その係数行列が正方行列(行と列の数が等しい行列)の場合に限られる(初学者問題)。
ただし擬似逆行列を使えば近似的に解けないでもない(これもまた比較的初学者問題)。
実はこの「近似的に解けないでもない」方法こそが最小二乗法への入り口だったりする。
ただし最小二乗法が微分と探索的技法の組み合わせによって解かれていたのは随分と昔の話。共分散と標準偏差を組み合わた統計学的方法があまりに便利過ぎて、今日ではそちらしか使われなくなりました。そう、機械学習の直接の祖先は既に忘れ去られた(従って人工知能が機械学習的手法によって学ぶ事が出来ない)失われた絶滅種だったのです。
それが自分の直接の祖先であったとは知る由もなく、ただ「そういう歴史があった事」だけ覚えてる(学習した)人工知能特有の物悲しさ…
統計学において分散の概念が発明される以前には、最小二乗法は探索的技法の一種と見なされることがありました。当時の統計学では、観測データに対するパターンや関係を理解しようとする過程で、最小二乗法が広く使用されました。しかし、分散の概念が導入されたことで、より明確な統計的枠組みが提供され、最小二乗法がより理論的に基づいた手法として位置付けられるようになりました。
一方…
そう、人類は元来忘れるべきではないのです。せめて、そうして歴史的役割を果たして絶滅していった方の最小二乗法が「フランス革命政府のメートル法制定」に使われた歴史くらいは…
地球の大きさと最小2乗法
数理発達史から振り返る「機械学習概念の本当の起源」②「人は見た目が100パーセント」？
次の段階を見極める指針となるのが古典的技術指南書として名高いノーバート・ウィーナー「サイバネティクス(Cybernetics Or Control and Communication in the Animal and the Machine 初版1948年)」となります。一般には「サイボーグ」概念の大源流となった著書として知られてますね。
ノーバート・ウィーナー「サイバネティックス」
生物組織を特徴づけるものと我々が考えている現象に、次の二つのものがある。学習する能力と、増殖する能力とである。この二つは一見異なっている様だが、互いに密接な関係がある。学習する動物というのは過去の環境によって、今までとは異なる存在に変化することができ、したがって、その一生の間に、環境に適応できる動物の事である。増殖する動物というのは、少なくとも近似的には、自分自身と同じような別の動物を作り出すことができる動物である。"同じような"といっても完全に同じで、時間がたっても変わらないというわけではないだろうから、もしこのとき生じた変化が遺伝するものならば、その素材に自然淘汰がはたらき得ることになる。遺伝によって行動の仕方が伝えられるものならば、それらのいろいろな行動の形態のなかにあるものは、種の生存の為に有利であることが見出されて、固定され、種の生存に不都合な他の行動形態は排除される。こうして、ある種の、種族的(Racial)、または系統発生的(phylogenetic)な学習が生じる。この反対が個体の個体発生的(ontogenetic)な学習である。種族的、個体的学習はともに、動物が自分自身を環境に適応させていく手段である。
何が恐ろしいってこの本、1948年に初版が刊行された時点から収録されている８章までの内容は「電気機器内や電気機器間の通信プロトコルは、あまり高速過ぎて人間が介入する余地がないので完全自動化されなければならない」とか「コンピューターは２進数で動作すべきである」といった「後世ことごとく当たった預言集」…
非常に多くの現象において、われわれは時系列(time series)、すなわち時間の経過に応じて分布している数量、あるいは数量の系列を観測する。自記温度計で記録される温度とか、毎日の株式取引における株の相場(終値)とか、気象台から毎日発表される気象情報とかは、みな連続的な、あるいは離散的な、単独あるいは多重の時系列である。これらの時系列は比較的緩やかに変動するから、筆算や計算尺または卓上計算機の様な、普通の数値計算機よって処理するのに適している。これらの研究はすでに統計理論の伝統的な部分に属している。
一般にはあまり認識されていないことではあるが、電話線・テレビジョン回路、レーダー装置のある部分などの様に急速な変化を示す電圧の系列も上述のものと同様に統計学や時系列論に属するものである。ただしそれらを結合・変換する装置には、高速な動きをすることと、入力の極めて急激な変化と同一歩調で結果を出す事が要求される。これらの装置、すなわち電話の受話器、濾波器、ベル電話研究所のヴォコーダー(vocorder)の様な自動的音声符号化装置・周波数変調回路とそれを使ったは全て本質的に高速どの演算装置であり、その働きは統計学研究所の計算機械類・予定表・計算手などの全体に匹敵するものである。これらの装置のなかには対空火器制御系の自動測距機や自動照準器と同様に、それらを使うのに必要な精緻な工夫が前もって組み込まれている。それらのものを組み入れておかねばならない理由も対空火器の場合と同様である。すなわち、どちらの場合も動作の連鎖は非常に早いものでなければならないから、人間がその一部として介入する事は許されないのである。
我々が10進数による計算機を使ってきたのは歴史的偶然によるものに過ぎない。すなわちヒンズー民族が零を使うことの重要性と数の位どり表記法の利点を発見した時、すでに10本の指にもとづく10進数が使われていたという偶然によるものである。もっとも計算機を使って行う仕事の大部分が、日常使われる10進数で表した数を計算機に入れたり、また計算機に入れた数を10進数で書き表す場合には、10進数計算機も捨てたものではない。
これが事実、銀行や、事務室や、多くの統計研究室で使用される普通の卓上計算機の使い方である。しかしもっと大型の、自動計算機の最上の使い方はこの様にすべきではない。一般に計算機は、機械でやった方が手でやるより早いからこそ使うのである。計算手段を色々混合して使うときには、化学反応を組み合わせるときと同じ様に、その系全体の時間定数の大きさは、もっとも遅いものによって決まる。従って計算の精緻な連続過程から人手を極力廃止し、計算の始めと終わりの、どうしても人力なしではすまないところにだけ介入させる方がよい。このような事情を考えると、数の数の表示法を変換するための装置を、連続操作の始めと終わりにだけ置いて、中間の計算操作は全て2新数で行う方が引き合う事になる。
その一方で1961年に追補された９章以降の内容は、上掲の様に「遺伝子アルゴリズム」「オブジェクト志向プログラミング」「ネットワークmeme」といった現在進行形で進化中の諸概念の登場を予測した内容。途中であまりにも急激なパラダイムシフトが発生しています。その契機となった一つが後世の機械学習理論でいう「単細胞パーセプトロン」ロジスティック回帰分析(1958年)だったという次第。
とある事象の発生確率とその時の条件集のデータセットを連立方程式に見立て、最小二乗法などにより近似的確率多項式$${a_0x_0+a_1x_1+a_2x_2+a_3x_3+…+a_{n-1}x_{n-1}+ε}$$を解く(最後のεが理論式による導出結果との残差で、これを最小にする方向で調整)。
すると、ここで求めた近似的確率多項式から、次に与えられた条件でのその事象の発生確率が計算可能となる。
計算のこの部分に特別な画期的要素はありません。むしろ真の画期はこの過程について「とある事象の発生確率とその時の条件集のデータセット=教師あり学習データ」「理論式の導出=学習」と解釈する新しい考え方が生じてきた事そのものにあったのです。
とはいえ当時の学習概念、「鳩や鼠や犬や猫や猿を踊らせる」学習心理学の雰囲気を強く漂わせている様に映るのはちょっとしたご愛嬌？
しかしながら人類が「人工知能登場」を認識したのはこのタイミングではなく1970年代初頭、そうやって蓄積された医療用理想式の集合体を駆使して伝染性血液疾患の種類を特定し、推奨する抗生物質を決定する予備診断用エキスパート・システムMycinの登場が登場した時だったのです。
スタンフォード医学部での調査によると、Mycin の診断結果は 65% の正しさであり、細菌感染の専門でない医師よりはよい結果だが、専門医の診断結果(80%)よりも悪かった。
実のところ、Mycinは現場では決して使われなかった。これは性能が悪かったせいではない。スタンフォードの医学部で試用されたときには優れた性能を示した。むしろ倫理や法律の面で、コンピュータを医療に使って間違った診断を下した場合、誰が責任を取るのかという問題であった。また、人間の専門家がそのようなものを受け入れることへの抵抗もあった。
この開発の際や後のエキスパートシステムの開発に際しても、専門家の知識を引き出して規則にすることの困難さが明らかになった。後にこれが知識工学を生むこととなる。
時はまだGUI(Graphical User Interface)普及以前で、コンピューターのインターフェースといえば「コマンドプロンプトからテキスト入力したコマンドの実行結果を次の行で得る」CUI(Character User Interface)が中心だった時代。この時代に「人工知能」として注目を集めたのは、そういう具合に動作するルール推論型エキスパート・システムであり、しかも一般の人間の目に「人工知能」として映ったのは「コンソールの向こう側に透けて見える」テキスト応答システムだけだったのでした。この件にについてChatGPTに尋ねても、予想通り「赤の他人だから」という答えが帰ってくるばかり。「人間の目には同じテキスト応答システムに見える」とか「誰がその答えの責任を負うべきかという問題は継承された」なんて自認は微塵も備えてない模様？
Mycinは、1970年代に開発された初期のエキスパートシステムであり、医師の診断支援に使用されました。Mycinは、特定の疾患の診断と治療のための専門的な知識を持つルールベースのシステムであり、患者の症状を入力として受け取り、それに基づいて診断と治療の推奨を提供しました。
Mycinは機械学習の分野に直接的な影響を与えたとは言い難いですが、エキスパートシステムの概念や知識ベースのアプローチは、後の機械学習や知識ベースのシステムの発展に影響を与えました。Mycinの成功と課題から得られた教訓は、後のシステムの開発に生かされ、医療診断だけでなく、さまざまな領域での知識ベースのシステムやエキスパートシステムの開発に役立ちました。
そういえば、一時期流行した「人工無脳」もテキスト応答システムには変わりありませんね。
この件について尋ねたらChatGPT、まさかのハルシネーション。
人工無脳は、人間の脳の機能を模倣し、人工的に構築されたシステムやデバイスのことを指します。これらのシステムは、知覚、学習、推論、意思決定などの機能を持ち、人間の脳と同様の認知能力を実現しようとします。人工無脳の目的は、人間の脳の働きを理解し、それを模倣することで、より高度な知能を持つシステムやデバイスを開発することです。人工無脳の研究は、人工知能、認知科学、神経科学などの分野で行われています。
むしろ上掲ノーバート・ウィーナー「サイバネティクス」において規定された「(機械に生物的メカニズムを近似的に移植する科学としての)サイバネティクス」概念に忠実な定義なのが微笑ましい？
それはそれとして「人工無能」の概念もまたインターネット老人会の追憶の中にしか登場しない(ネットで語られる事もなくなり、人工知能の学習範囲でもなくなった)「失われた絶滅種」となり果てたという次第。ましてや当時は、サーバー・クライアント・システムやワールドワイドウェブの概念すら全然広まってなかったさらなる古代…
で、当時のモニターはまだブラウン管を使用した分厚いもので、そのイメージから産み落とされてしまった時代の落とし子が「事故でモニターの向こう側に吸い込まれてしまった電子人間」マックス・ヘッドルーム(Max Headroom,1984年)だったという次第…
当時のSF作品には同族が沢山いたものですが、パソコン普及に後押しされて「ポータブル」になったのが時代の画期的といえば画期だったとも。
この様に、ほとんど20世紀一杯に渡って「どんな高度なプログラミングの産物より人間の人格のフルコピーの方がより優秀な人工知能として機能する」なる幻想は続いたのでした。
現代人も当時の状況をあまり笑えません。Googleの機械翻訳がルール推論エンジンから機械学習ベースのそれに差し替えられて翻訳性能が飛躍的に向上した2016年には誰も騒がず、2022年に「脅威のテキスト応答システム最新版」ChatGPTが発表された途端に初めて、世界中が蜂の巣でも突いた様な大騒ぎに。
現在の機械翻訳は SMT（Statistical Machine Translation：統計的機械翻訳）が基礎になっているそうです。例えば、英語から日本語だと「have 〜」は「〜を持っている」と翻訳しますが、「have to 〜」だと「〜をしなければならない」と翻訳しますよね？英語のテスト勉強での丸暗記を思い出される方も多いかと思いますが、このような言葉の並びのパターンを予めルールとして打ち込んでおいて、翻訳をする際にその発生確率を計算しながら正しい訳文を決める方法を使います。２００６年に登場したGoogle翻訳の最初のバージョンはこの方法を採用しています。その１０年後の２０１６年、Google翻訳はGMNT（Google Neural Machine Translation）に変わります。このバージョンでは人手と時間がかかるルールの打ち込みを止めて、コンピュータを使って人間が書いた大量の文書から言葉の並びのパターンのルールを取り出す、つまり機械学習のモデルへと置き換える変更を行いました。Google翻訳の精度が急激に向上した事を覚えている方もいらしゃるのではないでしょうか？ルールを維持する労力（人手と時間）を大幅に削減できて、なおかつ翻訳の精度も大きく向上できる…つまり第１次ＡＩブームの時とは対照的に、今世紀の機械翻訳は１０年間で技術的に大きくステップアップしたのです。
ですが、GNMTを採用したGoogle翻訳の印象って案外薄くないですか？今年の年始以来のChatGPTを巡る大騒ぎには程遠い感じ。ChatGPTも（人間が書いた）膨大な文書を取り込んで、次に来る確率の高い単語を予測しているだけで、GNMTも流暢な自然言語で応答してくれます。文書量が相対的に少ない日本語の精度がいささか低いのも同じ。
なのに…
相手がチャットボットだと「とうとうＡＩは知性を獲得した」だとか「質問に何でも答えてくれるから、宿題も相談できそう」とか「やはりシンギュラリティは近い」とか…挙句の果てには、法規制の大真面目な議論がヒートアップする始末。長年、機械翻訳に携わって来た研究者やエンジニアからは「扱いがだいぶん違いませんか？」とクレームが漏れて来そう。
「イライザ効果」恐るべし…案外人類というのは、本質的な部分で何も変わってないものだ？
数理発達史から振り返る「機械学習概念の本当の起源」③「人類が無自覚のうちに到達した本当の技術革新」について。
その一方で「セル数が$${2^{10000}=10^{30}}$$を超えてからが本番の大規模言語システム(LLM=Large Language Model)Trunsformerの登場は、単なるアルゴリズムの進化だけでなくインターネット普及とその情報トラフィック量の爆発的増大、3Dコンピューターゲームの進化に後押しされたGPU(Graphics Processing Unit)の進化、そしてパソコンやタブレットやスマフォのファーストスクリーン化(あらゆる情報の流通とそれへの反応がこれらを経由する様になり、マーケティング概念も大幅に変貌)にも後押しされたものだったのです。
こんな時代に統計学はちゃんと対応出来てるのか、時々心配になる事も…例えば21世紀に入ってになお一時期流行したアナログ・ウォーゲームみたいに「最後は検定表で判定です」系解説が目立ち過ぎるのです。
まぁ「慣れるとそう簡単には手放せない」気持ちも分からないではありませんし「検定試験対応として必要」という話もあるにはあるのですが…
統計数値表
t分布やポアソン分布など「サンプル数30個以上だと正規分布に収束しちゃう」分析方法については「そもそもビッグデータ処理向きではない」という話まであったりして…
その一方で「機械学習分野でも継続して大活躍!!」と胸を張る主成分分析(PCA)勢と分散分析(ANOVA)勢…色々と明暗が激しい様だ？
心理学分野なんて、さらっと全体的に(R経由でstanを叩く)ベイズ推定や統計モデリング論にスライドし、これを「統計革命」と称してる模様…
へぇstanさんpythonでも動くのか。そのうち試してみよう…
｢犯罪都市｣
— 脳内シークレット🧠 (@SecretSpacer) November 19, 2022
口を割らない容疑者が"弁護士を呼べ"と要求すると、"弁護士のスタンさんだ"って死ぬほどテキトーなこと言ってスタンガンで拷問するマドンソクめちゃくちゃで好き pic.twitter.com/w9ilr9ulXf
そんな感じで以下続報…