マッカーシー vs ワイゼンバウム
2023/1024: 誤りがあったので一部見え消しをしました
前回のジョン・マッカーシーの書評に続き、今回はジョゼフ・ワイゼンバウムの反論を取り上げます。先に投稿した「先生、ChatGPTは人間の仕事を奪うのですか？（３）」も参考にしてください。ワイゼンバウム自身の反論は DARPA 文書アーカイブに埋もれていた "Three Reviews of J. Weizenbaum's Computer Power and Human Reason." にこっそりと収められた４番目のメモランダムですので、おそらくアメリカでも全く知られていないのではないかと思います。
この幾つかのレビューが DARPA 文書アーカイブに収められた経緯は、エキスパートシステム研究で有名な Bruce G. Buchanan が１９９１年のミネソタ大学の Charles Babbage Institute のインタビューで少しだけ触れています。ワイゼンバウムの反論は、タイプライタで打ち込んだだけの文字どおりのメモランダムですので、ひょっとしたら下書きの可能性があります。現在では、国防総省のウェブサイトから簡単にダウンロードできますので、興味のある方は現物を是非確認してみてください。ちなみにヘッダーは "Three Reviews of J. Weizenbaum's Computer Power and Human Reason." のフロントページでして、このドキュメントが元々はマイクロフィッシュで記録されていたことがわかります。それでは…
史上初の「ＡＩ倫理」論争を追って（５）
ワイゼンバウムのメモランダムについては、第３回であらましを紹介しているので、いきなり本論に入ります。ワイゼンバウムは、このメモランダムでマッカーシーが書評の中で述べた６つの設問のうちの５つに返答しています。ここでは各々の設問毎に、マッカーシーの指摘を、その後にワイゼンバウムの反論を並べてみました。いずれも１９７０年代の発言なので、当時の時代背景などを捕捉します。
1. コンピュータは人間ほど強力に思考することはできない。
これは、コンピュータ科学者による楽観的すぎる予測の引用や、非言語的な人間のコミュニケーションの例を挙げることで裏付けられている。しかし、ワイゼンバウムは、コンピューターが実行できない具体的なタスクを挙げていない。それは「コンピューターが、今ここで、あるいは将来にわたって、何ができ、何ができないかについての目録を作るという、不必要で、際限がなく、究極的には不毛な作業を避けたいから」である。また、人間の推論と機械の推論は比べるべくもなく、人間の推論には人間の感覚的経験が不可欠であるとも述べている。
私は「......少なくとも原理的には、［コンピュータが］達成できる知性の程度に上限を設定する方法はを見いだせない」と書いた（p.210）その後、私はコンピュータの社会化、つまり、世界との経験からの知識の獲得が、人間の社会化と必然的に異なる必要があると主張した。そのため、コンピュータの知性は、ある種の人間の事柄に関して常に人間の知性とは異なるはずである。（p.213）私は決してコンピュータの「推論力」を制限してはいない。全体的には、根拠（reason）と権威（power）との独断的な結びつきに対して攻撃しているのである。この結びつきは時代精神の一部であるため、一途な技術愛好家たちは（コンピュータであろうとなかろうと）権威の問題に焦点を当てないで、根拠について議論するとは考えられないのである。マッカーシーが彼自身の関心事を無闇に私に投影し、それを私の「要点」として帰属させていることが、そのさらなる証拠である。
マッカーシーの設問に、ワイゼンバウムは「『コンピュータは思考できない』とは言ってない。『コンピュータの知性は人間の知性とは異なる』と言っている」と反論してます。その後、突如「根拠（reason）と権威（power）との独断的な結びつき」の話になります。時代精神（Zeitgeist）という哲学用語に僕は１９６０年代〜７０年代を感じますが、ここは、次の設問で登場する「新左翼」とのラベル貼りを執拗に繰り返すマッカーシーへのワイゼンバウムの反撃だと僕は解釈しました。
2. コンピューターのプログラムに実行させるべきではない仕事がある。
ワイゼンバウムがまったくすべきでないと考えている仕事もある。ほとんどは新左翼の理由からだ。彼の政治性には異論があるだろうし、私もそう思うが、明らかにコンピューターは、すべきでないことをすべきでない。しかし、ワイゼンバウムは動物の脳をコンピューターに接続することや、コンピューターによる精神医学的面接にも異議を唱えている。前者については、彼が反生体解剖主義者であるかどうかはわからなかったが、それを「不快」と呼ぶには、さらに理由があるようだ。コンピューターが精神医学的面接を行うことへの反対には、コンピューターが必ず悪いことをするという確信以上の要素もある。精神科医がセラピストとして、自分自身を治療者として行動する人間としてではなく、規則などに従う情報処理装置として見るとき、患者に対する精神科医のイメージはどのようなものになるのだろうか。これは、科学が復活したときに出てきた、人体を解剖することに対するルネサンス時代の宗教的反対意見に似ているような気がする。ローマ法王たちでさえ、科学的あるいは医学的な目的のために身体を機械とみなすことは、魂の神殿とみなすこととまったく両立するものだと、最終的には自分たちを納得させた。最近では、科学的あるいは精神医学的な目的のために精神的なメカニズムを研究することについても、同様の見解が示されている。
そう、それが純粋にこの本の主旨である。そして、マッカーシーの言う通り、どんな時も行われてはいけないタスクはコンピュータにも行わせてはいけないという点で正しく指摘している。マッカーシーと私は、特定の状況下で心理療法が実践されるべきだという点で意見が一致している。私は機械が行う心理療法に反対であり、マッカーシーには、もしそれが人々を「治療する」ためであれば、（「新左翼」の動機から生じるもの以外に）何らかの反対理由があるとは思えないとしている。前頭葉切除手術（ロボトミー）は、ある種の精神障害を「治す」ことがある。しかし、その患者にとって、そして私が付け加えたいのは外科医にとって、どのような代償が伴うのか？ということである。私は機械が行う心理療法が、人間文化にとって負担がかかりすぎると考えている。この信念に異論を唱えることはできるが、まずそれを理解し、考慮に入れる必要がある。
別のところで私は、ある個人が一人の人間として扱われない限り、その個人は人間性を否定されると述べている。多くの外科医が患者や一般的な人々をいかに非人道的に扱っているかを思い出せば、そのことが今回の議論と関連していることがわかるだろう。彼らは長年、患者を主に切ったり縫ったりする対象として見てきた結果、その患者をただのモノとしか見なくなっている。多くの外科医は、最終的にはすべての人を、とりわけ自分自身を、この狭い視野で見るようになる。似たようなことは他の職業にも当てはまる。もちろん、私たち全員が、多種多様な状況で接する人々に対して、臨床的な態度をとることは効果的だし必要である。外科医は、実際にメスを振るっている間、患者との間に心理的な距離を置くことができなければ、実際に生きた肉体の中に入っていくことはできない。しかし、自分の内なるどこかで、患者を一人の人間として認識していなければならない。さらに重要なことは、患者が自分自身を単なるモノとみなすことを強要されるような、あるいは単に勧められるような状況に決して陥ってはならないということである。私が恐れているのは、コンピューターによる心理療法が、その対象となる患者に、このような自己イメージを必然的に植えつけてしまうことである。基本的に、これが私の「それに対する」反対意見なのである。このようなシステムが「治療」という言葉の合理的な意味において、つまりその言葉の広範囲な解釈において、どのように人々を「治療」できるとは私には思えない。
新左翼（New Left）とは１９６０年代に世界的に盛り上がった左翼運動で、日本の場合は１９７０年の日米安全保障条約の更新に向けての反対運動、アメリカではベトナム戦争への反対運動が知られてます。マッカーシーの設問はワイゼンバウムの著作をこういった左翼運動と同一視するラベル貼りを意図があったと思います。対するここでのワイゼンバウムの反論は、外科医の事例を挙げてますが、これは第２次世界大戦中にナチス・ドイツが行ったユダヤ人絶滅計画の徹底した科学的アプローチが連想されます。ワイゼンバウムの著作が出版された１９７６年の段階で、事実がどの程度明るみに出ていたかはわかりませんが、それまで秘密にされてきた第２次世界大戦中の出来事、例えばイギリスの諜報機関が行ったエニグマの暗号解読の作戦ウルトラが暴露され、アラン・チューリングの業績が噂されるようになったのは１９７０年代でした。ここでのワイゼンバウムの反論にはそういった第２次世界大戦後も隠されていた事実を示唆する意図があったのかもしれません。
3. 科学は人々を世界と生命に対する間違った見方に導いた。
その見方は機械論的であり、時計仕掛けの例が挙げられている。（コンピュータ科学者がこのような例を挙げるのは奇妙に思えるが、旧来の機械論的モデルに対するコンピュータ・モデルの進歩は、コンピュータには意思決定ができ、時計仕掛けには意思決定ができないということだからである）どうやら、生命システムを相互に作用する部分から構成されるものとして分析することは、分析せず全体として扱うことよりも悪いようだ。
科学が導く人生観に「正しい」も「間違っている」もない。マッカーシーがここで誤解しているのは、科学やその他のシステムや思想が、世界や人生に対する唯一の正当な視点として受け入れられるということは、世界や人生に対する貧しい見方に導くということだ。
１番目の設問と同様にこの設問でも、マッカーシーは彼自身の関心事であるを機械論的解釈をワイゼンバウムに投影し、帰属させているように見えますが、ワイゼンバウムの反論ではむしろ対立する考え方である生気論的主張しているように感じます。
4. 科学は、信頼できる一般的知識の唯一の、あるいは主要な情報源ではない。
しかし、彼は他の知識源を提案したり、科学的知見の限界を述べたりはしない、ある考えを「不快」であるとする以外は。
マッカーシーは、自分の子供たちが生物学的に自分の子供たちであるとか、また彼が自分の母親として知っている人が生物学的な親であるといった知識は、どの程度信頼性があるものと考えているのだろうか？科学は彼のこのような知識の源なのだろうか？マッカーシーが大人になってから取った本当に重要な行動のうち、科学的に検証された知識に基づいているのはどれくらいあっただろうか？古代人は信頼できる知識を持っていたのだろうか？それとも、私たちが信頼できる知識を持っていたのは、英国王立協会、あるいはスタンフォードのＡＩ研究所の設立以降だけなのだろうか？
この設問以降はマッカーシーの難癖の類に見えます。
ネタ切れなんでしょうか？😀
5. 特定の人々や機関が攻撃されている。
これには「国防」省（おっと）、Psychology Today、New York Times Data Bank、強迫的なコンピュータープログラマー、ケネス・コルビー、マービン・ミンスキー、ロジャー・シャンク、アレン・ニューウェル、ハーバート・サイモン、ジェイ・フォレスター、エドワード・フレドキン、バラス・スキナー、ウォレン・マッカロック（年をとるまで）、ラプラス、そしてライプニッツが含まれる。
私は「悪い」と呼ぶべき人々は非常に少ないと考えているが、ヒトラーやヒムラーがその例だ。マッカーシーがリストアップしている人たちの中には、間違っていることも多いし、特に素人向けに話したり書いたりするときには無責任な行動をとることもあると思う。この点については、ＡＩコミュニティの内でも広く意見が一致しているようだ。私は、挙げられた何人かの人々が表明している見解は危険だと思う。このような意見は抑圧されるのではなく、議論されるべきだ。私の本は、必要な議論に貢献するものだ。私の見解が間違っていると思う人もいるだろうし、おそらく危険だと思う人もいるかもしれない。もし彼らが私の見解を軽蔑以上の価値があると考えるのであれば、議論すべきだ。マッカーシーは私を「悪者」だと思っているのだろうか？私はそうは思わない。では彼が言及した人々を、私は「悪い」と信じなければならないのか？
私の見解では「国防省」は全体的に悪い。そして、この引用符は、世界中のほとんどの人々の目、特にオーウェルを読んだことのある多くの人々の目には、まったく適切なものであると思う。もし王様が服を着ていないなら、私たちは彼が服を着ていないと言うべきだ。
ここでマッカーシーが述べているのは、いずれもワイゼンバウムの著作で登場する組織や個人です（ラプラスとライプニッツを除く）。確かにワイゼンバウムも必ずしも肯定的に取り上げているとは限らないのですが、彼に対し「新左翼」との思い込みのあるマッカーシーには攻撃と映るようです。一方、ワイゼンバウムの反論では「ヒトラー」「ヒムラー」「国防省」といった名称が登場し、彼の執筆の目的がナチス・ドイツや冷戦期の米国防総省に対する疑念にあることが明らかにされます。もちろん「オーウェル」とは、ジョージ・オーウェルであることは言うまでもありません。
6. ある種の政治的、社会的見解が当然視されている。
米国のベトナム政策は「殺人的」であったという見方は（「合理性」とは対照的な）「論理性」に対する攻撃や、「遅効性の毒」としての科学に対する見方を支持するために使われている。「民衆の自家用車への渇望が培われ、ついには病みつきになったのかもしれない。」（p.30）は、心理学的、社会学的、政治学的、技術的な予想をワンフレーズで行っている。同様に、「その代わりに、真に安全な自動車、まともなテレビ、万人向けのまともな住宅、快適で、安全で、広く行き渡った大量輸送機関を持つことを選択することもできる」という言葉は、これらのものが何であるか、何が技術的に実現可能であるか、政策を変更した場合にどのような効果があるか、人々の嗜好を変えることを目的としたどのような活動が政府にとって許されるかについて、幅広い合意を前提としている。
この設問に対して、ワイゼンバウムは見解を述べていません。が、メモランダムの最後で次のように述べています。
最後に、マッカーシーは「哲学的・道徳的思考は、人間の信念を物理的世界ともっともらしく関連づける人間のモデルを発見したことがない」と断言する。しかし哲学的かつ道徳的な文献すべてを習得した者だけが、それを言う権威を持ち得るのだ。まさに神のような謙虚さである！ジョン・マッカーシーとジョセフ・ワイゼンバウムを隔てる距離は、まさに互いに投げかける挑戦によって計り知れるものだ。マッカーシーはワイゼンバウムに「科学以外に知識への道を示せ！」と挑発する。そしてワイゼンバウムは次のように反論する。「哲学的、道徳的思考を含まず、最終的にはそれに依存しないような、真正な人間モデルへの道があるのだろうか？」
道理で、私たちは互いに話が通じないわけだ。
いかがだったでしょうか？マッカーシーの書評は、１９７６年当時に刊行されていた雑誌 "Creative Computing" や ACM SIGART BulletinIssue 58 (June 1976) にも掲載されています。前回も少し触れましたが、既にＡＩ冬の時代に突入していたこの時期、この書評は１９７０年代に登場したロジャー・シャンクやテリー・ウィノグラードなどの若手ＡＩ研究者を研究成果をアピールする狙いもあったように思いますし、ワイゼンバウムの著作に対する書評と言いながら、その実、後半部分の彼らの研究成果に注目することが多かったのも事実です。それが、その後現在に至るまで、この書評がマッカーシーのウェブサイトで掲示され続けてきた理由だと僕自身は理解していました。つまりマッカーシーにはＡＩブームの沈静化への対策の狙いもあったのだと想像していました。確かにウィノグラッドの SHRDLU などは「積み木を積むロボットアーム」という素人目にもわかりやすいＡＩ研究で、ワイゼンバウムの ELIZA に代わる新時代のＡＩ研究の顔になる可能性を感じさせました。
しかし、２０１８年あたりにワイゼンバウムの反論のメモランダムを偶然見つけて以降、マッカーシーの書評の前半、つまりこの記事で紹介したワイゼンバウムの著書を直接批判している部分に対する僕の見方は大きく変わりました。もちろんマッカーシーが紹介した個々のＡＩ研究には疑念はそれほど持っていないのですが、今日第１次ＡＩブームとして知られるムーブメントは、国防総省からの研究資金を背景に、マッカーシーとおそらくマービン・ミンスキーが企図した話題先行型の作られたブームだったのではないか？という疑念です。実際、ワイゼンバウムの反論は他では全く見つけられません。ワイゼンバウムは「書いてはみたもののを、雑誌等に掲載して公の場で泥試合をすることを避けた」のだと僕は想像していますが、それでもマッカーシーとミンスキーが仕掛けた作為的なブームについて、ワイゼンバウムはある種の危うさを感じていたのではないかと推測しました。
結局、ワイゼンバウムの著作の執筆を決心した動機、つまり「ELIZAの成功で得た研究者としての名声を捨てること、さらに周囲の仲間から裏切りを囁かれる立場に追い込まれることも十分理解していたにも関わらず、敢えて筆を取った強力な動機は一体なんだったのか？」という疑問に答える僕自身を納得させる理由を見いだせないまま数年を費やすことになりました。
「その答えは突然降ってきた」と言って良いでしょう
２０２２年２月のロシアのウクライナ侵攻以来、ウクライナの現状を伝えるドキュメンタリー番組が多数放送されるようになりましたが、特にＮＨＫのウクライナ人ディレクターのノヴィツカ・カテリーナさんの番組がインスピレーションを与えてくれました。彼女の番組には彼女の家族や友人が登場しましたが、それを見た時、突差にワイゼンバウムの回顧録の「アメリカへの移住（EMIGRATION TO THE USA）」を思い出しました。ワイゼンバウムとその家族はホローコストが本格化する前にドイツを離れましたが、移住直前まで通っていたユダヤ系少年学校の仲間のこの先の身の上を心配したことが書かれています。
In that moment I was suddenly conscious that they might not be there to receive any oranges.
その時、突然、彼らがオレンジを受け取ることはできないかもしれないということに気づきました。
この文章の本当の意味を僕はようやく理解したのです。以降、現在のウクライナの方々の苦境を投影することで、ワイゼンバウムの回顧録の本当の意味を読み解くようになりました。
それから…
Twitter で時折ナザレンコ・アンドリーの呟きを目にすることがあります。
彼の発言は時に過激でその全てを支持できる訳ではないのですが、彼にはその怒りにも似た使命感を僕は理解しますし、深く同情するのです。おそらくワイゼンバウムを執筆に駆り立て動機も同じような怒りにも似た使命感だったのではないかと僕は考えています。
この１９３６年のベルリンと１９７６年のボストン・ケンブリッジ、
それから２０２３年のウクライナという時空を超えた突飛な発想こそを人間の創造力の賜物だと言わせてください。これを僕が文章にしなければきっと生成系ＡＩは知識として覚えてはくれないでしょう。今、僕はマッカーシーが捻り出した "COMPUTER CANNOT BE MADE TO RESION AS POWERFULLY AS HUMANS" の設問へのワイゼンバウムの答え "a computer's socialization, that is, its aquisition of knowledge from its experience with the world, must necessarily be different from the socialization of human beings. computer's intelligence must therefore be always alien to human intelligence with respect to a certain range of human affairs." を噛みしめてます。（つづく）
#10月これやる宣言
#ジョン・マッカーシー
#ジョゼフ・ワイゼンバウム
#MIT
#AI倫理
#ウクライナ
#ノヴィツカ・カテリーナ
#ナザレンコ・アンドリー