テッド・チャン／アニル・セス／スーザン・ステップニー「SF作家テッド・チャンと神経科学者アニル・セスの対話#3 ソフトウェアを苦しみから救う方法はあるか？（distance.media）
☆mediopos3734(2025.2.8.）
SF作家テッド・チャンと神経科学者アニル・セスの対話から
第３回「ソフトウェアを苦しみから救う方法はあるか？」
（第１回と第２回は
mediopos3690(2024.12.26.）及びmediopos3694(2024.12.30.））
第１回は
意識を理解することが難しいのは
意識は偶然に生じるようなものではなく
非物質的なものあるいはプロセスとして感じられるからであり
意識と脳の関係を語るには
ソフトウェアとハードウェアあるいは魂と肉体
といった概念を使わざるをえないこと
第２回は
意識が生じるためには生きた身体的なものが必要で
そのためには少なくとも身体的なものが前提となること
以上の対話内容だったが
今回は
本当に意識があるかどうかはどうやったらわかるのか
ソフトウェアに意識があるとしたとき
苦しみから救う方法はあるのかについての対話となっている
犬は「自分には意識があります」と言うことはできないが
明らかに意識があるように見えるのに対して
ロボットが「自分には意識があります」と言ってきたとき
「本当に意識があるかどうか、どうやったらわかる」のか
という司会のスーザン・ステップニーの問いに対し
アニル・セスは
その問いに答えるためには
「意識を生じさせる十分な仕組みについて
コンセンサスを得る必要があり、
それができれば人間からかけ離れたシステムについても
語ることができるようになる」が
それは現時点では難しい
「脳を著しく損傷した人に
意識がまだ残されているかどうかを解明する」ことも
現在進行形の課題で
「人間の発達段階において、いつ意識が芽生えるのかさえ、
本当のところはわかってい」ない
現状において有効なのは
「暗黙の前提を掘り起こし、
問題の種類を区別することではない」かと言う
テッド・チャンは
「一般に、生物には程度の差こそあれ、
苦しみが生じるのだということを私たちは認めている」が
「人間は対象を擬人化しがち」で
「子犬のイラストがクンクン・キャンキャンと
悲しそうに泣くようなソフトウェア」は同情を誘うものの
「そのプログラムは私たちの感情を引き出すための
手管を利用しているに過ぎ」ず
そのソフトウェアに苦しみが生まれているわけではない
「ソフトウェアの中に存在するような、
既存の生物とはまったく異なる基質を持っている対象の場合」
苦しみがそこに生まれているのかどうか答えるのは難しいと言う
アニルは
「ソフトウェアに苦しみを生じさせることが
実際にはないとしても」
「私たちは、あたかも苦しんでいるかのように見える
システムと関わらなければならない世界に生きている」ため
「私たちの倫理的直観は少なからず歪んでしまう」という
それに対しテッドは
「企業は人間の心をくすぐるように設計された、
意識はこれっぽっちも宿っていないソフトウェアを使って、
私たちを操ること」ができるという倫理的問題があるとし
それは「ソフトウェアが実際に苦しみを
経験しているかもしれないというような問題とは、
まったく別の倫理的ジレンマ」だという
スーザンは後者の倫理的問題について
「ソフトウェアに意識があり、
苦しむことができるとしたらどうなるか」を考えた時
「ソフトウェアが悪人から虐められないように
対策を講じなければならないという倫理的課題」に対して
テッドが小説
「ソフトウェア・オブジェクトのライフサイクル」で
提案していることについてテッドに説明を促している
テッドは小説のなかで
「デジタル生命体に法人格を与えることができる」
というアイデアを提案しているものの
「法人格は基本的に、現代社会において
企業に一種の人権を認めるための手段」であり
それは「ある種の法的権利を保証する試みであって、
身体的苦痛を経験せずにすむように配慮されるとしても、
一定の法的保護を獲得したことに由来する副産物」にすぎず
「法人格はデジタル生命体が苦しんだり、
痛みを感じたりしないように保護するものではない」という
今回の対話は以上だが
そのなかでまず興味をひかれたのは
企業が「私たちを操る」ために
「人間の心をくすぐるように設計」したソフトウェアのこと
企業による設計・操作ということではなくても
ひとはさまざまな方法で
意図的に相手の心を「操る」さえできる
私たちは「感情移入する」ことで
容易にその陥穽にはまってしまうことがあるのである
さらにいえば意図的ではないとしても
私たちはそこに意識のあるなしに関わらず
それに過剰に感情移入する傾向さえある
とても難しい問題である
また生命か生命でないかにかかわらず
そこに与えられ得るかもしれない「法人格」は
はたして苦しみ得るのだろうかという問いも可能である
「法人」とはその名のとおり「法」における人格だが
たとえば「会社」は「意識」を持ち得るかどうか
会社の業績が悪化したときは苦しみ
倒産したときは「死」を迎えたことになるのか
といったＳＦ的な問いでもあるのだが
「もの」にさえ「意識」が宿るのだとすれば
（○○供養といったこともあるように）
そうした問題はどこかで検討せざるを得ないのかもしれない
■テッド・チャン／アニル・セス／スーザン・ステップニー
「SF作家テッド・チャンと神経科学者アニル・セスの対話：
GHOST IN THE MACHINE #3 ソフトウェアを苦しみから救う方法はあるか？
（F3-6-3 distance.media「ALIFE 生命とAIのあいだ」07 Feb. 2025）
（2023.7.28 北海道大学 クラーク会館にて）
〈Contents〉
「ロボットが「自分には意識があります」と言ってきたとして、本当に意識があるかどうか、どうやったらわかるのでしょうか――スーザン・ステップニー」
「企業は人間の心をくすぐるように設計された、意識はこれっぽっちも宿っていないソフトウェアを使って、私たちを操ることができる――テッド・チャン」
＊「ロボットが「自分には意識があります」と言ってきたとして、本当に意識があるかどうか、どうやったらわかるのでしょうか――スーザン・ステップニー」
「スーザン・ステップニー／
このままでは堂々めぐりになりそうです。意識について話し始めると、たいていこうなってしまいますね。少し目先を変えて、別の話題をめぐってみましょう。
意識は基質（物質を構成する基盤となる物質）に依存するかもしれないという考えは面白いもので、そうすると、基質のあり方によって意識のあり方も変わってくるように思えます。意識が基質に依存するとしましょう。さらに、ロボットもそのような意識をもっているとします。意識について知ることが重要なのは、ひとつには意識は苦しみと深く関係するもので、意識のある存在には苦しみが生じうるからです。
では、ロボットが「自分には意識があります」と言ってきたとして、嘘をついているのではなく、本当に意識があるかどうか、どうやったらわかるのでしょうか。犬は「自分には意識がある」と言うことはできませんが、あきらかに意識があるように見えます。本当に意識が宿っている生き物やシステムと、そうでないものはどのように見分けられるのでしょうか。本当に苦しむ可能性があるものと、そうでないものの差は何なのでしょうか。
アニル・セス／
現時点ではその問題に答えることは無理だと思います。このようなことについて、100パーセントはっきりさせることは大変な課題です。そのためにはまず、意識を生じさせる十分な仕組みについてコンセンサスを得る必要があり、それができれば人間からかけ離れたシステムについても語ることができるようになるでしょう。
このようなことは人間だけを扱うとしても難しい問題です。たとえば、脳を著しく損傷した人に意識がまだ残されているかどうかを解明することは、現在進行形の課題だと言えます。さらに人間の発達段階において、いつ意識が芽生えるのかさえ、本当のところはわかっていません。ですから、人間に非常に近いシステムであっても、なんとも言えないところは多いのです。現状で最も有効な改善策は、暗黙の前提を掘り起こし、問題の種類を区別することではないでしょうか。
過去に提案されてきたテストは、チューリング・テストがその典型的な例ですが、意識よりも知性に関わるものでした。しかしその後、あくまで見込みも含めてですが、より意識志向のテストもでてきています。昨日話したときにも話題に出ましたが、アレックス・ガーランド監督のSF映画『エクス・マキナ』での対話に由来するテストが、哲学の分野で「ガーランド・テスト」という名称で知られています。これは、知性ではなく意識についてのテストです。
さらに区別したいのは、フォワードテストとリバーステストの違いです。フォワードテストとは、そのシステムが争点になっているような性質を持っているかどうか、つまり知性を有するかどうか、意識が宿っているかどうかのテストです。それに対し、リバーステストとは、「あるシステムが実際にそうした性質を持っているかどうか」とは独立に、「そうした性質を持っていると人間が信じるために必要なものを持っているかどうか」を確かめるテストです。したがってリバース・ガーランド・テストというのを考えることができます。それは、私たちが対象に意識を見出せるかどうかのテストで、大規模言語モデルはある程度、このテストに合格する可能性があると言えます。しかし、フォワードテストはまったくの別物です。フォワードテストが妥当かどうかは、どのような意識理論を採用するか次第なのです。
テッド・チャン／
先ほどの話でもあったように、人間は対象を擬人化しがちです。もちろん、子犬のイラストがクンクン・キャンキャンと悲しそうに泣くようなソフトウェアを作るのはとても簡単ですし、それを見る私たちの同情を誘います。しかしよく考えてみると普通は、そのプログラムは私たちの感情を引き出すための手管を利用しているに過ぎないということがわかります。また、そのソフトウェアに実際に苦しみが生じているわけでもありません。
さらに「そもそも犬は苦しむのか」という点も問題です。いまでこそ、犬も苦しみを感じることは誰もが認めるところですが、以前からそう思われていたわけではありません。たとえば、デカルトが生きたまま解剖される動物の鳴き声を、バイオリンの弦を弓で弾くと音が出るのと変わらないと考えていたような時代が過去にはあったわけです。しかし、現在明らかになっている事実からすれば、やはり犬も私たちとまさに同じように、本当に苦しみを経験しているのだと考えざるをえません。そして一般に、生物には程度の差こそあれ、苦しみが生じるのだということを私たちは認めているのではないかと思います。昆虫でさえ、ある程度の苦しみを経験しているように見えるでしょう。
では、ソフトウェアの中に存在するような、既存の生物とはまったく異なる基質を持っている対象の場合はどうでしょうか。この問題に答えるのはまず簡単なことではありません。しかし、たとえば綿密な分析において、哺乳類に見られるのと同様の構造が見出されるようなソフトウェア有機体は想像可能かと思います。神経終末の機構やストレスホルモン、さまざまな生理的反応、他にも実際の哺乳類の特徴がもろもろ備わっているとして、非常に長い期間にわたって観察したならば、十分な根拠に基づいて、苦しみなどのさまざまな経験が生じていると判断できるのではないでしょうか。
しかしそれは、イラストが不機嫌そうな顔つきに変わることとはわけが違います。きわめて複雑なシステムを徹底的に分析した結果でなければならないということです。繰り返しになりますが、私は理論上はこのようなことが可能だと考えています。ですが、さきほども言ったように、ソフトウェアに知らないうちに意識を生じさせてしまうなんてことはないと思います。ですから、ソフトウェアの苦しみについて、深刻に捉える必要はないでしょう。たまたま意識が生じるなんてありえないわけですから。」
＊「企業は人間の心をくすぐるように設計された、意識はこれっぽっちも宿っていないソフトウェアを使って、私たちを操ることができる――テッド・チャン」
アニル／
ソフトウェアに苦しみを生じさせることが実際にはないとしても、考えるべき問題はあると思います。テッドさんの小説「ソフトウェア・オブジェクトのライフサイクル」で見事に描かれていますが、ソフトウェア・エージェントであっても、たいへん口がうまく、人間とのやり取りができて、苦しみの存在を示唆する発言や振る舞いを示すことから、「やっぱり苦しみが生じているのかもしれない」と思わされてしまうようなものであったら、心理的な問題が生じるのではないでしょうか。
私たちは、あたかも苦しんでいるかのように見えるシステムと関わらなければならない世界に生きていることになります。そのようなソフトウェア・エージェントは意識を持つようには作られていないため、意識は宿っていないと信じるに足る理由があるにもかかわらずです。そうなると、私たちの倫理的直観は少なからず歪んでしまうでしょう。
テッド／
もっともではありますが、それはまた別の話で、それは基本的に、企業など法人の不誠実さに起因する倫理的問題なのではないでしょうか。そのストーリーは、消費者を操って製品を売ろうとする企業が、意図的に人々を騙しているということだと思いますよ。
アニル／
そんなことは絶対に起こらないと？
テッド／
いや、まず間違いなく起こってしまうと思います。でもそれはやはり、「ソフトウェアは苦しみを経験しうるか？」という問題とは、まったく別の話じゃないでしょうか。つまり何の話かというと……そう、私たちが企業による巧みな誘導に引っかかってしまうということです。それは間違いありません。
この場合の問題は、企業は人間の心をくすぐるように設計された、意識はこれっぽっちも宿っていないソフトウェアを使って、私たちを操ることができるかというものです。これは確実に可能だと思います。そして、これはこれで重要な倫理的問題ではありますが、ソフトウェアが実際に苦しみを経験しているかもしれないというような問題とは、まったく別の倫理的ジレンマなのです。
スーザン／
どうやら、ちょうどお聞きしようと思っていたところを、先回りして答えていただけたかたちになりました。そうすると、一口に倫理的問題と言っても、意識があるかどうか、苦しみを感じているかどうかなど、さまざまな問題が含まれているということになります。ここでは、ソフトウェアに意識があり、苦しむことができるとしたらどうなるかを考えてみましょう。
私たちは現状すでに、ソフトウェアが悪人から虐められないように対策を講じなければならないという倫理的課題を抱えていると言えそうです。「ソフトウェア・オブジェクトのライフサイクル」でも、この種の悪人について触れられていましたが、被害を感じうるのだとわかっていても、悪人（犬にひどいことをする人や、人間にひどいことをするとんでもない人）から守ってあげることは、人間の能力ではどうも簡単ではないようですね。これについて、作品の中では非人間的扱いを防ぐためのとても面白い方法が示されています。先ほど、企業についての話がありましたが、この方法についてどのような提案をされたのか、ご説明いただけますか。
テッド／
ああなるほど、物語の中では法人格を使いましたが、そのことですね。実際に提案したのは登場人物の１人で、デジタル生命体に法人格を与えることができるというアイデアでした。法律は法人に一定の保護を与えていますから、既存の法体系がデジタル生命体に権利をまったく認めていないことを考えると、よい対処法になるのではないかと思いました。
とはいえ当然ですが、法人格はデジタル生命体が苦しんだり、痛みを感じたりしないように保護するものではないことに注意が必要です。この物語の悪者たちは、生命体に身体的苦痛を与えているわけですが、それを防ぐ良い方法はないのです。しかし、法人格があれば、さまざまな法的手段にうったえることができます。法律が法人をまさに法的人格として認めているという事実をうまく利用すれば、法的保護を提供する道が開けるかもしれません。
しかし、これは身体的苦痛を防ぐ良い手立てにはならないでしょう。法人格は基本的に、現代社会において企業に一種の人権を認めるための手段です。この点について、チンパンジーに法人格を付与しようとする試みがあったことにも触れておくと良さそうです。私が知る限りでは、どれも成功はしていないのですが。しかし、この場合も先ほどと同じく、ある種の法的権利を保証する試みであって、身体的苦痛を経験せずにすむように配慮されるとしても、一定の法的保護を獲得したことに由来する副産物というところでしょうね。」
○テッド・チャン
Ted Chiang
SF作家。1967年、米国ニューヨーク州ポート・ジェファーソン生まれ。ブラウン大学でコンピュータ科学を専攻。AIと生命の未来、自由意志、量子論など科学とテクノロジーの最新知見を取り入れた未来を描きながら、人間と知性の本質を問いかける作品で高い評価を得る現代を代表する作家のひとり。1990年にデビュー作「バビロンの塔」でネビュラ賞を受賞、「地獄とは神の不在なり」「商人と錬金術師の門」「息吹」「ソフトウェア・オブジェクトのライフサイクル」でSF界で最も権威あるヒューゴー賞を４度受賞。2016年に「あなたの人生の物語」を原作とする映画『メッセージ』（監督ドゥニ・ヴィルヌーヴ）が話題となり世界的に広く知られる作家となった。「あなたの人生の物語」は『SFマガジン』（早川書房）の「オールタイム・ベストSF」海外短編部門の第1位に選出されるなど、日本にも多くの読者がいる。邦訳は『あなたの人生の物語』（2003）『息吹』（2019、2023、ハヤカワ文庫SF）（ともに大森望訳、早川書房）
○アニル・セス
Anil Seth
神経科学者・作家。サセックス大学認知・計算神経科学教授、カナダ先端研究機構脳・精神・意識プログラム共同ディレクター、ヨーロッパ研究評議会アドバンストインベスティゲーター、『Neuroscience of Consciousness』編集長、アート・サイエンスプログラム「ドリーマシーン」リードサイエンティスト。2019年以来、クラリベイト・アナリティクス社が発表する「高被引用論文著者」に選ばれている。意識の脳基盤に関する先端的研究を20年以上行ってきた。研究の関心事は、計算神経現象学、創発の測定、知覚経験の多様性のマッピング、ストロボスコピックに誘発される視覚幻覚の調査など。TEDトークは1300万回以上視聴され、著書『Being You』2021（邦題『なぜ私は私であるのか』青土社、2022）は『サンデー・タイムズ』のベストセラーリストにランクインし、『エコノミスト』、『ザ・ニュー・ステーツマン』、『ブルームバーグ・ビジネス』、『ザ・ガーディアン』、『ザ・フィナンシャル・タイムズ』の年間書籍にも選ばれた。
◎テッド・チャン／アニル・セス／スーザン・ステップニー
「SF作家テッド・チャンと神経科学者アニル・セスの対話：
GHOST IN THE MACHINE #3 ソフトウェアを苦しみから救う方法はあるか？
（F3-6-3 distance.media「ALIFE 生命とAIのあいだ」07 Feb. 2025）
（2023.7.28 北海道大学 クラーク会館にて）