181：「自然」な出来事としてディスプレイで起こるポインタの「磁性」
前回の記事では，J・J・ギブソンの生態心理学から影響を受けた渡邊が書いた「手と環境（＝対象）を同時にデザインする」というテキストからiPadOSの「適応精度」を考えた．今回はその続きを考えてみたい．
「手と環境（＝対象）を同時にデザインする」とするときの「環境（＝対象）」とは，パソコンのインターフェイスにおいては画面全体であり，そこに配置されたオブジェクトであり，「手」が「カーソル／ポインタ」であった．スマートフォンにおいては，画面全体が「手」となって，ヒトの手による行為と自在に連動するようになった．そして，iPadOSでは，再度，カーソル／ポインタが画面に導入されることで，環境（＝対象）は画面全体になるのだが，それは手と自在に連動するオブジェクトにもなっている．iPadOSでは，画面に表示される映像自体が，これもまた映像のカーソル／ポインタと自在に連動するようになっているのを前提にして，「手と環境（＝対象）を同時にデザイン」されていると考えてみたい．そのデザインの帰結の一つが「適応精度」という概念と実装だった．
「手と環境（＝対象）を同時にデザインする」を「カーソル／ポインタと映像が示すオブジェクト全体を同時にデザインする」と言い換えたときに，何が必要となってくるだろうか．それは，「カーソル／ポインタと個々のオブジェクトとの連動」になってくるだろう．状況に合わせて，カーソル／ポインタと個々のオブジェクトにアニメーションを付与することによって，ユーザの行為の意図を汲み取ったかのような動きを画面上に表示するのである．このときのデザインはカーソル／ポインタと個々のオブジェクトとをいかに連動させるのか，という思想が重要になってくるだろう．オブジェクトそのものデザイン，オブジェクトのレイアウトが重要ではなく，また連動の際のアニメーションも重要ではあるが，最も重要なのは静的な個々のデザイン，レイアウトと動的なアニメーションをいかに切り結んでいくのか，その思想にある．
ギブソンは「アフォーダンス」という概念で，ヒトが外界から情報をピックアップして，行為をし続けると考えた．アフォーダンスは光の不変項であって，それは行動とともに変化し続ける動的なものであった．しかし，インターフェイスデザインにおいては，オブジェクトのかたちやレイアウトといった静的なものとして扱われ，静的な対象を選択することが前提であったと言える．Fluid DesignやiPadOSのポインタの再設計において，アフォーダンスははじめて動的な要素としてインターフェイスデザインに取り入れられたと考えられる．Fluid Designでがヒトの行為とディスプレイ上の映像とを連動させた先で，ヒトと画面上のオブジェクトとの関係が動的に結びつけるということが一つの原則して提示されている．そして，奇妙なことだが，iPadOSのカーソル／ポインタでは画面上にすでにアフォーダンスがあるのではなく，行為とオブジェクトとが連動したときにはじめてアフォーダンスが生まれていると考えた方がいいようなことが起こっている．
ギブソンの思想を引き継ぐ，生態心理学者エドワード・S・リードはアフォーダンスは世界に実在するものではあるが，それは「資源」として存在していて，組み合わせによって，資源が「アフォーダンスになる」というアフォーダンスの資源解釈を提唱している．
あるアフォーダンスと切り結ぶ能力には，そのアフォーダンスによる自己の行為調整を可能にする情報の利用へと調律された知覚システムが必要とされる．興味深いことに，自己の移動をガイドするために酸素濃度を利用する微生物がいるけど，地球上の主要な動物門（節足動物門・脊椎動物門）にはそういう動物は発見されていない．そうした特定の調整活動を進化させる方向へと自然選択が作用した場合に，資源は──より正確に言えば，ある生息地に一般に見つかる諸資源の特別な組合せ──アフォーダンスになるのである．p. 36
インターフェイスデザインにおいても，コンピュータと長い時間を過ごしてきたヒトの知覚システムが画面上のオブジェクトに対して調律されてきたと考えてもいいだろう．コンピュータにおいても，情報処理の向上によって「行為調整を可能にする情報」を余裕を扱えるようになってきたと言える．その結果，アフォーダンスの資源となる映像のオブジェクトを特別に組み合わせられるようになり，ヒトの行為と映像のオブジェクトとのあいだに指差しによる選択というプリミティブな行為だけではなく，「適応精度」というかたちでインターフェイスのオブジェクトに抽象的なかたちでダイレクトに触れるという行為を可能にしている．ここまでは前回の記事で書いたことである．
iPadOSに実装された「磁性」というポインタの機能は行為を抽象化した結果として，従来のアフォーダンス概念では捉えられない行為を実現したものだと考えられる．「Design for the iPadOS pointer」で「磁性はインターフェイスをスキャンして目的のアイコンを検出します」と説明され，実際のデモで以下のように説明されている．
- 慣性で引き続き移動させる場合，指をトラックパッドから離した瞬間に，ポインティングシステムは，ポインタをどこに移動させるか計算します
- 目的のアイコンは無いので，その位置を中心に一定の半径まで円をスキャンします
- スワイプした範囲で一番近い目的を検出し，自動でポインタをそこへ移動させます
- 設定アイコンはポインタの方向で，投影位置に一番近いスナップ可能なエレメントなので，トラックパッドから指を離すと自動でポインタがそこに移動します
- 適切に調整されるようになっています
- 理想はポインタがユーザの意図をくみ取り，そのとおりに実行することです
iPadOSのポインタに付与された「磁性」という機能は，ヒトの行為を予測して行く．そのために，ヒトの行為にきっちりと連動して，情報を取得して，その先にある対象の位置情報との関係を計算していく．その結果として，ポインタはあたかも磁力を持つかのように，対象に吸着していく．
ポインタの「磁性」で起こっているのは，従来のアフォーダンス概念を超えることである．なぜなら，ヒトの知覚システムだけでなく，コンピュータの「知覚システム」も用いて，対象から能動的に「手」に対して働きかけが行われているからである．アフォーダンスがヒトの知覚システムにピックアップされて行為が遂行されるのではなく，ヒトとコンピュータとのあいだに存在する資源の組み合わせを予め計算して，アフォーダンスから生じる行為そのものを前もって，映像として具現化してしまうからである．
たとえば，石器の剥片の打ち割りを思い出してほしい．そこには，石核の縁の角度，潜在的な打点から淵までの距離，その打点との接触がもたらす剥片の大きさ，及びそれが打ち割られるのに必要な運動量とのあいだに，高次の不変な関係が存在していた．剥片の打ち割りという出来事に意味をもつまわりの表面の構造が探られ，発見され，その関係の連鎖に作り手が参入することに成功するとき，未来の状態が現在の状態変化に因果的に作用する，ひとつのシステムが生まれた．
ヒトはオブジェクトが示す関係の連鎖に入り込んだときに，行為の先に起こる状況を予測し，そこから現在の行為を制御することが可能となる．それは石器時代の石斧制作から現在に至るまで，ヒトとモノとの関係において，常に，ヒトの志向性とモノのアフォーダンスとが絡み合ったきたことを意味する．ヒトは環境に存在するオブジェクトと配置からアフォーダンスをピックアップし，ある志向性を構成するが，その志向性のもとでオブジェクトに対しての行為が行われ，その結果は常に予測されている．予測精度の誤差が少ないヒトがモノづくりや狩りの達人と言われてきたのである．しかし，iPadOSの「磁性」で予測するのは，ヒトではなくコンピュータになっている．ヒトのエージェントであるカーソル／ポインタはコンピュータによって予測され，動かされるのである．下手をすれば，ヒトはカーソル／ポインタを自らのエージェントとは感じなくなってしまうが，iPadOSのエンジニア，デザイナーはヒトの行為とディスプレイ上の映像との連動，つまり，カーソル／ポインタとオブジェクトとの関係をうまくつくりあげ，物理世界で磁力によってモノ同士を引きつけるような動的なシステムを構築し，それが「自然」な出来事としてディスプレイで起こるようにしたのである．
身体を情報システムとして設計する「身体情報学」を提唱する稲見昌彦は予測によって，ヒトは光の速さを超えたかのような体験ができるとしている．
ただ、情報伝達のスピードには限界があります。いくら5Gが普及しても、我々は光の速さを越えられません。そうでなくても、格闘ゲームの世界においてはよく、「地球は大きすぎる」「光は遅すぎる」といわれます。どういうことかと言えば、格闘ゲームのプレイヤーはおよそ60分の1秒単位で戦略を練っていますが、その間に、光は日本からインドネシアくらいまでしか到達できません。人の戦略に光が追いつかないのです。
では、どうやってこの時間差を解消するか。その一つの方法が予測です。人間の行動をAIに機械学習させ、ジャンプや歩行などの動作なら0・5秒先の動きを予測する研究があります。たとえば、そのような予測技術を使ってバーチャルなインタラクションを形成することで、光の速さを超えたかのような体験を構築できます。人の動きの支援についても、パワーアシストだけでなく、転ぶ前に動きを予測して手を差し伸べる、人にぶつかる前に注意を促すといった方法も考えられます。こうした予測機能がすでにうまく実用化されている例が、スマートフォンやパソコンの予測変換や予測入力です。いまのところテキストベースですが、やがて画像や動画、音声、触覚的なものにまで応用されていくでしょう。
「光を超える」という部分を，対象とヒトとのあいだを光の不変項を情報をピックアップし行為をなすのではなく，対象とヒトのあいだの光の不変項が保持する情報そのものを予め処理して，そこで起こるはずの行為を予測し，その行為を映像との連動において具現化すると考えてみるとどうだろうか．いや，ヒトとコンピュータとのあいだで変化し続ける不変項自体を予測し，その不変項に基づいた行為をヒトの行為とディスプレイ上の映像との連動で具現化していると考えた方がいいだろう．ヒトの行為とディスプレイ上の映像とを結びつけたカーソル／ポインタはヒトだけなくコンピュータのエージェントなって，物理的つながりとは異なるかたちで独自の世界が構築されていく起点となっているのである．