[UI] Brave NUI World
Natural user interfaceとは
マウスのような専用の装置を操作しなくても、人間が日常的に行っている動作の延長でコンピュータへの指示を与えられることを目指している。
カメラやセンサーで手指や体全体の動きを検知し、操作に反映させる「ジェスチャー認識」、スマートスピーカーや音声アシスタントなど声で指示を与える「音声ユーザーインターフェース」（VUI：Voice User Interface）もNUIの一種に分類される。
著者について
ダニエル・ウィグドール (Daniel Wigdor)
Microsoftにおいて、Surface製品のユーザーエクスペリエンスアーキテクトや、ナチュラルユーザーインターフェイスの専門家として活動。トロント大学コンピューターサイエンス助教授。
デニス・ウィクソン (Dennis Wixon)
Microsoft US BPDの分野リーダーであり、Microsoft Surfaceの研究責任者。
MicrosoftSurfaceを開発したチームによって執筆された。
タッチおよびジェスチャーベースのユーザーインターフェースをデザインするための実践書。( NUIについて書かれた書籍は割と少ない )
2010年出版 (包括的なNUIの書籍としては唯一なのではないでしょうか)
これまでのUI変遷
最初期の
プラグボード
パンチカード からはじまり
CLI （コマンドラインインターフェース）
GUI（グラフィカルユーザーインターフェース）
NUI (ナチュラルユーザーインターフェース)
と変遷を遂げてきました。
興味深いのはGUI以降はインターフェースを呼称する単語の中にはっきりと、Userという単語が使われている点です。
コンピューティングの歴史は生物の進化原則と近い
従来の考え⽅では、コンピューティングの進化は「⼀⽅向」と考えられがちです。
つまり新しい「世代」ごとに、前の世代のコンピューティングは絶滅した種のように⼀掃されると考えられています。
この観点を ハードウェアプラットフォームに当てはめると、
メインフレーム < ミニコンピュータ < パーソナルコンピュータ < スマホ
といったような進化を遂げた後継だけが生き残る、といった対立構造が想起されがちなのですが、
実際にはより⼩型でパーソナルなコンピュータが普及しても、メインフレームは消え去ることはありませんでした。むしろ、メインフレームは、⼤規模な定型業務を処理するという領域で存在し続け、その規模は、 ⻑年にわたって驚くほど安定しています。
この原理はUIにも広く適用可能であることが述べられています。
コンピューティングにおいて新たなニッチを作り出し、従来のインターフェースを置き換えるのではなく、拡大していく存在です。
NUIは、ユーザーとマシンの対話コストを削減し、NUIとGUIはそれぞれの強みを活かして共存し、特定の環境に適応したハイブリッドなシステムも登場するでしょう。
NUIの基本は「タッチ」と「ジェスチャ」
設計されたそのインターフェースがあたかも身体の一部に馴染んで、無理なくかつ自然な動作の一部になっているのか？ということを「ピッチャーの所作」を例に説かれています。
初期のNUI
MessagePad(1989)
NUIの基礎となるジェスチャを模索しApple からリリースされた初期のPad
Appleの手書き認識の開発から始まった
Newton OSは、手書き認識のトレーニングを提供したり、スケッチをベクターシェイプに変換する機能を備えているが、どちらも信頼性に欠け、書き直しや描き直しが多発。
Newtonデバイス失敗の主因となったが、可能性と期待を実現する、次世代の手書きソフトウェア開発に役立っている
その後続として発売されたのが Palm Pilot(1997)
MessagePadで見られたような手書き認識機能は大幅に改善され、人気を博した
NUIが登場し出したインターネット黎明期当時、シリコンバレーで「最も重要な失敗をした企業」と言われる伝説の米General Magic社のドキュメンタリー。当時の空気感がひしひしと伝わってきます。
NUIの大原則
⽬標は、まったくの初⼼者でも最初から滑らかな操作を実現し、ユーザーがエキスパートになってもこの感覚を維持することです。
上記のように説かれています。
その一方で初めはある程度の修練が伴うが、次第にそれが身体化するようなUI事例はあるのだろうか？
先述の「ピッチャーの所作」は、習得に伴う困難さが競技へのさらなる誘導につながっている。
既存の文脈で考えると「ゲーム」における「敷居の下げ方」と「競技性」が近しいようには思う。
例えば先述したPalm Pilotはオリジナルの手書認識ジェスチャ一を採用していました。
これは、ある種の「ゲーム性」と「操作における快適性」を両立しているようにも感じますし、iPhoneにおけるフリック操作にみられるような共通項も感じます。
NUI設計のコツ
基本的なインタラクションから始めること
基本的なインタラクションとは
最も頻繁に行われるインタラクション
2 つ⽬は最初に実行される可能性が最も高いインタラクション
3 つ⽬はより高度なアクションの構成要素として役立つインタラクション
NUI システムの開発はゲームの作成に似ています。
ただし、ゲーム インターフェイスほとんどは、ゲームの⼀部として課題を提供するという点で NUI とは異なります。対照的に、NUI は熟練した練習への道筋のみを提供します。
GUI の発明者は使いやすいシステムやインタラクションが「楽しい」システムを作成するとは考えていませんでした。むしろ、人間の能⼒を「拡張」する方法でした。
だが結果的にユーザーを「楽しさ」を与える結果につながった。
↓
インタラクションは基本楽しいもので、徐々に新しい課題を導入する必要がある。NUIのデザインガイドライン
熟練したユーザーにとって、⾃分の⽣活(身体ともいえるのではないか)の延⻑のように感じられる
初⼼者にとっても、上級者にとっても⾃然に感じられる体験
メディアに忠実な体験を創造します。現実世界やその他のものを模倣することから始めないでください。
ユーザーがすでに熟練している他の経験を模倣したインターフェースを作成することは、ユーザーに⾃然な感覚を与える 1 つのテクニックですが、それが唯⼀の方法ではありません。
全体的に「答えを与えてくれるようで与えてくれない」もどかしさがある。。キーボードとポインティングデバイスは、オフィスワークにおいて依然として効果的。
NUIは特にゲームやエンターテインメント分野での利用が見込まれている。
NUIとGUIは、特定の用途に最適化されたハイブリッドシステムを形成することが多い。
NUIは、使われる環境に応じて水平や垂直などの形で進化する。
垂直方向の画面は⽔平方向画面のようにで継続的かつ集中的に使⽤されることは期待できません
上記は縦型ポータブルデバイスの普及によるアフォーダンスも関係しているように感じる。NUIは、ユーザーが新しいインターフェースを使いこなすための労力を軽減する。
NUIは、環境によってその使われ方が大きく異なる可能性がある。
ハードウェアやインタラクションの進化は、常にニッチ(隙間)で繁栄してきた。
ユーザーのタッチに反応するアイテムは、全方向で少なくとも 15 mm のサイズが必要であり、最小サイズのタッチ ターゲット間の距離は少なくとも 5 mm 必要です。
物理的な単位系(メートル法)を用いているのが興味深い。
意外と開発側でこの感覚は共有されていないのではないか？とも感じた。NUI作成時に直面する主な3つの課題
NUIが適している状況の特徴とは？
ユーザーがサービスを使う状況下で、習熟感と楽しさを素早く覚えるためには？
ある特定の状況(サービスの有無に関わらず)において、素早く使えるアクションとはどのようなものか？
たとえば、⾞の運転という状況では、⾳声でコマンドを出すインターフェースの⽅が「⾃然」。かたや運転中に⼊⼒するのは⾃然ではないという見方もある。
一方で運転中にラジオを聞いたり、乗客と話したりすることは自然である。
日常の行為の事象と接続させることでインターフェースのとっかかりが見えてくる。
NUIたらしめる要素の定義
たのしい
塾達した操作につながる可能性がある (iPhoneのフリップ入力など)
文脈に適切
アフォーダンス
NUIは「アフォーダンス」の視点を持つことがカギになる
アフォーダンス：
ある状況下における「環境」と「コンテキスト」から引き出される特性
目の前にひもがぶら下がっていたら、思わず、それを引っ張ってみたくなる──人間には、ものとの関係の中で自然に出てくる行動があるようです。
簡単に⾔えば、ユーザーはトレーニングなしで「正しいことを行う」可能性が高まる
この環境でどのようなアクションが引き出されるのか？を考えることから始める
インターフェースのコントロール要素は、必要でない場合は表示しない
現実とのシームレスな接続
例えば既存UIでよく見られるラジオボタンは、ラジオ受信機のチューニングボタンが由来です。ラジオでチャンネルを選ぶ際、1つのチャンネルだけが選択される仕組みと同じです。
⾃然なインタラクションを作成するには、現実世界でインタラクションの基盤を作り、それを直感的な方法で拡張します。
上記の観点は、ユーザーにどの程度伝わっているのか？ということは気になるところ。さらには
ユーザーは、オブジェクト、コンテンツ、その他の要素を遠くからでもはっきりと⾒て認識できます。
ユーザーがそれらをより近い距離から⾒ると
追加情報
微妙なテクスチャ
反射光のヒントなど
より詳細な情報が表示されます。
ユーザーがインターフェイス要素を操作すると、サウンド、視覚的なフィードバック、動きを通じて、さらに細かいレベルの詳細が表示されます。
AppleVisionProでほぼ全てのことが実装されているように感じた。
(本書の執筆年は2010年。Appleもこの言説を参考にしたのだろうか)
さらに本書では上記の具体例もテキストで提示されている。
具体例）
- 指で弾くことで回転できる地球儀として表示されるオブジェクトを想像してください。
- 地球儀上の場所をタッチすると、拡⼤表示されます。
- タッチするたびにさらに拡⼤し、タッチした興味のあるポイントが表示され、パーソナライズされた旅程を作成できます。
- オブジェクトは、旅程を作成できる回転する地球儀ではありませんが、仮想オブジェクトが現実世界にあるものと対応していると心的距離感が縮まります。
* 質量、加速度、摩擦、粘性、重⼒などの概念を使用して、遷移において現実世界を模倣します。
* 明らかな不連続性があるインターフェイスや、オブジェクトやユーザー⾃⾝の動作とのつながりの感覚を断ち切るインターフェイスは、NUIとは言えません
タッチは本質的に物理的なため、テクノロジーと直接やり取りしたり、テクノロジーをコントロールしたりする感覚を⽣み出します。
遷移の間にある状態
上記のような遷移間の状態のインターフェースや操作を考えることが説かれており、その失敗例としてミダスタッチを引用している。
ミダス王は、触れたものが全て「金」になる力を手に入れる。しかし、食事をはじめ、あらゆることが不可能になった。
彼が必要としていたのは、物体を変形させるタッチと、単に触れるだけのタッチの2種類のタッチを持つ⽅法だった。
まとめ
身の回りにある既製品との「紐付け」や「見立て」
それらをアフォーダンスの方法論 や 昔話の一説と紐付けている
などが非常に印象的でした。書籍自体はやや難解な印象です。
A dream you dream alone is only a dream. A dream you dream together is reality.
「ひとりで見る夢はただの夢。一緒に見る夢は現実だ。」
Yoko Ono - オノ・ヨーコ
上記一説は「NUIの探究と実践」の様子を表す標語として書籍内で引用されていましたが、WYSIWYGに代表されるような
「コンピュータ」と「人間」
もしくは
「スマートフォン」と「ヘッドマウントディスプレイ」
のような対比が想起されるワードとして、とても的を得た言葉なのではないかと感じました。