AI for User Experience | Design Week Summer 2024 #3
こんにちは！anemoの小林です。
#3では、機械学習とAI (Apple Intelligence / Artificial Intelligence)のユーザー体験やUIデザインについてLightning Notesを書いてみました。
#2の内容はこちらです。
Apple Intelligence
Apple Intelligenceは、iPhone、iPad、Macで使える生成モデルによるパーソナルインテリジェンスシステムのことです。iOSやmacOSに直接組み込まれているので、いろんなアプリを通して使うことができるのではとワクワクしています。
Apple Intelligenceは、4つの主な機能があります。
Writing Tools: 文章の書き直し、校正、要約に使えるツール
Image Playground: 楽しく遊び心のある画像を作れるツール
Genmoji: 新しい絵文字を作れる機能
Siri: よりパーソナルで自然なアシスタント
それぞれの機能でどんなことができるのか、実際に使えるようになるときをユーザーとして楽しみにしてます。ここではWWDC24のKeynoteやPlatform State of the Unionなどを見て、デザイナーとして良いと思ったところを書いていきたいと思います！
Writing Tools - コピペと同じ感覚で使えるツール
Writing Toolsは、文章の書き直し、校正、要約ができるツールです。Writing ToolsはOSに組み込まれているので、よく使っているPagesやメモなどの様々なアプリで右クリックから呼び出すことができます。コピーやペーストなどの他のテキストの操作と同じように簡単に書き直しや要約をすることができるので、体験として良いなと感じました。また、校正や要約、スタイルの変換などの文章に関するタスクがあらかじめボタンとして用意されているので、簡単に使えるのも体験として良いと思います。
(追記)
7月30日にApple Intelligenceが搭載されているiOS 18.1やmacOS 15.1のDeveloper betaが公開されたので、早速MacBook Pro (13-inch, M1, 2020)にmacOS 15.1をインストールしてWriting Toolsを試してみました！
WWDC24で発表された内容通り、右クリックのメニューの1つにWriting Toolsがあり、要約やキーポイントの抽出など簡単にすることができました。Safariにもリーダーから要約機能を使えるので長い記事を要約してもらって要点を掴むという使い方もできます。
US英語しか使えないのですが、要約文をそのままmacOSの翻訳機能で日本語に直すこともできるので、別のアプリを使うことなく要約から翻訳までを行うことができます。
Image Playground - 調味料を入れるように作りたい画像を生成できる
Image Playgroundは、楽しく遊び心のある画像を作れるツールです。Image Playgroundも、Keynoteやメモ、メッセージなどの普段使っているアプリの中で使うことができます。画像を作るときに文章で作りたい画像を説明して生成することもできますが、「Adventure」「Summer」のようなエッセンスを提案してくれるので簡単に作りたい画像に近づけることができるのが体験として良いなと思いました。
Genmoji - ちゃんと”絵文字”として扱える
個人的に楽しみにしている機能が新しい絵文字を作れるGenmojiです。GenmojiはAppleプラットフォーム上ではリッチテキストとして扱われるので、他の文字や絵文字と同じように、メッセージアプリで他の人に共有することができます。
新しい絵文字を作るという仕組みは、Googleが出していたEmoji Kitchenが流行っていたので欲しい人はいるんだろうなと思いました。Emoji Kitchenは既存の組み合わせですが、Genmojiはまったく新しい絵文字を作ることができるみたいです。
絵文字っぽい画像を作ることは他の生成モデルを使ってもできるかもしれませんが、Genmojiはテキストとして扱えるところが良いなと思います。Unicodeの絵文字にないような食べ物や乗り物などを作れるのを楽しみにしてます。
（僕の好きなスイーツであるティラミスとかミルクレープとか作りたいですね…！）
Siri - 自分専用の秘書
Apple IntelligenceでSiriがよりパーソナルで自然なアシスタントへと進化しています。例えば、撮った写真を「Playing in the water on our family vacation to Puerto Vallarta, with a tropical vibe (家族旅行で行ったプエルトバジャルタで水遊びをしているとき写真)」みたいな自然な文章で検索できるようになるみたいです。また「母が乗っている飛行機は何時に着くの？」みたいな質問もユーザーのコンテキスト (WWDC24ではPersonal Contextと呼んでいました)を理解して答えてくれます。Siriがユーザーひとり一人の秘書のように振る舞ってくれるのは、Apple Intelligenceがプラットフォームに統合されているからなのかなと思います。
UIでいうと、Siriを起動したときに画面のふちがグラデーションで揺れるのが個人的に好きです。
僕が思う良い”AI”の体験
Apple Intelligenceも踏まえて、機械学習やAIの良い体験とは何かを考えてみます。
パーソナライズされている
自分がやりたいと思っていることや自分の状況 (コンテキスト)を必要以上に説明することない状態が理想の1つだと思います。例えば、Apple Intelligenceで進化したSiriはユーザーのコンテキストを理解しているように振る舞います。また、Writing Toolsは文章を書くという状況においてユーザーがやりたいと思うタスクを先回りして提示できています。このようなパーソナライズされているような感覚をUIで感じられるのが良い体験の1つだと思います。
無意識に使っている
WWDC24ではApple Intelligenceを大々的に発表していましたが、iPadOSの新機能の中には機械学習を使ったMath Notesという機能も発表されています。他にもAppleプラットフォーム内では、写真アプリのピープルやメモリー、Vision Proのジェスチャー認識、AirPodsのAdaptive Audio、Apple Watchの睡眠や手洗いなどの様々なところで機械学習が活用されている機能があります。
これらの機能は「AIを使うぞ！」と思って使っている機能ではなく、無意識に使っている機能だと思います。医療や金融などの厳密性が求められるような場所でない限りは、自然と使っていて「なんか便利だな」と感じるくらいがちょうどいいのかなと思います。
プライバシーに配慮されている
ChatGPTを使うときにみなさん気にしていると思いますが、どの情報は渡してもいいのかを気をつけながらAIを使うのは体験としてはあまり良くないと思います。学習に使われない、第三者がアクセスできないようになっていることが前提となっていることで、安心して使うことができます。
Apple Intelligenceは基本的にはオンデバイスで処理し、計算リソースが必要とする場合は暗号化されたPrivate Cloud Computeで処理されるような仕組みになっています。Private Cloud ComputeはiCloudと同様にAppleでさえも内容を見ることができないようになっているみたいです。こういった仕組みにしているところは、Appleの「プライバシーは基本的人権」というスタンスの表れだなと感じました。
まとめ
Apple Intelligenceで良いなと思ったところと僕が思う機械学習やAIの良い体験についてまとめてみました。コンテキストを理解し必要な情報を説明せずに使えること、自然に利用できて便利さを感じること、プライバシーに配慮されていることの3つが良いAIの体験には必要だと考えています。Apple Intelligenceはこれらの要素が含まれていると思うので、よりパーソナルで便利な体験を提供してくれるのではないのかなと期待しています。
日本で提供されるのがいつなのかは未定ですが、2024年の後半にUS英語で提供される予定で、8月時点ではWriting ToolsとよりパーソナルなSiriが使えるDeveloper betaが公開されています。Writing ToolsだけでなくImage PlaygroundなどのApple Intelligece全体でどんな体験ができるのか楽しみにしています。体験してみた感想も今後のLightning Notesでお届けできればと思います！