iOS 18の「Music Haptics」を試してみた？ え、知らない？ 今すぐ「ミュージックの触覚」の設定をONにしよう！
「Music Haptics」って、なにができるの？
『あなたの好きな音楽の"手触り"を、あなたの手のひらで楽しめるよ！』
というのが、触覚研究者の僕の感想です。
Apple公式としては、この機能を以下のような説明をしています。
Overview
Music Haptics is an accessibility feature that allows a person to indicate that they want to play haptic tracks along with known music tracks. This feature allows people who are deaf or hard of hearing to enjoy music through tactile feedback. A person can turn on this feature in Settings > Accessibility > Music Haptics. If you play music in your app, you can support haptic feedback for known songs.
This feature allows people who are deaf or hard of hearing to enjoy music through tactile feedback.
『聴覚障害のある人や難聴の人は触覚フィードバックを通じて音楽を楽しむことができます。』
とあるのですが、ただのiPhoneのアクセシビリティの機能だからといって、体験しないのは勿体ないなぁと思ったので僕の所感をnoteに書き綴ることにしました。
ちょっと試して「こんなものか」と思った、そこのあなた。
テキトーに選曲しませんでしたか？
Music Hapticsの楽しむポイントをまとめたので参考にしてみてくださいね。
このMusic Hapticsを楽しむポイントとして
・Apple Musicにある全部の曲ができるわけではない
・ビートのある曲が気持ちいいとは限らない
・あなたの好きな音楽を選ぶ（できれば空覚えしている曲がおすすめ）
・頭出しでズレることがあるので振動したら一度0秒まで戻すと良い
・ちょっと落ち着いた環境で体感するとなお良い
ということを頭に入れておきつつ
『あなたのとって心地いい音楽を見つけるガチャ』
として遊び感覚で音楽を聴いてみてください。
あくまでも誰かがデザインしたものではなく動的に生成されている触覚なので、もちろん惜しい触覚*も度々あります。
でも、まぁ これも一興ですね。
*もしも、あなたが触覚をデザインしたいと思う方であれば この違和感こそポイント です。私たちの意識がどこに向かっていて、触覚という感覚から、どういう情報を求めているのかを知る鍵になるなと思いました。
ときたま、触覚的な予期と触覚がバチっとあってる音楽があり、それと出会うと、すごく気持ちいいです。
まるで、楽器を演奏しているような、自分がその音楽に合わせて身体を動かしているかのような、ライブを聴いているかのような、聴いていた当時を想い起こすような感覚を味わえるかもしれません。
音楽の探し方は、昔から聴いていて、空覚えしていて、リピートしている曲のほうが楽しいです。誰かにオススメされた音楽よりも、あなたの人生に寄り添ってきた曲のほうが肌馴染みがいい気がしています。
もし、このnoteを読んで試してみたくなった方は、以下の目次を参考に「Music Hapticsの設定の仕方」までスキップして体験してみてください。
あと、せっかくなので文末に僕が心地よく感じた音楽をセレクトしました。
ですが、それよりもみなさん個人個人の心地いいプレイリストを作ってみて、ちょっと一息ついたり、集中したい時に椅子に座って携帯を握って、触覚を感じながら、音楽を楽しんでいただくことを願っています。
はじめに
このnoteに興味を持っていただいてありがとうございます。
触覚研究者のはなみつといいます。僕は2012年から、慶應義塾大学大学院メディアデザイン研究科でひとの五感のひとつである「触覚」の表現について研究・開発していて、たまに触覚に関する情報を発信しています。
例えば、FF16の触覚表現に関するnoteはたくさんの方に読んでいただきました。
「FF16の触覚表現がすごい、というお話」をつらつらとnoteに書き綴りました！
— 𝗡𝗼𝗯𝘂.𝗛𝗔𝗡𝗔𝗠𝗜𝗧𝗦𝗨 (@873ch) August 22, 2023
FF16の触覚表現やPS5 Dualsenseの可能性について、ここまで言及しているものは、かなり珍しいと思います。
マニアックです。是非ご一読ください。
ご意見・ご感想お待ちしております！！
https://t.co/goBmXk6BKj
今回、iOS 18のMusic Hapticsに感心したので、このnoteを書いています。きっと殆どの人は、ちょっと試した後、この機能をOFFにするんだろうなと思ったので、ひとりくらいこの機能の面白さを語ってもいいかと思い立ったわけです。
そもそも、FF16のnoteも、このnoteも『触覚表現』という超絶マニアックな内容なのですが、また機会があれば僕自身のお話も書きたいなぁと思います。
触覚技術の話を、すこしだけ
触覚表現の技術という括りで見ると、AppleだけでなくSonyや他のコンシューマもさまざまな技術を出しています。
わかりやすいものを列挙しておきます。せっかくなので。
Appleの触覚技術
Appleは、iPhoneやApple Watch、MacBookのトラックパッド、Apple Pencil ProなどのIPにTAPTIC ENGINEという触覚技術を搭載しており、ひっそりと高品質な触覚表現を提供し続けています。
iPhoneの筐体を程よく振動させるパワーを持った、とても良い周波数特性を持ったアクチュエータを自社で開発しています。
AlibabaなどでTAPTIC ENGINEを買うこともできます（笑
ただし、触覚研究として扱うには小型すぎるかもしれませんね。
そして、わたしたちユーザや開発者も「Core Haptics」というAPIを通じて、Taptic Engineを操作することができます。たまに、iPhoneのゲームでこのCore Hapticsを活用したゲームが含まれていますが、Nintendo SwitchやPS5のようなコンシューマゲームのように、触覚をフル活用しているような印象はありませんね。
（やはりコンシューマゲームと触覚表現との相性はよく、今話題のAstroBotの触覚表現はめちゃくちゃいいです。ニンテンドウ64のスーパーマリオ64のような、新しいゲーム表現のお手本となる作品だと思いました。いつかまとめます。）
長らく、Core Hapticsを活用している事例が見れてなかったので、エンタメ活用をする気はないのかな、と思っていたのですが「アクセシビリティ」という観点で、このようにTaptic Engineを見せていくのかと感心しています。
Airpods Proの補聴器相当の機能もそうですが、ただただ技術的に良いとところから"みなが使える優しい技術"というスタンスを取ろうとしているのでしょうか。生成AIも技術としてすごい、というスタンスではなく、アクセシビリティという枠から補助しますという見せ方をして『AI for the rest of us』を提供してくるのでは？となどと勘繰ってしまいます。
ちなみに、Music HapticsもApple Developer Documentationで仕様が公開されています。将来的には任意のアプリで音楽を触覚に変換できるのでしょうね。
SONY Xperiaの触覚技術
ここではAppleの触覚技術にフォーカスしましたが、携帯で触覚表現を行った事例としては、Xperiaがいち早く取り入れています。さすがSONY。
音楽や映像と連動し、高精細で高品質な触覚表現を実現するダイナミックバイブレーションシステムを搭載しています。
ソニー独自のサウンド解析テクノロジーにより、ミュージックビデオなどの音やゲーム上のアクションに合わせてXperiaが振動する機能
と言及がある通り、コンテンツの音楽に連動して本体も振動する技術です。
もちろん臨場感が高まるのは事実ですが、エンターテイメントという枠の中で技術提供すると、いちいち振動がくるのが億劫な状況も発生しますし、オフにしたいという欲求が高まりそうな気もするので、この謳い文句というのは良し悪しがあるのだろうと思っています。
その観点から見ても、Appleの『あくまでアクセシビリティの一環です』というスタンスは、逆の一手という感じで今後のアプローチはどう取るのだろう、と感じています。
最近のヒューマンコンピュータインタラクション（HCI）の学会であるCHIでも、触覚の扱い方がエンタメではない方向での研究が多いと思うので、そういう流れなのかなぁ。
音楽を触覚化する装置（ヘッドフォンやHapbeat）
2017年くらいから、ヘッドフォンで聴く音楽を触覚でも拡張するようなものがいくつか見られた印象があります。SkullcandyのCrusherは体験しに行った記憶があります。
他にも、CORSAIRのHS60 HAPTICやRAZERのKRAKEN V3 HYPERSENSEといったヘッドフォンが検索で見つかりますね。
RAZERは触覚に力を入れていて、独自のドライバーやAPIを完備していると記憶しています。以下のサイトで解説している通り、触覚研究に伴うチューニングをしている、というような言及がありますね。
RAZERはヘッドフォンの他にゲーミングチェアに触覚を入れているので
かなり触覚に理解のある会社だなぁと感心しています。
日本でも、触覚研究に基づいた音楽を触覚化する技術があります。
それは山崎さんが開発されている「Hapbeat」です。
こちらは音楽を、振動として伝えるのではなく、紐やベルトを引っ張り皮膚を変形させることで触覚として伝える技術です。音楽をどのように触覚化すればよいか研究された上で技術開発を行い、また音楽・映画・ゲームでの効果も調査されています。素晴らしい！！
他にも、東北大 田所・大野・昆陽・岡田研の星さんが2022年ごろにiPhoneのCore Hapticsを活用した触覚動画の研究を発表されていました。この研究に関しては、今回Appleが公式にリリースしたMusic Hapticsと関連するような研究だといえますね。
さて、上記に挙げたものだけではないと思うのですが、僕がパッと思いついた中だけでも、このような関連事例があります。
このように、触覚に着目して音楽体験を拡張してくれるような事例が、これからもっと増えてくれるといいですね。
まとめ： 自分だけの音楽の新しい捉え方を見つけることができる
私たちにとって「音楽」とは人生を豊かにする要素だと思っています。現在では様々な聴き方がありますが、本来、身体全身で鑑賞したり演奏するものでしょう。音楽とは、耳で、鼓膜で聞くだけのものではないよなと思います。
AppleのMusic Hapticsは、表現としては些細なものかもしれませんが、たくさんの人が所有しているiPhoneで、しかも1億曲以上の音楽を、私たちに触覚のある音楽体験（しかも動的に！）として提供してくれる新しい機会だと思いました。
僕は音楽を聴くときに、聴き慣れた曲だと、身体に力が入ったり、動いたり、おぼろげに映像が感じられたり、昔の情景を思い出したりするのですが、触覚によって、その感覚をより引き出してくれるように感じました。
きっとそこまでMusic Hapticsを語る人も居ないだろうから、変わった人の意見として、noteに残しておくことにします。
読んでいただいてありがとうございました。
ご意見、ご感想などあれば気軽に僕まで連絡してくださいね。
執筆者について
このnoteの執筆者である はなみつは、2012年から現在まで、触覚表現や身体感覚を専門として研究・開発を続けています。
2017年から7ヶ月ほどDisney Research Pittsburgで触覚研究を行い、2018年からはEnhance Experience Inc.で共感覚体験の研究・開発に携わっています。2022年 3月には慶應義塾大学大学院メデイアデザイン研究科でPh.D.を取得し、10月からは同大学 南澤研究室(Embodied Media Project)にも所属しています。触覚表現や身体感覚、シナスタジア体験のデザインを主軸に、個人や企業・大学機関に所属しながらジャンルを問わず活動を続けています。
もし、このような事柄に興味があれば、気軽に僕までDMくださいね。
【Music Hapticsの設定の方法】
Music Hapticsの設定の仕方です。
iPhoneの[設定] > [アクセシビリティ] > [ミュージック ハプティクス] でオンにできます。
また、iPhoneのコントロールセンターに、聴覚アクセシビリティの「ミュージックの触覚」を加えることが可能で、即座にこの機能のON/OFFをすることができるようになります。
【はなみつのMusic Hapticsプレイリスト】
どこから聴いても楽しんでいただけるようにしています！
両手で目を瞑って、深呼吸して感じ取ってみてください。
そして聴くだけでなく、あなただけの楽曲を見つけてみてくださいね。
