絶対音感持ち！？じゃあこれわかる？👏

「絶対音感」、それはある音を聞いたときに、その音の高さを他の音と比較することなしに記憶だけを頼りに判別できる能力です。

絶対音感（ぜったいおんかん、英語：Absolute pitch）は、ある音（純音および楽音）を単独に聴いたときに、その音の高さ（音高）を記憶に基づいて絶対的に認識する能力である。 狭義には、音高感と音名との対応付けが強く、ある楽音を聞いたときに即座に音名・階名表記を使用して表現できる能力である。　出典: フリー百科事典『ウィキペディア（Wikipedia）』

実はそれなりの楽器演奏者であればある程度持っている能力でもあります。

しかし、「私、絶対音感あります」なんてことを言うと「この音は！？」と非音楽経験者はそこらのいろんなものをシンバルを持ったおもちゃのお猿さんのごとく叩き、試してくるのです。

そして音が出るものがなくなった時、非情な彼らは次のように言うのです。

😆「これは！？」👏（拍手）

音の高さとは

楽音でいうところの音の高さは一般的に「音高」あるいは「ピッチ」を指します。実際の自然に存在するところの音には単一ではなく複数周波数の組み合わせによる音がほとんどですが、基本的には空気を伝わる波の周波数の大きさによって人は音の高さを知覚します。

これは義務教育でも習うところなので、想像できるところだと思います。
周波数の大きい音は高い音、周波数の小さい音は低い音、でしたね！

拍手の音の高さって？

しかし拍手のような破裂音は特別です。
全く響きのない、野外のような場所でパチンと手を叩いた時の時間軸の音圧グラフを見るとこんな形のグラフになるでしょう。

こんな感じです。横軸を時間、縦軸を音量だと思ってください。響きのない部屋ではだいたいこんな感じになります。野外で拍手すると乾いた音になりますね。一瞬だけピークが立ちます。（このような形をとる関数をデルタ関数と言います）

では周波数で見てみるとどうなるでしょうか。大袈裟なモデルで見るとこんなふうになります。（実際には少し異なります）

たくさんの周波数の音が拍手には含まれているのです。

つまり拍手をドレミの音階で表現することはできないのです。
厳密に言えば含まれている周波数が高周波数帯域に偏っていたりすれば「拍手にしては音が甲高い」と感じることもありますが、それでもドレミのどれに当てはまるかは言い表せないのです。

実は便利な拍手の力

拍手は広い周波数が含まれているため音階で表すことができません。（なので絶対音感持ちの人を見かけても拍手の音階を尋ねるような非情なことはやめてくださいね。）しかしこの性質があるために、拍手は非常に便利な使い方ができるのです。

先ほどは野外のような響きのない場所での拍手のモデルを見せました。
今度はお風呂やホールのようなよく響く場所でパチンと手を叩いてみましょう。先ほどとは異なり、はじめの音から徐々に減衰していく尻尾がついていることが分かりますね。

音で聞くとこんな感じです。これは実際にあるコンサートホールの響きですね。

このデータから実にいろんなことがわかります。

まず残響時間です。残響時間はどれだけその部屋で音が響くかの指標となります。聞いたことある人もいるかもしれませんね。

正確に言えば音が60dB（デシベル）減衰するまでの時間のことをいいます。数字で言ってもよくわかんないですね。オーケストラが出せる最大の音量(100dB)から人の話し声(40dB)くらいの音量になるまでの時間が残響時間です。

ちなみに日本国内で最も響きが良いと言われているコンサートホールであるところのサントリーホールの残響時間は2.1秒です。（設計者である、世界的なホール音響設計家の豊田康久さんは大学の大先輩に当たります。ちょっと自慢）

音響のプロはわざわざ測定なんてしなくても、手を叩くだけで残響時間が解っちゃうらしいです。すごいです。

このデータをさらに分析すると、どういった高さの音が響きやすいか、逆に吸収されてしまうか、部屋の建材はどうなっているか、部屋の体積はどうかなど様々な室内の情報が分かってしまいます。

サントリーホール大ホール
ステージを客席が囲むvineyard型ホールは世界でも珍しい

インパルス応答

ここで私は「拍手」とその「響き」という言い方をしましたが、全ての周波数が均等に含まれる理想的な破裂音のような音を「インパルス」、そしてその室内の響きの影響を受けた音を「インパルス応答」と呼び、これが実に便利なものなのでホールの測定のみならず、マイクやスピーカーの性能評価や、ゲームから映画の音響まで幅広い用途に使われているのです。

実際、拍手などから生じるインパルス音には人によって誤差があったりするので、本格的な測定にこういう方法を用いることはありません。より複雑な方法で、広い周波数が均等に含まれるインパルス音を計算し、厳密なインパルス応答を測定しています。具体的には人が音として聞き取れる高さの下限から上限に値する20Hz~20000Hzまでの周波数を使うことが多いです。

そもそも、現代のインパルス応答の測定にインパルス音自体使ってないんですね。詳しくはこちらをご覧ください。『インパルス応答の測定とその応用について-日本音響エンジニアリング』

とはいえ、かつては本当にピストルの射撃音だったり、電撃の走るバチっという音からインパルス音を生成していたらしいので、お試しでインパルス応答を録ってみようという方は、紙鉄砲なんかが簡易でいいと思いますよ！

インパルス応答の応用その１〜音に響きを付けてみよう〜

このようなホールで測定されたインパルス応答があれば、あなたの好きな音楽をホールの響きにすることができます。今回は特に音源のこだわりがないのでLondonderryという曲の冒頭を簡単にDAWで打ち込んでみました。

まずこちらが響きをつける前のオリジナルの音源です。

続いてこちらが響きをつけた音源です。

ベタ打ちの曲でも、ホールの響きをつけるだけでこんなにリッチになるのは面白いですね。
インパルス応答さえ取得できれば、あなたのお風呂での響きだって、宝塚劇場の響きだって、なんだって再現することができます。​

ちなみにインパルス応答を音源に付加することを「畳み込み（Convolution）」と言ったりします。

インパルス応答の応用その２〜音を立体的にしよう〜

インパルス応答に含まれる情報は「響き」だけではありません。
「インパルス」を出すスピーカーから、「インパルス応答」を録音するためのマイクまでの、「音が空間をどのように伝わるか」という情報の全てが含まれているのです。

少し難しいかもしれません。一つ例をあげてみましょう。

みなさんダミーヘッドマイクをご存知ですか？
YouTubeをよく見る方なら「ASMR動画」を得意としているYouTuberさんが使っているのを見ることもありますね。（これとか）

これは一体何かというと、人の上半身あるいは頭部を模した模型の鼓膜にマイクロホンが搭載された、特殊なマイクロホンアレイです。（複数のマイク素子を搭載した録音システムのことをマイクロホンアレイと言います。）

この耳の中に左右一つずつマイクロホンが仕込まれています。
これは一体なんのために作られたかと言うと、もちろん気持ちのいい音を収録するための装置ではなくて、本来は人が聞く音を正確に録音するために作られたマイクシステムなんです。（調べてみたら気持ちのいい音を収録するための廉価版ダミーヘッドマイクが、業務用ダミーヘッドの有名なメーカーであるサザン音響から売られててびっくりしました。ASMR人気恐るべし...）

上の写真のようなダミーヘッドマイクって実は業務用で、お値段も結構びっくりする額なんですよ。写真のマイクはドイツのNEUMANN（ノイマン）という会社のダミーヘッドマイクなのですが、これだけで１００万円します。

実は人が音を自分の耳で聞くとき、音が鼓膜に届くまでに自分の頭と耳の形状に音はめちゃくちゃ影響を受けています。また、左右の耳には少し距離があるので、音が耳に入ってくる時間に左右の耳にほんのわずかな遅延もあります。人はこの両耳に入ってくるわずかな差を感知して、音がどこから聞こえてくるのか判断しているのです。

この両耳の違いを活用してコンサートホールの響きの指標だったり、車のドライバーが車外の音をどれだけ聴けているかの試験にも使われたりしていて、実は結構使われているヤツなんです。

このダミーヘッドマイクで録音した音をヘッドホンで聞くと、人の鼓膜に届く音を直接皆さんの耳に聞かせることができるので、あたかもその場にいるような臨場感のある音を聞くことができるんですね。このような音源のことを「バイノーラル音源」と言ったりします。YouTubeにいっぱいあるので調べてイヤホンで聞いてみてください...と言おうとしましたが「バイノーラル音源」だけで検索するとエッチなやつしか出てこないので、「ダミーヘッド」で検索するといいかもしれません。

よくこういった立体的に聞こえる音のことを「立体音響」と呼ぶことがありますが、バイノーラル収録のような、収録する場所の音をそっくりそのまま耳元で再現するような技術のことを「音場再現」と言うので、この分野を研究している身としてはぜひこの言葉を覚えて欲しいなと思っています。

立体的な音を収録・再生する技術にはヘッドホンで聞くバイノーラルのほか、ヘッドホンを使わずともスピーカーを使ってバイノーラル音源を体験する「トランスオーラル」などいろんな物があります。最近ではYouTubeなどがダミーヘッドではなく「アンビソニックスマイク」を使って収録した音を立体的に聞く「Ambisonics コーデック」にも対応したり、Appleが「Spatial Audio」を発表したりとてもホットな研究分野です。

トランスオーラルによるシステムは東京にあるNTTの美術館で体験できるので、ぜひ行ってみてください！前方に２個しかスピーカーがないのに、まるで後ろから音が聞こえてくるような不思議体験ができます。

このダミーヘッドマイクを使ってインパルス応答を測定することによって、音が頭と耳によってうける影響を、右耳と左耳について同時に取得することができるのです。（これをHRTF：頭部伝達関数と呼んだりします）

国際的な音響工学の研究チームによって、人間の頭部のあらゆる方向からの聞こえをインパルス応答に起こしたHRTFデータが配布されています。（リンク）このデータはダミーヘッドではなく本物の人間の頭部で収録されています。データは研究向けに公開されているのでぜひ使ってみてください。

勘の鋭い方は気づいたかもしれませんが、このインパルス応答を使うことで好きな音をダミーヘッドマイクで収録したような、その場で聞いたような音にすることもできるのです！つまり音に方向性を持たせられる（＝立体的にできる）んです。

今回はまた魔王魂様より音をお借りして、頭の周りをぐるっと一周する音源を作ってみました。ヘッドホンで聞いてみてください。

もしかすると、こういったHRTFは一般的に、測定に協力した被験者と皆さんの頭部形状の違いによってかなりの誤差があるので、完璧に音の方向を再現することはとても難しく、上手く皆さんの頭の周りを回らないかもしれません。私たちの研究室でもよく前後の音方向の誤判定に苦しめられています。（最近の研究でメガネの有無によっても音の聞こえに影響があるという結果が出ていて、もうお手上げ状態です。:Comparison of HRTFs from a Dummy-Head Equipped with Hair, Cap, and Glasses in a Virtual Audio Listening Task over Equalized Headphones）

本当にちゃんと立体的に聞こえるようにしたいのならば、実際にあなた自身の頭部でHRTFをとってしまうのも手かもしれません。最近では耳の形を送るとあなたにあったHRTFを送ってきてくれるサービスもあるようです。お高いですが。

先ほどあげたデータベースの「DEMO」をみると、今回私が使ったデータ以外を用いた音を聞くことができるので、よければあなたの耳にぴったりなデータを探してみてはいかがでしょうか。

この技術はゲームにも使われていて、PlayStation5にもすごい精度の高いシステムが搭載されるらしく期待大です！スマホアプリバージョンのPUBGにも銃声の音の方向をイヤホンだけで感じられるようなシンプルなバイノーラル音源が収録されているみたいですよ。

最後に

インパルス応答の話がしたいがために、絶対音感持ちに拍手の音階を聞かないで！というところから、HRTFや残響付加などインパルス応答の応用まで書いてきましたが、いかがでしたか？インパルス応答の利用にはこれだけではなくもっともっと多様な使われ方が研究、実用化されています。

物凄い噛み砕いた説明だったので厳密には異なる部分もあるかもしれません。(インパルス応答は空間だけでなくてマイクやスピーカーの特性情報も含まれているんだとか、インパルス応答の測定にはホワイトノイズやSwept Sign信号を用いるんだとか、そもそもインパルスは定義上図示できないだとか、etc...)

デジタルなコミュニケーションにおいては映像や画像ばかりに注目が向けられてしまいがちですが、このnoteを通じて、音ってこんなこともできるの！？ということが伝われば嬉しいです。

音響工学の未来に幸あれ...

（もしご要望があればまたいずれPythonコードを添付します）