[個人開発]IoTとARで楽器を作るまで
はじめに
マトリョミンという楽器を真似たオモチャをIoTで作ったときの開発の日記です。
マトリョミンとは、マトリョーシカ型のテルミンのこと。テルミンとは電子楽器で、手と楽器(テルミン)との距離を調節するだけで音階を変えられる、ちょっと不思議な楽器です
マトリョーシカ+テルミン=マトリョミン
IoTでテルミン(風)に音を奏でて、ARで見た目をマトリョーシカ(風)にします。『IoTとARを組み合わせる』という自身初挑戦の記録です。
完成した楽器
完成したのはこれ。マトリョーシカと、その隣から近づく板との距離によって音階が変わります。
作り方はQiitaに投稿しました。
ここから開発日記です。
ステップ(1)ドレミファソラシドを奏でる
IoTでスピーカーを制御する方法を確認します。obniz というIoTデバイスを使いました。
ステップ(2)超音波距離センサーを使ってみる
超音波で距離を計測するセンサーで、距離を測る方法を確認しました。
トラブル発生
スピーカーと距離センサーを組み合わせる方法を模索していたら、謎のエラーが発生。電源容量が不足?う~ん、わからん。
距離センサーが調子悪いので新品のセンサーを調達しました。
新品のセンサーに取り替えたら謎のエラーが解消!エラーの原因は、センサー故障だった。
ステップ(3)テルミン風の完成
スピーカーとセンサーを連携させて、距離に応じて音階が変わる仕組みが完成!これでテルミン風の楽器ができた。次は見た目をマトリョーシカにしていく。
ステップ(4)
見た目をマトリョーシカにしたときに部品が隠れるように、スピーカー、センサーとIoTを縦長にまとめました。部品をまとめるときにLEGOが活躍しました(LEGO便利)
ステップ(5-1)
ARで、3Dオブジェクトのテクスチャを切り替える仕組みを作りました。この時点では、IoTと連携はしていません。
ステップ(5-2)
さきほど作ったテクスチャを切り替えるARと、スピーカーと距離センサーを制御するIoTを連携しました。"距離センサーで計測した距離によって、ARのテクスチャが切り替わる"という仕組みを作るのに苦戦しました。
ステップ(6)
IoTとARを連携できたので、ARで表示するマトリョーシカを用意します。距離に応じて画像が切り替わるので、マトリョーシカもいくつかパターンを用意しました。
※このイラストのデータはこちらのnoteに置きました
ステップ(7)完成っ!
下の2つの仕組み作り、その2つを連携してマトリョミン(風)の完成です。
● IoTで距離センサーとスピーカーを制御
● ARで見た目をマトリョーシカ
obniz公式さんから嬉しい反応頂きました、ありがとうございます。
ステップ(5-2)の"距離センサーで計測した距離によって、ARのテクスチャが切り替わる"の仕組みがうまく作れず苦戦しましたが、無事完成してよかった。