見出し画像

[個人開発]IoTとARで楽器を作るまで

はじめに

マトリョミンという楽器を真似たオモチャをIoTで作ったときの開発の日記です。

マトリョミンとは、マトリョーシカ型のテルミンのこと。テルミンとは電子楽器で、手と楽器(テルミン)との距離を調節するだけで音階を変えられる、ちょっと不思議な楽器です

画像1

マトリョーシカ+テルミン=マトリョミン

IoTでテルミン(風)に音を奏でて、ARで見た目をマトリョーシカ(風)にします。『IoTとARを組み合わせる』という自身初挑戦の記録です。

完成した楽器

完成したのはこれ。マトリョーシカと、その隣から近づく板との距離によって音階が変わります。

作り方はQiitaに投稿しました。

画像2

ここから開発日記です。

ステップ(1)ドレミファソラシドを奏でる

IoTでスピーカーを制御する方法を確認します。obniz というIoTデバイスを使いました。

ステップ(2)超音波距離センサーを使ってみる

超音波で距離を計測するセンサーで、距離を測る方法を確認しました。

トラブル発生

スピーカーと距離センサーを組み合わせる方法を模索していたら、謎のエラーが発生。電源容量が不足?う~ん、わからん。

距離センサーが調子悪いので新品のセンサーを調達しました。

新品のセンサーに取り替えたら謎のエラーが解消!エラーの原因は、センサー故障だった。

ステップ(3)テルミン風の完成

スピーカーとセンサーを連携させて、距離に応じて音階が変わる仕組みが完成!これでテルミン風の楽器ができた。次は見た目をマトリョーシカにしていく。

ステップ(4)

見た目をマトリョーシカにしたときに部品が隠れるように、スピーカー、センサーとIoTを縦長にまとめました。部品をまとめるときにLEGOが活躍しました(LEGO便利)

ステップ(5-1)

ARで、3Dオブジェクトのテクスチャを切り替える仕組みを作りました。この時点では、IoTと連携はしていません。

ステップ(5-2)

さきほど作ったテクスチャを切り替えるARと、スピーカーと距離センサーを制御するIoTを連携しました。"距離センサーで計測した距離によって、ARのテクスチャが切り替わる"という仕組みを作るのに苦戦しました。

ステップ(6)

IoTとARを連携できたので、ARで表示するマトリョーシカを用意します。距離に応じて画像が切り替わるので、マトリョーシカもいくつかパターンを用意しました。

※このイラストのデータはこちらのnoteに置きました

ステップ(7)完成っ!

下の2つの仕組み作り、その2つを連携してマトリョミン(風)の完成です。
● IoTで距離センサーとスピーカーを制御
● ARで見た目をマトリョーシカ

obniz公式さんから嬉しい反応頂きました、ありがとうございます。

画像3

ステップ(5-2)の"距離センサーで計測した距離によって、ARのテクスチャが切り替わる"の仕組みがうまく作れず苦戦しましたが、無事完成してよかった。

いいなと思ったら応援しよう!

suo
こんな弱小ブログでもサポートしてくれる人がいることに感謝です。