Google Arts & Cultureのゲームで手指の微細な動きを使って音楽を生成する
肢体不自由の生徒とかかわっていると、手指の微細な動きを何かに活かせないかと考えます。
iPadで何かできないかと聞かれて、自分が真っ先に紹介するのは、Chrome Music Labです。
中でもKandinskyは描いた絵をもとに曲を作ってくれるので、よく使ってきました。
でも、円（メロディ）や三角形（打楽器）を描くのが難しい生徒だと、教師が手を持って描かせてしまうので、やらせになってしまうなぁと感じていました。
他にも同じようなものがないかなと思っていました。
Googleが提供するコンテンツに、Google Arts & Cultureがあります。
Google Arts & Cultureは、有名な芸術家や美術作品の紹介や、美術館の探索などのイメージが強かったので、理科や情報の自分はあまり使わないなぁと思っていました。
ゲームも肢体不自由の生徒には難しいものばかりだなぁと思っていましたが、久しぶりに見るとゲームが増えていて、AIを用いた、タッチだけで曲を生成できるものもありました。
いくつか紹介したいと思います。
ゲームの開き方
トップページの「プレイ」をクリックします。
ゲームがあります。
「すべてのゲーム」の「音楽」のタブを選ぶと、音楽に関するゲームが表示されます。
Musical Canvas
Google AIを利用して、描画にサウンドトラックを生成します。
マウスで絵を描きます。
ちなみに、タブレットでも描けます。
ここでは自分のひどい絵でやってみます。
ペン、スプレー、塗りが切り替えられます。
太さやパラメーターも変えられます。
絵が出来上がったら、「GENERATE MUSIC」をクリックすると、AIが絵を解析し始めます。
英語です。
教師がその場で訳せた方がいいですねw。
画面をキャプチャーしてChatGPTに訳してもらいました。
日本語に翻訳してください。
画像内のテキストを日本語に翻訳します。
---
「私は今、あなたのアートワークから直接インスパイアされたサウンドトラックを生成しています：
- この曲はゆったりとした、穏やかなクラシック音楽です。
- ピアノで演奏されており、柔らかく流れるようなメロディーです。
- 曲は、シンプルで子供らしい絵からインスパイアされています。
- これは、絵を描いたり読書をしている時に聴くのに最適な、リラックスできる落ち着いた作品です。
- 絵はシンプルで子供っぽいです。
- 線はあまり滑らかではなく、色も基本的なものです。
- 全体的な構図はあまり面白くなく、詳細や色を追加することで改善されるでしょう。
- また、題材もあまり興味深いものではなく、もっと想像力を働かせることができるかもしれません。」
---
以上が翻訳になります。
後半のコメント、余計なお世話だwwww。
でも、AIはそう判断したんですね。
そして、生成された曲が流れます。
共有もできます。下に貼ってみたので聴いてみてください。
私の下手くそな絵ではなく、肢体不自由の生徒の絵だとどうなるか。
試しに点や線を描いてみました。
生成してみます。
音楽はシリアスな雰囲気のヒップホップビートです。
テンポは速く、ビートは重厚で、緊張感と興奮を感じさせます。
この音楽は絵にぴったりで、同じ緊張感と興奮を見事に表現しています。
鮮やかで対照的な色の使用が、緊張感と興奮を生み出しています。
文字のグラフィティ風のスタイルが、作品に都会的なエネルギーを与えています。
全体の構成は視覚的に魅力的で、文字の周りにある余白を利用することで、『fire』という言葉に視線を集めるようにしています。
こんな曲になりました。
自分の下手な絵より良いかもw。
好みはあると思いますが、自分の絵をもとに音楽が生成されるのは面白いなと思います。
Assisted Music
マエストロ作曲家の助けを借りてメロディーを作成します。
キーボードか五線譜をタッチして音を打ち込みます。
HARMONIZEをタップします。
バッハ風にハーモナイズされました。
共有できるので、聴いてみてください。
モーツァルト風、ベートーベン風にもハーモナイズできます。
モーツァルト風
ベートーベン風
楽器のせいでそれっぽく聴こえるのではないか、という気もしなくはないですが、偉大な作曲家になりきってみるのもいいかと思います。
Viola the Bird
機械学習の助けを借りて、鳥のヴィオラと一緒にチェロにインスピレーションを得た楽器を演奏します。
説明文そのままですが、なんか直訳っぽいな。
Concertでは、左右にドラッグするだけで曲を演奏できます。
喜びの歌やアメージンググレース、木星などが演奏できます。
Freestyleでは、自分で自由に音階を決めて演奏することができます。
Paint With Music
ブラシストロークで音楽を作成します。
説明はいらないと思います。
描いたものが音になります。
共有もできるので、聴いてみてください。
ところが、うちの学校のGIGAスクール回線では音が出ません。
Chrome Music Labでもいくつか音が出ないコンテンツがあるので、何かが遮断されているのだと思います。
まとめ
他にも探してみると、いろいろなゲームが見つかると思います。
きっと大人も楽しめますね。
今週はネットワーク更新や教師用端末設定で心が荒（すさ）んでいるので、これらで癒されようと思います。