CIID Week10: 機械学習とデザインの気になる関係
これからの3週間はこれまでとは異なり、少しTechnologyとDesignを織り交ぜた週が続きます。その一環で5/4の週は、Machine Learningの授業を実施しました。
1週間のコースだったので、コーディングのブートキャンプを行うものではなく、デザインの文脈で使われている機械学習の事例を学びながら、「解決したい問いや状況に合わせてどのように機械学習を活用するのか」を学ぶことに重点が置かれました。
今回は実際に活用した複数の機械学習ツールや、デザインの文脈における機械学習の活用事例、コース期間中のプロジェクトで得た学びを中心にお伝えしていきたいと思います。
デザイナーのための機械学習: Teachable Machine
まず初日に学習したのは、Googleが開発したコーディングなしで機械学習を実践できる、”Teachable Machine”という機械学習ツールです。これが非常に直感的で分かりやすく、コーディング未経験者でも簡単に機械学習のメカニズムを理解することができます。
最終的なアウトプットは自分で入力したインプットが、予め自分で設定したどのクラス(分類)に該当するかを確率表示する形になっています。入力及び学習できるメディアは、画像・音声・ポーズ(人間の顔や肩のパーツを認識する)の3つで至ってシンプルな一方で、学習・トレーニングの方法次第によっては、高精度で入力した画像や音声を正しく認識することが可能です。
まずは使ってみて、デザインの文脈でどのように機械学習を活用できそうか試すという意味で、チームで下記のようなコンセプトを考えてみました。
コンセプトとしては、現在、学校の授業や会社のミーティングがデジタル化する中、生徒や会議参加者が集中しているかお互いに分からない状況を問題視し、集中していない生徒や会議参加者を検知する仕組みとなります。
このワークからは、機械学習ができることは、分類や認知など、非常に限られている一方で、使うシーンを限定して、日常のちょっとした不満や課題を解決することに優れていると感じました。実際にここに記す、機械学習の活用例も「おお！！」と感じられるようなものはないと思いますが、ユーザーや特定の状況によっては、大きな効果を発揮しそうです。
リアルタイムのインタラクションを可能にする: p5.js + ml5.js + RunwayML
次に少しだけ発展させて、ユーザーとのリアルタイムのインタラクションを可能にする機械学習ツールを学びました。それが、章のタイトルに記載のある、p5.js, ml5.js, RunwayMLというツールです。
P5.jsは ProcessingをJavaScript で動くようになったライブラリーで、ユーザーの行動をリアルタイムに感知することが可能です。また、ml5.jsは機械学習のモデルを作成するライブラリーで、P5.jsとセットで使います。
最後のRunwayMLは、多くの機械学習のモデルを試すことができるアプリケーションになります。テキスト認識一つとっても、20個ほどのモデルが存在していたので、機械学習の可能性を掴むのには良いツールと思います。あくまでクリエイター向けに作られたモデルが多いので、デザイナーのみなさんにおすすめのアプリケーションです。
解決したい状況に応じた機械学習を心がける
デザインの文脈における機械学習
ここからはコース期間中のプロジェクトを通して得た学びについて書いていきたいと思います。結論から話せば、「機械学習は大きなことを成し遂げるものではなく、人間の小さな日常を変えることに優れた技術であるため、解決したい状況に応じてどのように機械学習を活用するか考える」ことが非常に重要でした。
話が逸れますが、機械学習に限らず、ビジネスの現場でテクノロジー活用となると多くのビジネスマンは、とかく「大きなこと」を考えがちだと思います。思った段階では、「大きなこと」に見えないことが難しい所ですが…
例えば、最近流行りのDMPですが、DMPを導入したからといって、いきなり的確なユーザーにパーソナライズされたアクションをとれることはおそらくなく、非常に限定的なところからスタートするはずです。にも関わらず企画段階では、「大きな」妄想を膨らませていることが多く、実践段階で現実に気づき、微妙な印象を抱いてしまうことはよくあることかと思います。
この場合重要なのは、DMPであっても機械学習であっても、とにかくそれを使用する状況とそれで喜ぶユーザー限定することだと思います。スモールスタートが命と言いたいわけではなく、「小さなこと」から解決しているうちに、より「大きなこと」に目を向けられる瞬間がやってくるからです。
デザインのプロセスでよく出てくる、「とりあえずできそうなことから検証してみる」ことは、プロトタイプの真髄ですね。
話を戻しますが、自分のチームでは、機械学習から生み出される予測不能な結果を活用した「自宅で孤立しインスピレーションを失ったアーティストに対して、家の中にあるモノをインスピレーションに変えることができるトーチ」を作ることに決めました。
モデルを決める⇨モデルを組み合わせる⇨予測不可能な結果を生む
今回自分たちは、前述したRunWayを使ったのですが、最初はどんなモデルが使えそうかテストするところから始め、それらしき複数のモデルを組み合わせて予測不可能な結果を生むアプローチを取りました。
(どんなモデルが使えそうかテストしている様子)
(複数のモデルを組み合わせて予測不可能な結果を生んでいる様子)
得た結論としては、特定のモデルを活用すると、最終的なアウトプットが風景画のスケッチのようなものになったり、または入力したテキストを的確にスケッチとして表示するものなったりと、実際のアーティストのインスピレーションとなり得そうな結果を得ることができました。
(最終的なアウトプットの例)
コンセプトが成立しそうなことが分かったので、前述のように、使用する状況を明確にすべく、チームとしてストーリーボードした後に、下記のようなコンセプトビデオを作りました。
いかがでしたでしょうか。
今後CIIDでは、機械学習やクリエイティブコーディングの世界に触れていくことになると思いますが、常に解決したい問いや状況は何か、ということは忘れずにプロジェクトに臨んでいきたいと思います。
町田