BOCCO emoと一緒にオンライン授業を受けよう！~うなずきBOCCO emo~

2022年3月28日 16:10

こんにちは！エンジニアアルバイトの松井です。
本記事では昨年10月に公表した「BOCCO emo APIs」（ボッコエモエーピーアイズ）を使った作例を紹介します。

コロナ禍の生活の中で、テレワークやオンライン授業のときに仲間がそばにいてくれたら捗るのに…と思ったことはありませんか？
そこでBOCCO emoを一緒に仕事や勉強を頑張るような素振りをするようにカスタムしてみました！

今回は映像授業受講時を想定し、以下の4つの機能を実装しました。

開発環境

・ハードウェア
    ・Webカメラ（今回は制御用PC内蔵カメラを使用）
    ・制御用PC（今回はMacBook Pro 2019を使用）
    ・BOCCO emo Custom Kit

・ソフトウェア
    ユーザのうなずきを検出するために下記のソフトウェアを用います。
    ・OpenCV-Python
    ・Dlib Python

授業開始時にBOCCO emoで出席確認ボイスが流れる機能です。
特定のボタン操作をすることで出席確認を行います。これでユーザの気持ちもBOCCO emoも授業モードに切り替えられます。

ユーザが授業を見ながらうなずいたとき、BOCCO emoがそれに合わせてうなずく機能です。
授業を一緒に聞いている感覚になります。
この機能のシステム構成は下記の通りです。

ユーザの顔の角度がある一定値を境に上下したとき、システムが「ユーザがうなずいた」と判定します。
うなずきの深さに合わせてBOCCO emoの動きを変化させることもできます。

授業動画内の重要なポイントを事前に指定しておけば、BOCCO emoが「ここテストに出るよ！」といった呼びかけを行う機能です。
単調になりがちな映像授業もこの機能で集中度が上がることが期待されます。

この機能は「ユーザがうなずいたときはきっと先生が大事なことを言ったときである」という仮説を基に、動画内のうなずき箇所を基にして復習動画を作成する機能を実装しました。

この機能では、授業動画視聴中にうなずき箇所を記録します。そして授業動画再生終了後、うなずき箇所の前後100フレームを取り出して再生します。

この動画を見ることで効率良く授業の復習ができるはずです。

4つの機能を実装したシステムを使用して授業動画（今回はBOCCO emoの紹介動画）を視聴してみました。

授業の初めから終わりまでBOCCO emoと楽しく授業を受けられるようにカスタムすることができました。

今回は映像授業を題材とした授業映像視聴時に役立つようにBOCCO emoをカスタムしてみました。

今回は映像授業を題材としましたが、これを応用すればテレワークやリアルタイムの遠隔授業も楽しくなりそうですね。

またオンラインライブや動画コンテンツの視聴にも応用できるのではと考えています。

BOCCO emo APIsの活用について、サポートしますので、ご興味ある方はお気軽にお問い合わせください！

この記事が気に入ったらサポートをしてみませんか？