day7ー身体の動きを撮れば教示の理解度がわかる

Won, A. S., Bailenson, J. N., Stathatos, S. C., & Dai, W. (2014). Automatically detected nonverbal behavior predicts creativity in collaborating dyads. Journal of Nonverbal Behavior, 38(3), 389-408.

非言語行動から学習パフォーマンスの予測

#100daysOfAbstract

前提知識

Kinectという、Micros。ftが出している製品は動画からホネホネマンを作成して動きを予測してくれます。ただ生産終了していて、その後継としてDeep Learningのアルゴリズム使った製品が色々出つるある。以下のサイトが詳しい。

米マイクロソフトがKinectの生産を終了。販売分についてはサポート継続 - Engadget Japanese

方法

160人！の参加者を教師と生徒に分け、教師はリストの内容について生徒に5分以内に教える。その様子をkinectで撮影し、非言語行動（動き）を解析。教示後に確認テストを実施し、スコアリング。
動きとスコアの関係について、様々な手法で分析。解析については独自ルールが多くマニアック。

様々な手法…まず成績上位群と下位群を３通り（上位7人を取るか、15,16人を取るか、27,23人を取るか）で分け、それぞれスコアと各動き指標の相関を分析。dicision free algorithm(J48)アルゴリズムを使い、Multilayer Perceptionで最適化、Logistic Regression(LR)により分類し、それぞれの動きから成績が上位/下位の予測。

結果

教師の頭と胴体の動きのSD、生徒の頭と胴体の曲がり具合、教師の頭と胴体の動きの平均値が、成績上位群と下位群を上手く分類した。
生徒と教師で動きの同調がよく見られたのは、頭と胴体のSD(0.40)、右足(0.37)。

考察

非言語行動の分析について、ボトムアップに実施したためなぜこれらの動きがスコアを予測したのか考察は難しい。
この手法を応用して、例えばバーチャル授業を実施する場合に、どのような動きを誇張すれば良いのかがわかるようになる。

所見

今まで見た中で一番しんどそうな実験。160人も実験参加者募り、授業させ、スコアリングし、Kinect分析し、アルゴリズム組み…という努力の一方、結果は考察しづらい。
結果を単純に考察してみると、より理解している生徒は自然と頭をうなずいてみせることが多い気がする。問題はそれがどれくらい同調してるかという知見が得られたわけだから、「この生徒はうなずいてるけど本当に理解しているのか？」を調べるときに、同調度合いをリアルタイムで計測すればそれがわかるようになりそう。