『筋電位と姿勢推定AIを用いた「すかし打ち」の計測システムの提案』2023年度研究結果
2023年度になり大学3年生になりました。(あと1ヶ月で4年)
そこで2023年度卒業論文のお手伝いとし、新たな研究を始めました。
小野ウどんさんを初め様々な手打ち職人の方にご挨拶をさせていただきました。
TEUCHIの魅力に感動をし本格的に研究を進めております。
研究を進めるのにあたり手打ちしてる姿のデータが不足しており現在お手伝いしていただける職人の方を募集させていただいております。
もしお手伝いしていただける手打ち職人の方がいましたら下記の連絡先までよろしくお願いいたします。
これより研究内容について詳細と2023年度の実績について書かさせていただきます。
以下、波平さんの卒業論文を引用し簡易化させたものです。
さらに詳しい文章の場合卒業論文をPDFにて送らせていただきますので、先ほどの連絡先までよろしくお願いいたします。
第1章 背景と目的
1.1 背景
日本には伝統工芸品や伝統芸能など、地域の歴史と文化を反映し、熟練者によって洗練された技術が多く存在する。これらは能楽や和食、歌舞伎のようにユネスコ無形文化遺産に登録されることもあり、代々受け継がれるべき貴重なものである。
図1は平成10年度から令和2年までの伝統的工芸品の生産額と従業員数の推移を示している。生産額は2,784億円から870億円に、従業員数は115,000人から54,000人に減少している。この減少は、伝統芸能や技術の後継者不足による廃業が原因で、問題となっている。
うどん業界でも後継者不足が問題となっている。例えば、多度津町の老舗うどん店「根ッ子」は、50年の歴史と人気を持ちながらも、人手不足で後継者が見つからず閉店に至った。常連客は閉店を惜しんでおり、この問題は伝統的な技術が失われることを示している。
また、これらの伝統技術は熟練者の勘が重要で言語化が難しく、習得には時間がかかる。さらに、一度失われた技術を再構築するのは困難だ。例えば、日本のロストテクノロジーである「古刀」のように、現代技術を用いても再現不可能な技術もある。
1.2 目的
背景では、伝統工芸品とうどん業界の後継者不足による廃業問題を述べた。うどん製麺の技法の一つに、すかし打ちがある。これは、麺棒に巻き取った生地を持ち回転させながら打ち台に打ち付けて延ばす方法で、効率的で省スペースだが、手の位置の調整や生地の厚さの微調整が難しい技法である。
すかし打ちの技法では、両手首の返しと膝の屈曲が重要で、習得には反復練習と長い修行が必要である。この技法の特徴を明らかにし、初心者と熟練者の動作を比較して言語化できれば、教材として応用し、技能伝承に役立てることができるのではないかと考えた。
図 3 にすかし打ちの効果的な技能伝承のフローを示す。本研究ではすかし打ちについて、効果的な継承に活用するためにすかし打ちの動作解析をすることを目的とする。手順は①どこに筋電センサを装着するのか、どの画角で撮影するのかなどの計測する内容を決定する。②動作解析に必要な身体の動き、力の入れ具合のデータの計測をし、アーカ イブする。③計測結果をもとに、すかし打ちにおける身体の使い方を比較するなどの分析をする。④アーカイブ、分析したデータを用いた学習システムを製作し、効果的な技能伝承に活用する。本研究では、この内①～③をおこなう。
第2章先行研究
背景と目的では、すかし打ちの手技を対象に、計測により適したシステムを提案し、効果的な継承に活用することを目的とすることを述べた。動作解析と力の入れ具合の計測に着目し、熟練者の技術の動作解析に関する先行研究を調査行う。日本では文化財保護法のもと、情報通信技術を用いて技能の特徴を明らかにし、伝承に活用する手法が検討されている。
2.1 三味線演奏の計測
技能解析の研究において、三味線の演奏動作を複数のセンサを用いて解析する試みが行われている。本研究では、モーションキャプチャ、慣性計測センサ、表面筋電位センサ、ピックアップマイクを組み合わせた計測システムを提案している。このシステムを用いて、熟練者による「さくらさくら」と「津軽じょんがら節」の演奏を計測し、曲ごとの身体の使い方の比較分析を行っている。
本研究で対象とするすかし打ちは、麺棒を持たずに行うため、道具に直接干渉せず、手の位置が頻繁に変わる。そのため、モーションキャプチャのマーカーの位置を変更する必要があると考えた。また、麺棒にマーカーを貼り付けると、麺棒の形が歪んでしまい、生地に凹凸ができる可能性があり、すかし打ちの動作に支障をきたすことが考えられる。
2.2 和太鼓の『脱力』の技能分析
和太鼓の技能分析の研究では、筋電センサを用いて「脱力」に焦点を当てて分析を行った。脱力は音をよくするための重要な技能だが、指導が難しいため、筋電センサで計測し、脱力技能の可視化を行った。結果は、熟練者がどこで力を抜いているか、初心者はどこで脱力ができていないかを可視化し、脱力技能の評価可能性を示した。
この計測システムは筋電位データと映像のみで構成されているため、脱力のタイミングは確認できるが、脱力の仕方が分からない。脱力技能は可視化できたが、熟練者の演奏方法までは可視化できなかった。すかし打ちの動作解析には、筋電センサだけでなく、モーションキャプチャによる姿勢推定も必要であると考えた。
2.3 包丁の『切る』操作の動作分析
料理をするという、すかし打ちと同じ分類において、初心者と熟練者の動作を比較する研究として、包丁の切る動作を解析した研究が存在する。この研究では、被験者を熟練者と非熟練者に分類し、マーカーを装着した包丁を使用して胡瓜と人参を薄い輪切りにする様子を撮影した。撮影された映像から、包丁の変位、速度変化、およびまな板に対する腹面角度を分析し、熟練者と非熟練者の包丁の使い方の違いを明らかにした。結果として、熟練者は添え手を使用しているのに対し、非熟練者は添え手を使用していないことが確認された。また、非熟練者の方が切るのに要する時間が長く、包丁の動きが不規則で、仕上がりが厚く不均等であることが示された。
この研究では、包丁を安定して規則正しく動かすためには添え手が重要であると推測されていたが、具体的な動きの解析には至っていなかった。そのため、すかし打ちの計測システムでは、モーションキャプチャのマーカーを道具だけでなく身体にも装着することが必要であると考えられる。ただし、すかし打ちでは生地を何度も持ち替えながら延ばすため、手の位置が頻繁に変わる。これにより、モーションキャプチャのマーカーの位置を道具ではなく、身体のみに配置する必要があると考えられる。
2.4 その他のモーションキャプチャを用いた先行研究
他のモーションキャプチャを用いた先行研究では、光学式や磁気式のモーションキャプチャを使用し、広いスペースでマーカーを身体に貼り付けて計測を行っていた。しかし、これらの計測システムでは、実際の動作環境や服装とは異なるため、熟練者が本来の動作を正確に計測できない可能性がある。また、モーションキャプチャを用いずに映像と筋電センサを用いた動作解析もあるが、これらの方法では大きな動作の差は捉えられるものの、細かい動作の解析には不向きであるため、省スペースで行うすかし打ちには適していないと考えられる。
2.5 MoveNetを用いた研究
MoveNetはGoogleが公開している骨格検出モデルで、映像から身体の17個のキーポイントを検出しリアルタイムで表示できる。マーカー不要で安価に計測可能であり、激しい動作にも対応できる。PoseNetと比べ、MoveNetは幅広いデータセットに対応し、激しい動きに優れている。本研究ではMoveNetを用い、太陽礼拝の動作解析を行い、間違ったポーズを取ると警告するシステムを提案した研究があり、このシステムは96％の精度で識別できた。MoveNetを用いることで、従来のモーションキャプチャを使わずに高精度な姿勢推定が可能であると考えられる。
第3章現状調査と課題
3.1 現状調査
よりすかし打ちに適した計測システムを提案するにあたり、現状を知る必要があると考えた。そこで、手打ちうどんの大会「TEUCHI-うどん総合格闘技-」の第1回優勝者である熟練者にすかし打ちについて取材をした。TEUCHI-うどん総合格闘技-とは、うどん屋「浅草新九郎」の店主と浅草手打ち塾、日本手打協会の共同代表を務める小野ウどんが主催するうどんの手打ち文化を広めることを目的とした大会である。この大会には、全国各地から2度の予選を通過した熟練者が集まり技を競う。
図4にすかし打ちの詳しい手順を示す。現在のすかし打ちの修行方法は、主に麺棒のみを使用したもので、すかし打ちを「転がして捕まえる」、「止めるときに手首を回し、手前にもってきて打ちつける」の2段階に分け練習をする。このとき、常に肘を常に伸ばすことを意識する。麺棒を「転がして捕まえる」段階では、これを維持するために膝を屈曲させることで転がした先の麺棒を止める。「止めるときに手首を回し、手前にもってきて打ちつける」段階では、手首を回し、指を麺棒に引っ掛けるようにして指の上にのせる。そのまま手首を返しながら手前に戻してきて膝を伸ばし、体重をかけるようにして打ち台に打ちつける。このとき、テンポよく早く動かすことができると麺棒が自然と指の上にのってくる。また、このときに握って持ち上げてしまうと指の跡がついてしまい、生地がガタガタになってしまう。この2段階を繋げてできるようになった後、少しずつ麺棒を転がす距離を短くしていく。最終的に、その場でできるようになれば、すかし打ちの習得となる。修行の際、熟練者のすかし打ちを見て真似る事や指導を受ける事はあるが、基本は反復練習によって習得する。修業期間は短くて1週間であるが、肘を伸ばしたままなどのコツをつかめない限り、習得は難しく、長くて数ヶ月かかる者もいる。
3.2 課題
2.2 節ではすかし打ちの動作解析には筋電センサだけでなく、モーションキャプチャに よる姿勢推定も必要であることを述べた。2.1 節,2.3 節,2.4 節では、すかし打ちの動作解析にはモーションキャプチャのマーカーは道具ではなく被験者に貼り付ける方が効果的で あること、そのマーカーを貼り付けることは本来の動作に支障が出ることを述べた。また、2.5 節では MoveNet を用いることでそれらの問題を解決できる可能性があることを述べた。 本研究では、第 2 章と 3.1 節で述べた現状調査を踏まえ、よりすかし打ちに適した計測 システムの確立することを課題とする。
第4章 計測システム
第3章では、先行研究とすかし打ち修行の現状を調査し、目的達成のための課題を設定した。本システムは、2台のカメラ、MyoWare2.0筋電センサ（Advancer Technologies社製Arduino対応）、筋電データ記録用のコンピュータで構成される。この筋電センサはフィルターがついており、取得データの加工が不要で効率が良い。筋電センサは手関節の長橈側手根伸筋と膝のハムストリングスに貼り付け、Arduino UNOとExcelのData Streamerを使用してデータを記録する。従来のモーションキャプチャは全身にマーカーやスーツを装着する必要があり、動作に影響を及ぼす欠点があった。本研究ではMoveNetを使用し、従来のモーションキャプチャに比べてマーカー不要で安価に計測が可能である。MoveNetのプログラムはJava Scriptを用いてVisual Studio Codeで開発した。
第5章 実験
前章では、第2章、第3章を踏まえ、すかし打ちに適すると考えたシステムを提案した。この章では、提案したシステムの検証をおこなう。
実験では、直前にすかし打ちのイメージのみを伝えた初心者1名、経験者1名、うどん屋「浅草新九郎」の店主と浅草手打ち塾塾長を務める、熟練者1名の合計3名 すかし打ちをする様子を計測した。熟練者の計測は動作解析のみで、熟練者本人がYouTubeに投稿したすかし打ちの動画を用いた。図10に実験環境とその様子を示す。まず、カメラを被験者の正面、側面の二か所に設置して撮影をする。このとき時間がわかるように時計を設置する。
次に、脱脂綿にアルコールを含ませたもので皮膚前処理をした後、前章で述べた計測する箇所に筋電センサを貼り付ける。事前に用意した小麦粉1kg、水450g、塩50gを混ぜて作った1.5kgの生地をすかし打ちで1部分を角出しするところを計測する。角出しとは、円形の生地を正方形にするために四方を延ばし、角を作ることである。動作解析は、撮影した動画のすかし打ち全体を、すかし打ちをする前の「初期姿勢」、生地を前に転がし腕を前に伸ばした状態の「伸ばし」、手首を返しながら生地を手前に戻し、打ち台に打ち付け延ばす「打ち付け」の三コマに分け、頭部の上下の移動、肘と膝の角度の変化を示す。また、それに合わせた筋電位の変化を示す。
第６章 結果と考察
図11、図12に初心者と経験者の腕の計測結果を示す。左から順に「初期姿勢」「伸ばし」「打ち付け」にコマ分けし、写真を並べている。赤い線ではそれぞれ初期姿勢からの頭部の上下の移動、黄色い部分は肘関節の角度、膝関節の角度を示しており、下に時間に合わせた筋電位の変化を示している。矢印は時系列を示している。
図13と図14に初心者と経験者のハムストリングスの計測結果を示す。黄色い部分は膝関節の角度を示しており、下に時間に合わせた筋電位の変化を示している。
図15に熟練者の計測結果を示す。赤い線ではそれぞれ初期姿勢からの頭部の上下の移動、黄色い部分は肘関節の角度を示している。筋電の計測ができなかったため姿勢推定のみの結果である。
6.1 筋電位
この節では、それぞれの筋電位の変化の結果と考察を述べ、初心者と経験者の筋電位の比較をする。図16に長橈側手根伸筋、図17に初心者と経験者のハムストリングスの筋電位の変化を比較した図を示す。青は初心者を、橙は経験者の筋電位を示している。
6.1.1 初心者
初心者は、一人では生地を延ばしきることができておらず、1秒間で1回の打ち付けをおこなっていた。
長橈側手根伸筋において、大きく3回の筋電位の変化が見られる。1回目は21msで、「伸ばし」の際に生地を前に転がすために、一瞬力が入っている。そして、2回目は51msに「伸ばし」の後手前に戻すために力が入っている。その後3回目は66msに、すぐ打ち台に叩きつけるために「打ち付け」の瞬間に力が入っている。
これらのことから、初心者は生地を打ち付けの際に、体重をかけず、腕の力で上から打ち台に叩きつけて延ばしていることがわかる。ハムストリングスにおいて、「伸ばし」の直前の29msで筋電位が上昇している。これは生地を前に転がすために膝を屈曲させる際に一瞬力が入っているからであると考えられる。また、常に筋電位が安定しておらず、MoveNetを使いキーポイントを表示した映像から予想される筋電位にはなっていなかった。
6.1.2 経験者
経験者は、延ばしきるまでに1分30秒程かかり、1秒間で1回の打ち付けをおこなっていた。
長橈側手根伸筋において、大きく2回の筋電位の変化が見られる。1回目は「伸ばし」の際の17msに、生地を前に転がすために一瞬力が入っている。そして、2回目は、すぐ打ち台に叩きつけるために「打ち付け」の瞬間の62msに力が入っている。
これらのことから、経験者は生地を持ち上げることなく生地を延ばしていることがわかる。ハムストリングスにおいて、「伸ばし」の直前で僅かに筋電位が上昇している。これは生地を前に転がすために膝を屈曲させる際に一瞬力が入っているからであると考えられ、初心者と力の入れるタイミングは同じだった。しかし、初心者に比ぼ全体を通して筋電位が低く安定していることから、力を抜いてすかし打ちをしていることがわかる。
6.2 姿勢推定
この節では、それぞれのキーポイントの変化と肘、膝関節の角度の変化の結果と考察をした後、初心者と経験者、熟練者の比較をする。図18に初心者、経験者、熟練者の肘の姿勢推定の結果を示す。また、図19に初心者、経験者の膝の姿勢推定の結果を示す。
6.2.1 初心者
頭部は、初期姿勢から伸ばしにかけての下がった値は僅か2.9ピクセルであり、そこから打ち付けにかけては34.7ピクセルと、大きく下がっている。これは打ち付けの際に体全体を使って打ち付けており、勢いがついているためと考えられる。肘関節について、全てのコマにおいて肘の屈曲が見られた。
右肘は170°→153°→132°、左肘は156°→145°→136°と変化している。特に手前に戻しながらおこなう「打ち付け」のところでは大きく屈曲が見られた。膝に関しても同じく、170°→142°→140°と変化しており、全てのコマにおいて屈曲が見られた。打ち付けの際に、持ち上げ打ち台に叩き付けながら延ばしていた。本来体重をかけ延ばすところを肘と膝が曲がってしまっているため体重がかからず、うまく伸ばすことができていない。結果、延ばすまでに時間がかかってしまっていた。
6.2.2 経験者
頭部は、初期姿勢から延ばしにかけては14.6ピクセル、打ち付けにかけて1.9ピクセルと僅かに下がっていることがわかる。このことから、延ばしのときは膝を屈曲させており、戻して打ち付けるときに体重がかかっていることがわかる。
肘関節関して、右肘は175°→170°→175°、左肘は179°→181°→183°と変化しており、初期姿勢、延ばしに多少の屈曲が見られた。打ち付けの際は伸びきっている。
膝関節は、175°→115°→180°と変化しており、延ばしの際に屈曲が見られ、前に転がした生地をつかむためにされていることがわかる。また、打ち付けの際に屈曲が見られないことから、生地に体重がかかっていることもわかる。結果、初心者よりも延ばすまでの時間は短かった。
6.2.3 熟練者
熟練者は、延ばしきるまでに10秒程かかり、1秒間に4回の打ち付けをおこなっていた。また、全てのキーポイントにおいて、多少の上下は見られるが、それぞれのキーポイントの座標の距離に変化はなかった。
肘関節に関して、全てのコマにおいて、右肘は165°→160°→160°、左肘は180°→163°→163°と角度はほぼ変わらなかった。特に「打ち付け」の際にも関節の角度が僅かに180°より狭く、伸びきっていないことから、力を入れずに生地を伸ばしていることが考えられる。また、映像と合わせて見ると、細かくジャンプするようにすかし打ちをおこなっていた。この動きをすることで、全体重を生地にかけることができ、効率良く生地を延ばすことができている。この動きは経験者の計測結果から確認できなかったことから、この動きとその回数の速さが経験者との大きな違いであると考えられる。
6.3 考察
この節では、実験結果からすかし打ちの生地を把持する方法、転がす方法、打ち付けテンポ、提案したシステムについて考察を述べる。
初心者と経験者のすかし打ちを比較して、筋電位の変化とMoveNetで取得したキーポイントの座標の変化から割り出した計測結果から、初心者は生地を掴んで持ち上げ、打ち台に腕の力で叩きつけるようにして延ばそうとしていること、これに対し経験者は、生地を掴むのではなく、指に引っ掛けるようにして持ち上げ、打ち台に体重をかけるようにして延ばしているという、違いを確認することができた。また、熟練者の打ち付けテンポは初心者と経験者より4倍程はやく、細かくジャンプするように打っていた。このことから、提案したシステムを用いて計測をおこない、その結果を解析して比較することで、すかし打ちのコツを可視化することに成功したといえる。
姿勢推定について、MoveNetを用いることで、計測システムのコストを抑えながらも被験者の動作の比較をすることができた。また、マーカーを必要としないことから環境や服装を限定しないため、動きに支障を出すことなく計測をすることができた。
筋電センサについて、計測した2か所のどちらとも、初心者と経験者では大きな違いが確認できた。MoveNetを使いキーポイントを表示した映像と併せて比較した際に、長橈側手根伸筋の筋電位は映像を見ても力が入っていると考えられるところで筋電位が上昇していたが、ハムストリングスの筋電位は、特に初心者の筋電位が映像を見て予想される筋電位にはなっていなかった。これは、初心者は直前にすかし打ちのイメージのみを伝えたのみで、練習を一切していなかったことと、説明後すぐの実験で緊張してしまったことが原因と考える。
謝辞
本論文の作成にあたり、快く取材に応じて頂いた薮野真士様、すかし打ちの動画提供をして頂いた小野ウどん様に心から感謝します。