聞こえ方の違うみんなでワイワイするために。試行錯誤の記録（その２）
この記事は、下のマガジンの連載記事の一部です。
音声認識アプリ YYProbe (https://www.yysystem.com/) を使って雑談をしてみました。YYProbeを使った理由は雑音に強いと聞いたから。それと個人で使っていて体感的には認識率が他のアプリよりも高いと感じたからです（定量的には未検証）。
雑談に参加した構成はこんな感じ。
うきうきなっとうメンバー 5人
RSGT 2023で発表をする本学アジャイルチームのメンバー。全員聴覚障害者です。説明が長くなるのでこのあとずっと「うきうきさん」とか「うきうきメンバー」とか言うことにしました
聞こえるけど手話はできない参加者 3名
1人には事前にYYProbeを入れておいてもらいました
2人はその場で参加してもらったのでアプリ入れてません
ワイワイの仕方
うきうきメンバーも含め全員YYProbeを入れ、話す人は音声認識をオンにしてチャットできるようにする。
ウキうきメンバーのほうの発言方法を決めてなかった。偶然その場にいた人は発話できる人たちばっかりだったから口話で話してた。
さて、今回の試みですが、正直準備不足。こんなことが起きました。
人数は少なかったけどやっぱり複数人の声が混じってしまい、音声認識の精度は低下してしまった
認識されていたはずの文章が消えてしまう事象が発生した。多分文章として精度が低いなと思ったら別の候補文に切り替えているんだとおもいます。そのせいで途中まで認識されてたはずの文が消えてしまって「あれ？さっき何話してた？」って状態に。
こちらはツイートしたらYYProbeの開発者の方がすぐに対応してくれました！次回試すので楽しみ！
https://twitter.com/yysystem_dev/status/1602468517307387904?s=20&t=UIrHuBItqzv4Ky2PDeBsRg
聴者側は一人一人Bluetoothヘッドホンをつけたら認識率上がるかもって思ったけど、雑談するのに準備をするのは難しかった。
その他はこんなことに気づきました
認識トラブルに気を取られてしまい、話の内容に集中できない。やり取りがしたいのに「あれ？さっきのどこいった？」とか「うまく認識できないねー」とか認識そのものの話が挟まってしまい流れが悪くなる結果に。
対面で話している時は話者分離できてなくてもそんなに気にならないと言う意見が。YYProbeとは別に学生さんがWordの文字起こしを使っていた。そこでは話者分離はできてないんだけど、少人数なら誰が話しているかは大体見当がつくからこれでもいいかもしれない、とのこと。
話に夢中になると、聴者側が文字起こしを確認しなくなる。結果、実は認識がちゃんとされていなくて伝わっていなくて会話の流れがずれてしまう。
聞こえ方とか話し方とか簡単に示したほうがいいんだろうか。その辺聴者としても分かったほうがいいよなぁ。発話できると聞こえると勘違いしてしまう。
会議はともかく雑談で音声認識使うのは、やっぱり難しいなぁ。あとはやっぱり聴者が文字起こしされたものを確認できる仕組みは必要かもしれない。
と言うわけで、次回12/19 18:00くらいにTsukuba Place Labに雑談をしに行こうと思ってます！
この記事が気に入ったらサポートをしてみませんか？