株式会社アイシンが生成 AI を活用し、聞き取りに困難のある人を支援（2023/12/05、ニュースリリース）

※米マイクロソフトからブログ更新のお知らせがニュースリリースで来ました！

+++++
株式会社アイシンが生成 AI を活用し、聞き取りに困難のある人を支援
+++++

チェン・メイ・イー (Chen May Yee) 著

添田洋美さんにとって学校の先生であっても、後に勤めた美容室のお客様であっても、人の話を聞き取ることがずっと苦手でした。
家では、換気扇の音や流水音などの生活音があると、子供たちの言葉を聞き取るのに苦労しました。

医師による検査を受けても、耳に異常は見つかりませんでした。
現在 49 歳の添田さんが、耳で聞いた言葉を脳で処理することができない状態の「LiD/APD (聞き取り困難症/聴覚情報処理障害)」があると診断されたのは、わずか 3 年前のことでした。

日本での認知度が低いため、LiD/APD のある人々は、孤独感や疎外感を感じやすく、仕事を続けたり、日常的な会話に参加したりするのが困難だといいます。

「ただ頷いて、理解しているふりをします。ときどき待ち合わせの時間を間違え、友達から『聞いてなかったの？』と言われます。そして、約束を守れない人だと思われて、疎遠になってしまうのです」

と、添田さんはよくある事として打ち明けました。

添田さんは、今年初めから、株式会社アイシンが開発した、音声を文字などに変換するアプリ「YYProbe」 https://yysystem.com/ を使い始めました。
YYProbe は、聴覚に障碍がある人々のコミュニティで広く使われていますが、LiD/APD のある人にとっては、マイクロソフトの Azure OpenAI Service https://azure.microsoft.com/ja-jp/products/ai-services/openai-service が提供する新しい生成 AI を活用した要約機能が特に役立ちます。

生成 AI ツールは、大量のデータを合成してテキスト、コード、画像などを生成する大規模言語モデル (LLM) を基盤として構築されています。
そうしたツールは、テキストを生成するだけでなく、要約することも可能です。

たとえば、添田さんは、母親が新型コロナウイルス感染症で入院した際に、医師の話を理解するために YYProbe を使用しました。
入院後、添田さんの母親はパーキンソン病や胸水、脳梗塞といった他の病気も患っていることが判明しました。

添田さんはタブレットで YYProbe を使って医師が話す内容を理解し、情報を要約して、文章化したものを妹に送りました。

「(文字を) 読む方がついて行きやすく、話が分かるようになります。それに、もし間違って聞き取っていても、読み直して確認できます」

と添田さんは言います。

添田さんの母親は 7 月に亡くなりました。

愛知県刈谷市を拠点とするアイシンは、主に自動車部品メーカーとして知られています。
中村正樹さんが率いるアイシンの研究開発チームは、当初、業務記録の作成を目的とした従業員用の音声文字化ツールとして YYProbe をコロナ禍に開発していました。

ある時、社内の聴覚障碍のある従業員にアプリを使用してもらったところ、とても評判が良いことが分かりました。
そこでチームは、聴覚障碍者だけでなく、高齢者や外国人、その他コミュニケーションに困難を抱えているあらゆる人々が使用できるツールとして、YYProbe をはじめとする音声認識システム「YYSystem」の開発に乗り出しました。
現在 YYProbe はエンタープライズ版と、月間アクティブユーザー数 1 万人以上を持つ無料版があります。
ユーザーには聴覚に障碍のある人や LiD/APD のある人も含まれていますが、中村さんはその内訳を把握するのは難しいと言います。

アイシンがアプリの構築にマイクロソフトの Azure AI 音声 https://azure.microsoft.com/ja-jp/products/ai-services/ai-speech を採用したのは、「音声認識の精度が高い」からだと中村さんは説明します。
マイクロソフトの Azure OpenAI Service を通して OpenAI の ChatGPT テクノロジを利用し、Azure AI 翻訳 https://azure.microsoft.com/ja-jp/products/ai-services/ai-translator と組み合わせることで、要約機能と翻訳機能を実現しました。

YYSystem は、官公庁や小売店のカウンターに設置されたモニターでも運用されており、東京で開催されるデフリンピック 2025 では観客に利用される予定です。

世界保健機関 (WHO) が 2021 年に発行した世界聴覚報告書 https://www.who.int/publications/i/item/9789240020481 によると、世界で 2〜10% の子供に APD があり、学習障害や発達障害のある子供により多い傾向があるとしています。
また、年齢が高い人も APD に悩まされることがあります。

日本では、聴覚に障碍がある人のための学校のネットワークが十分に発達しており、障碍のある人が職場で差別されないように保護する法律も整備されています。
一方、LiD/APD はあまり認知されていないため、何年もの間、診断されないことがあります。

支援者によると、聴覚に障碍のある人や LiD/APD のある人は、助けが必要なことを認めるのを嫌がることが多いとのことです。

神奈川県茅ヶ崎市を拠点とする情報コミュニケーションバリアに取り組む組織 4Hearts https://4hearts.net/about-us/ 代表の那須かおりさんは、「日本人は総じて他者に迷惑をかけることを嫌います。そのため、会話に参加しようとするのを諦めたり、話の内容が分からなくても笑顔のままでいたりします」と述べています。

また、補聴器を付けている人の多くが髪の毛で隠していると言います。

那須さんは、そういった状態が一種の無力化につながるとし、「こうした場合、良いか悪いか判断するための情報が得られません。判断できなければ、行動を起こすこともできなくなります」と指摘します。

4Hearts は、政府機関、学校、職場での認知や共感を高めるためのワークショップを行っています。
参加者は耳栓やノイズキャンセリング付きヘッドフォンを与えられ、聴覚に障碍のある人の状況を疑似体験することでコミュニケーションの本質を共に考えます。

コミュニティは今、日の当たる場所へと一歩を踏み出し始めています。

たとえば、電子機器会社 300 人の従業員からなる聴覚障碍者コミュニティのメンバーは、プロバレーボールリーグの観戦に出かけていますが、そのアリーナでは音響システムと YYSystem が連携し、会場音声が文字化されています。
「聞こえない・聞こえにくい方もより豊かな観戦体験ができるようになります」と、ボランティアの明石太陽さんは言います。

手話バンド「こころおと」 https://kokoro-oto.com/ は、ライブ会場でポップ、ヒップホップ、ロックの音楽をパフォーマンスし、聴覚に障碍のある人にライブミュージックを味わう機会を提供しています。
手話ボーカルを務める西槇久仁子さんは、耳が聞こえないため、
普段の生活でコンビニに行くときに YYProbe を使っており、学校の保護者面談で話について行くために要約機能を使ったこともあります。

添田さんが小学校に入学したときは、先生が黒板に書く内容を読むことができたので、問題はありませんでした。
ただ、体育の授業は大変でした。
「口頭での指示が理解できなかったので、先生は、私がふざけていて、真面目に取り組んでいないと思ったでしょう」と言います。

高校では、授業が講義形式に変わったので苦労しました。
美容専門学校を卒業し、美容師として美容室で働き始めましたが、ドライヤーの大きな音や作業音に囲まれた環境では、仕事の一環であるお客様との会話が困難でした。
「美容室のオーナーから、仕事が上手くできていないと言われました」と、添田さんは話します。

その後、騒音にまみれた製造工場に勤務したり、チェーン店のレストランでインカムをつけて上司の指示を受けながら働いたりしましたが、どちらも長続きはしませんでした。
今は、小さなレストランでウエイトレスをしています。

3 年前、添田さんは、インターネットで LiD/APD について活動している人に出会いました。
その人はテレビの全国放送で特集されており、LiD/APD 症状のチェックリストを紹介していました。
「チェックリストをやってみて、自分にぴったり当てはまると感じました」と、添田さんは言います。
そして、LiD/APD の専門家である平野浩二医師に診てもらうことになりました。

現在、添田さんは、医師や同業界で働く人を含む 123 人のメンバーで構成されたオンラインの LiD/APD 親支援グループを運営しています。
LiD/APD の治療法は無いため、症状を緩和させる方法を議論しており、たとえば、子供の学習支援として教室への機器の持ち込みを認めてもらうために活動しています。

また、アプリ開発者とも協力しています。
今年 5 月、添田さんの親支援グループは、東京・秋葉原にあるアイシンの研究開発オフィスを訪れ、開発者である中村さんとミーティングを行いました。
中村さんは、ユーザーと継続的に連絡を取りながら、要望に応じて定期的に機能を追加しており、「本当に寝る間も惜しみながら、常にコードを書いていますよ！」と話します。

添田さんの LiD/APD 親支援グループは、行間を広げて文章を短くすることや、発話者ごとに文字を違う色に変えることを提案しました。
その変更はアプリに反映されています。

添田さんは最近、LiD/APD 親支援グループで行うセミナーに YYProbe を使っています。
さらに、地元の居酒屋で友達と飲みに出かけるときなど、余暇の時間でも利用するそうです。

「店内はかなり騒がしいので、複数人で集まると苦労します」と、添田さんは言います。
アプリは会話について行くのをサポートし、音楽、笑い声、手をたたく音はシンプルなアイコンで画面に表示します。

中村さんによると、アプリは将来的に、テキストや音声だけでなく、画像、動画、グラフも入力や生成をして、コミュニケーションができるようになる予定とのことです。
生成 AI によって、すでにそれが実現可能になっています。

●本ブログの詳細につきましては、日本マイクロソフト広報資料サイトをご覧ください。
https://news.microsoft.com/ja-jp/features/231205-japans-aisin-helps-people-witsh-listening-difficulties-make-sense-of-what-they-hear-using-generative-ai/