脳内記録から生成される合成音声

2019年4月24日（金
脳内記録から生成される合成音声
新技術は神経性発声補助装置への足がかりとなる、と研究者らが発表

https://www.ucsf.edu/news/2019/04/414296/synthetic-speech-generated-brain-recordings

ニコラス・ワイラー著
Facebookでシェアする
Twitterでシェアする
Redditで共有する
この記事をメールで送る
カリフォルニア大学サンフランシスコ校の神経科学者が開発した最先端のブレイン・マシン・インターフェースは、脳の活動を利用して仮想声道（唇、顎、舌、喉頭を含む解剖学的に詳細なコンピュータシミュレーション）を制御し、自然な響きの合成音声を生成します。この研究は、発話に異常のない研究参加者を対象に行われましたが、この技術により、麻痺やその他の神経障害によって話す能力を失った人々の声を取り戻すことができる日が来るかもしれません。
脳卒中、外傷性脳損傷、パーキンソン病、多発性硬化症、筋萎縮性側索硬化症（ALS、ルー・ゲーリッグ病）などの神経変性疾患は、しばしば話す能力を不可逆的に失わせることになる。重度の言語障害を持つ人の中には、非常に小さな眼球や顔の筋肉の動きを追跡する補助器具を使って、自分の考えを一文字一文字綴ることを学ぶ人もいます。しかし、このような装置でテキストや合成音声を作成するのは、手間がかかり、間違いが起こりやすく、苦痛を伴うほど時間がかかるものです。
筆頭著者であるEdward Chang医学博士は、10年以上にわたって脳がどのように音声を生成・分析するかを研究しており、麻痺やその他の神経障害によって音声を失った人の声を回復させる人工音声の開発を目指しています。写真：Steve Babuljak
Edward Chang, MDの研究室で開発中の新しいシステム-2019年4月24日、Natureに記載-は、脳の言語中枢の活動によって制御できる人の声の合成版を作成できることを実証しています。将来的には、このアプローチにより、重度の言語障害を持つ人に流暢なコミュニケーションを回復できるだけでなく、話者の感情や個性を伝える人の声の音楽性の一部を再現できる可能性があると著者らは述べています。
神経外科の教授でUCSFワイル神経科学研究所のメンバーであるチャンは、「この研究は、初めて、個人の脳活動に基づいて話し言葉の文章全体を生成できることを実証した」と述べています。"これは、すでに手の届くところにある技術で、音声喪失の患者さんに臨床的に使える装置を作ることができるはずだという、爽快な原理証明です。"
仮想声帯が自然な音声合成を向上させる
この研究は、音声科学者のGopala Anumanchipalli博士と、Chang研究室の生物工学大学院生であるJosh Chartierが主導したものです。この研究は、人間の脳の音声中枢が、唇、顎、舌、その他の声道構成要素の動きをどのように制御して流暢な音声を生成しているかを初めて明らかにしたもので、最近の研究に基づくものです。
今回の研究で脳活動を記録するために使用した頭蓋内電極の配列例を持つゴパラ・アヌマンチパリ（PhD）。出典：UCSF
この研究から、アヌマンチパリとシャルティエは、脳活動から音声を直接解読しようとするこれまでの試みでは、成功が限られる可能性があることに気づいた。
アヌマンチパリ氏は、「声道の動きと発声される音声の関係は複雑です」と述べています。"私たちは、脳の音声中枢が音ではなく動きを符号化しているのであれば、その信号を解読する際にも同じことを試みるべきだと考えたのです"
彼らの新しい研究において、アヌマンチパリとシャルティエは、UCSFてんかんセンターで治療を受けている5人のボランティア（脳外科手術に備えて発作の原因を探るために一時的に脳に電極を埋め込んだ、発話に問題のない患者）に、言語生成に関与することが知られている脳領域の活動を記録しながら数百文の文を声に出して読むように頼んだ。
参加者の声を録音した音声をもとに、研究者は言語学の原理を利用して、その音を出すために必要な声道の動きをリバースエンジニアリングした。例えば、ここで唇を押し、ここで声帯を締め、舌先を口蓋に移動させ、その後リラックスさせる、などである。
このように、音と解剖学的構造を詳細に対応させることで、脳の活動によってコントロールできるリアルなバーチャル声帯を参加者一人ひとりに作り上げることができました。発話時の脳活動パターンを仮想声道の動きに変換するデコーダーと、その声道の動きを参加者の声に近い合成音声に変換するシンセサイザーの2つの「ニューラルネットワーク」機械学習アルゴリズムで構成されています。
これらのアルゴリズムによって生成された合成音声は、話者の声道のシミュレーションを含まない、参加者の脳活動から直接デコードされた合成音声よりも有意に優れていることが分かりました。このアルゴリズムは、Amazon Mechanical Turkプラットフォームで行われたクラウドソーシングによる書き取りテストにおいて、数百人の人間の聞き手が理解できる文章を作成しました。
自然な音声の場合と同様に、介護士が患者の発するフレーズや要求の種類を事前に把握している場合と同様に、短い単語リストから選択した方が、書き起こしは成功しました。25個の選択肢の中から69％の合成語を正確に識別し、43％の文章を完璧な精度で書き起こしました。一方、より難易度の高い50語を選択した場合、全体の精度は47%に低下しましたが、21%の文章を完璧に理解することができました。
Chartierは、「話し言葉を完全に模倣するには、まだ道半ばです」と認めています。しかし、"b "や "p "のような急な音は、少し曖昧になります。それでも、ここで作り出した精度のレベルは、現在あるものと比べて、リアルタイムのコミュニケーションにおいて驚くべき改善となるでしょう。"
人工知能、言語学、神経科学が進歩を後押しした
研究者たちは現在、より高密度の電極アレイや、より高度な機械学習アルゴリズムについて実験を行っており、合成される音声をさらに向上させることを期待しています。この技術の次の大きなテストは、話せない人が自分の声で訓練しなくてもシステムを使えるようになるかどうか、また、言いたいことがあれば何でも一般化できるようになるかどうかを見極めることです。
Chang研究室の生物工学大学院生、Josh Chartier。
研究チームの研究参加者の一人から得られた予備的な結果によると、研究者たちの解剖学に基づくシステムは、アルゴリズムが訓練した文章とほぼ同じように、参加者の脳活動から斬新な文章を解読・合成できることが示唆されました。また、ある被験者の脳活動を記録したデータをアルゴリズムに提供したところ、その被験者の声で、模倣された文章を理解できるように合成することができた。
また、発声動作の神経コードが被験者間で一部重複していること、ある被験者の声道シミュレーションを、別の被験者の脳から記録された神経指示に対応させることができることもわかった。これらの結果は、神経障害によって音声が聞こえなくなった人が、音声に異常のない人の音声をモデルにした人工音声をコントロールできるようになる可能性を示唆しています。
「手足を動かせない人が、脳でロボットの手足をコントロールできるようになった。"私たちは、いつの日か、言語障害を持つ人々が、この脳で制御された人工声帯を使って、再び話すことを学ぶことができるようになることを期待しています。"
Anumanchipalliは、"神経障害患者を助けるためのこの大きなマイルストーンの一部として、神経科学、言語学、機械学習の専門知識を結集できたことを誇りに思います。"と付け加えました。
著者紹介 AnumanchipalliとChartierは、この新しい研究の共同筆頭著者です。UCSFのBowes Biomedical Investigator、神経外科学部の教授、UCSF Weill Institute for NeurosciencesのメンバーであるChangは、上級著者であり対応著者です。
資金提供 本研究は、主に米国国立衛生研究所（DP2 OD008627およびU01 NS098971-01）から資金提供を受けました。ChangはNew York Stem Cell Foundation Robertson Investigatorである。この研究は、New York Stem Cell Foundation、Howard Hughes Medical Institute、McKnight Foundation、Shurl and Kay Curci Foundation、William K. Bowes Foundationからも支援を受けています。
開示事項 著者らは競合する利害関係を宣言していない。
カリフォルニア大学サンフランシスコ校（UCSF）は、高度な生物医学研究、生命科学と医療専門職の大学院レベルの教育、そして優れた患者ケアを通じて、世界の健康増進に貢献する一流大学である。歯学、医学、看護学、薬学のトップクラスの大学院、基礎科学、生物医学、トランスレーショナルサイエンス、人口科学の全国的に有名なプログラムを持つ大学院部門、そして卓越した生物医学研究事業が含まれます。また、サンフランシスコとオークランドにあるUCSFメディカルセンターとUCSFベニオフ小児病院の3つのトップクラスの病院、ラングレーポーター精神病院とクリニック、UCSFベニオフ小児科、UCSF Faculty PracticeからなるUCSFヘルスがあります。UCSFヘルスは、ベイエリア全域の病院や医療機関と提携を結んでいます。また、UCSFの教員は、公立のザッカーバーグ・サンフランシスコ総合病院と外傷センター、SF VA医療センターですべての医師の診療を担当しています。UCSFフレズノ医学教育プログラムは、カリフォルニア大学サンフランシスコ校の医学部の主要な分校である。
トピックス

技術情報

バイオテクノロジー

神経学

ニューロサイエンス

脳卒中と脳血管障害
おすすめ記事
研究内容

2018年5月31日
流暢に話すための脳活動パターンを発見
ペイシェントケア

2023年4月17日
UCSFの心臓病学部門がローゼンマン研究所と提携へ
教育

2023年4月11日
Learn Without a Brainの研究が2023年のUCSF Grad Slamで優勝を果たす
研究内容

2023年4月6日
圧倒される？アストロサイトがそれを助けてくれる
最新の情報をお届けします。
UCSFニュースを購読する
あなたは報道関係者ですか？
メディアセンターへ
FOLLOW US
フェイスブック

ツイッター

ユーチューブ

インスタグラム
UCSFのアドボケイトになる
UCSFメディカルセンターでのボランティア活動
募金活動を開始する
UCSFのニュースを購読する
A to Zウェブサイトリスト
アクセシビリティに関する資料
アドミニストレーティブポリシー
ブランドガイドライン
キャンパスライフサービス
キャンパスマップ
UCSFの採用情報
理事長
ダイバーシティ＆アウトリーチ
緊急事態への備え
ヒューマンリソース
図書館
人名録
警察
シャトルスケジュール
UCSFプロファイル
© 2023 The Regents of The University of California
サイトマップ
サイトマップ
利用規約
UCSF.eduのウェブサイトに関する問題を報告する