”ゆかりねっと”とまあちゃんをつなぐ

１．繋ぐ目的

これまで、UDトーク®とまあちゃんをつないで、音声をうまく文字化する方法を模索してきました。

そんな中、音声認識ってどんな使われ方をしてるんだろ？と周りを見てみると、ゲーム実況とかで応用されていることを知りました。

ゲーム主の声を認識させて文字化させ、ボーカロイドなどの可愛い声に置き換える、なんとも良くできたシステムだと思います。

この手の技術で使われているのは専ら Google 音声認識。でも、ゲーム用語とか音声認識辞書にないものは単語登録したほうが認識率がいいはず！ということで、UDトーク®とつなぐための手段をまあちゃんAPIで
作ってみることにしました。

UDトーク®というのは、小池塾みたいな会議の場から、セミナー、学校、市役所、会社の会議をはじめ、渋谷のラジオなどラジオ番組の即興文字化などでもつかわれる、携帯コミュニケーションアプリです。

このUDトーク®では、AmiVoice® Cloudを用いた高精度な音声認識が使えると言う事で、Googleでは認識しないんだけど…というケースにも対応できるかも！というわけで、やってみましょう！

２．仕組み

最近よくあるGoogle音声認識システムと同様、ゆかりねっとでも　Google Chrome をつかって音声認識させてwebsocketで返答しているようです。

なので、まあちゃんAPIでも　接続専用のWebSocketを立ち上げて返答するようにしました。

ゆかりねっと側では、毎回使用するポートを変えているようなので、APIではポートを毎回解析して指定されたポートを開いて返答するようにしています。

※ちなみに、まあちゃんのAPI通信もWebSocketです（ws://127.0.0.1:50000、JSON）。ゆかりねっと側をすこし改造すれば、まあちゃんに直接つながるようにもなる気がします。

３．使い方

まず、まあちゃん 2017 Release 17c に接続用のアプリを用意してあります。まずはこれをダウンロードしてください。

※アプリはここからダウンロードしてください。

そのあと、ゆかりねっとのChrome指定欄に通信ゲートウェイ用のアプリを指定します。

まあちゃんをインストールすると、Machan_YukarinetteConnector.exe というアプリがあるのでこれを指定してください。

その次に、携帯電話にUDトーク®をインストールします。

そのとき、「接続先（サーバー）として起動する」をONにしておきましょう。また、PCと同じWiFiに繋いでおきます。

そのように設定すると、接続先がでてきます。

そのトークルームに接続すれば、あとはボタンを押して話すだけで
音声認識させるところは準備完了です。

パソコン側は、まずUDトーク®とまあちゃんをつなぎます。

通信方式としてUDトーク®を選ぶと、接続先が出るのでダブルクリックしてUDトーク®と繋ぎます。

それから、ゆかりねっととつなぐために、ツール用API通信ポートもあけておきます。

これで通信を橋渡しするための準備ができました。あとは、ゆかりねっとから音声認識を開始してみてください。

現段階では、ゆかりねっとのマイクミュートなどとは連携できてません。
音声認識を止めたいときはUDトーク®側の認識ボタンで止めてあげてください。

というわけで、動作風景はこちら。

ってなわけで、ゲーム実況とかに興味がある皆さんも、ぜひこの技術を応用してみてください(^^)ノ

UDトーク®の使い方が分からないかたは、こちらのマニュアルからどうぞー。

４．最後に

きっと、ゆかりねっと　とか、FaceRigとか、こういう技術をつかって楽しんでいく時代になっていくのでしょう。

こういうところに、文字支援アプリがつながっていくのも、何か面白い未来をつくっていく布石になればいいな、とおもいます(^^)

※追記 18/06/01
もっと簡単に音声認識がつかえるようにした記事をかいたので、ぜひつかってみてください。