大手AI文字起こしの精度を比較してみたGoogle vs OpenAI Whisper vs Azure vs AWS
こんばんは、IZAIエンジニアチームです。
本記事では音声認識のうち、文字起こし（Speech-to-Text）タスクにおいて特に高い精度が期待されているサービスの主要2社（Google Cloud, OpenAI）のAPIを用いた文字起こし精度を検証・比較します。
認識精度の比較方法
認識精度は電話相当の音質の音声を用意し、正解文章とのCER = 文字誤り率を計算することで測定します。
※CERスコアとは・・・Character Error Rateの略。正解文章の長さに対して、文字起こし文章に文字の過不足・誤りが何字あるかを示す指標。
日本語の文字起こしの精度測定によく用いられる。（英語ではWERが用いられることが多い）
評価用データセットを用意
電話音声 × 3本
サンプリングレート：8kHz
ビット数：8bit
音声長：約2分x3本（それぞれ600~700字程度）
検証結果
※ CERの計算では、以下の要素は無視して算出しています。
・大文字/小文字
・句読点
・スペース
・漢数字/英数字
・カタカナ/英語
1. Google Cloud Speech-to-Text 結果
Google - 1. 不動産賃貸の対応（CER: 4.9%）53/715字
いらっしゃいませ、本日は 物件のご案内をさせていただきます。abc不動産の田中です。はい、よろしくお願いします。駅から徒歩10分以内で2ldkを探してるんですけど、かしこまりました。お客様のご要望に合う物件を3件ほど ご用意しております。お見せしますね。まず1件目は 東京都世田谷区桜ヶ丘2の15の8のグリーンハイツ桜ヶ丘です。駅から後方 7分2ldk 65平米地区5年です。家賃は月額18万5000円で資金 1ヶ月0金 1ヶ月となっております。筑5年なら 比較的新しいですね。南向きですか？はい、リビングダイニングは南向きで日当たり良行です。キッチンは対面式で食器洗い、乾燥機も設置済みです。浴室乾燥機付きの 浴室、温水洗浄、ベンジャー エアコン 2期も 標準搭載されています。次の物件も教えていただけますか？2件目は 世田谷区経路 1の23の12のサンライズ系道です。駅から徒歩5分、2ldk 58平米地区 8点です。家賃は月額18万 16万8000式 1ヶ月 平均 1ヶ月です。こちらは 角部屋で最高も良行 システム、キッチン、浴室、乾燥機 温水洗浄弁 打付きです。近くにスーパーやドラッグストアもございます。ありがとうございます。最後の物件も聞かせてください。3件目は 世田谷区、松原3の8の19のプラタ 松原です。駅から徒歩9分、2ldk 62平米地区 3年です。家賃は月額19万2000円 2ヶ月 0金 1ヶ月となっております。オートロック宅配ボックス完備で防犯カメラも設置されています。各部屋に収納があり、ウォークインクローゼット もついてます。ありがとうございます。内建は可能でしょうか？はい、本日午後であれば 3件 伴い可能です。ご希望の時間帯をお伺いできますでしょうか。# 誤認識の例
「徒歩」 → 「後方」
「築5年」 → 「地区5年」
「敷金」 → 「資金」
「便座」 → 「ベンジャー」
「エアコン2機」 → 「エアコン2期」
「58平米、築8年」 → 「58平米地区8点」
「16万8000円で」 → 「16万8000式」
「礼金」 → 「平均」
「採光も良好」 → 「最高も良行」
「便座付き」 → 「弁打付き」
「礼金」 → 「0金」
「ご案内可能」 → 「伴い可能」
Google - 2. 家電量販店での対応（CER: 2.7%）14/532字
いらっしゃいませ。本日は何をお探しでしょうか？あの、冷蔵庫を探してるんですが、まかしこまりました。ご予算や容量のご希望ございますか？予算は15万円くらいまでで、容量は400l以上考えています。ご要望にある商品を3つ案内させていただきますね。まず、パナソニックのnrはいf56506hpxです。容量は501l価格14万8000円幅68.5cmの大容量モデルで真ん中に野菜室がある6ドアタイプです。消エネ性能も高く年間電気代は約2万1000円です。他のメーカーも見てみたいです。では日たちのRWX62kもおすすめです。容量475l価格13万9800円真空チルド付きで。料理した食材の保存に優れてます。年間電気代は約1万9800円です。最後に三菱電気のmrwx47lfをご紹介します。容量は470l価格14万2000円室が真ん中にある構造で取り出しやすい設計になっています。実際の収容量を見てみたいのですが、もちろんです。展示品がございますので、扉の開閉や収納スペースをご確認いただけます。どの商品からご覧になりますか？パナソニックのものからお願いします。かしこまりました。こちらの商品は上談が冷蔵室で棚の高さも調節可能です。真ん中の野菜室は3段かに分かれておりまして。# 誤認識の例
「まかしこまりました」→「かしこまりました」
「室が」→「野菜室が」
「nrはいf56506hpx」→「NR-F56506HPX」
「消エネ性能」→「省エネ性能」
「日たち」→「日立」
「三菱電気」→「三菱電機」
「実際の収容量」→「実際の収納容量」
「上談」→「上段」
Google - 3. 携帯電話の乗り換え案内（CER: 1.6%）
いらっしゃいませ。本日はどのようなご 予見でしょうか？スマートフォンの機種変更を考えているんですが、かしこまりました。現在 お使いの機種と新しい端末に特に重視される 電話を教えていただけますでしょうか。今は iphone11を使ってます。カメラ性能が良くて バッテリーの持ちがいいものを探してます。ご予算はどれくらいお考えでしょうか？12万円くらいまでなら大丈夫です。ありがとうございます。それでは おすすめの機種を3つ 紹介させていただきます。まずiphone 14 Pro 128gbモデルです。価格は11万9800円 トリプルカメラで4800万画素のメインカメラを搭載。暗所でも明るく綺麗な写真が撮影できます。バッテリーは約2。3時間の道具 再生が可能です。android 端末も検討したいんですけど、ではgalaxy S20 ウルトラ 256gbモデルもおすすめです。価格は11万6800円 1億800万画素のメインカメラに加え、高額 10倍ズームが可能な 望遠カメラも搭載 5000mahの大容量バッテリーで長時間の使用が可能です。また、google Pixel 7 Pro 128gbモデルも人気です。価格は10万8800円。AI 処理による画像の補正が特徴で夜景撮影も得意です。バッテリーは 2。4時間の連続使用が可能です。実際に触って 比較できますか？はい、展示機をご用意しております。カメラの画質や バッテリー持続時間の詳細なデータもお見せできます。（正解文字数: 618）# 誤認識の例
「ご予見」→「ご用件」
「電話」→「点」
「約2。3時間の道具再生」→「約23時間の動画再生」
「galaxy S20 ウルトラ」→「Galaxy S23 Ultra」
「高額」→「光学」
「2。4時間」→「24時間」
2. OpenAI Whisper 結果
OpenAI - 1. 不動産賃貸の対応（CER: 4.6%）30/669字
いらっしゃいませ本日は物件のご案内をさせていただきますabc不動産の田中ですはいよろしくお願いします駅から徒歩10分以内で2ldkを探してるんですけどかしこまりましたお客様のご要望に合う物件を3件ほどを用意しておりますお見せしますねまず1件目は東京都世田谷区桜ヶ丘2-15-8のグリーンハイツ桜ヶ丘駅から徒歩7分2ldk65平米地区5年です家賃は月額18万5000円で資金1ヶ月レイティン1ヶ月となっております地区5年なら比較的新しいですね南向きですかはいリビングライニングは南向きで日当たり良好ですキッチンは対面式で初期洗い乾燥機も設置済みです浴室乾燥機付きの浴室温水洗浄便座エアコン2機も標準搭載されています次の物件も教えていただけますか2件目は世田谷区軽道のサンライズ軽道です駅から徒歩5分2ldk58平米地区8点です家賃は月額18万16万8000円資金1ヶ月レイティン1ヶ月ですこちらは角部屋で最高も良好システムキッチン浴室乾燥機温水洗浄便座付きです近くにスーパーやドラッグストアもございますありがとうございます最後の物件を聞かせてください3件目は世田谷区松原3-8-19のプラザ松原です駅から徒歩9分2ldk62平米地区3年です家賃は月額19万2000円資金2ヶ月レイティン1ヶ月となっておりますオートロック宅配ボックス完備で防犯カメラも設置されています各部屋に収納がありウォークインクローゼットもついてますありがとうございます内建は可能でしょうかはい本日午後であれば3件とも内建可能ですご希望の時間帯をお伺いできますでしょうか# 誤認識の例
「資金」→「敷金」
「地区」→「築」
「礼金」→「レイティン」
「食器」→「初期」
「最高」→「採光」
「内建」→「内見」
「2機」→「2基」
OpenAI - 2. 家電量販店の対応（CER: 1.8%）
いらっしゃいませ本日は何をお探しでしょうか 冷蔵庫を探してるんですが かしこまりましたご予算や容量のご希望ございますか 予算は15万円くらいまでで容量は400リットル以上を考えています ご要望にある商品を3つ案内させていただきますね まずパナソニックの nr はい f 56506 hpx です 容量は501リットル価格14万8000幅じゅ68.5センチの大容量モデルで真ん中に野菜室が ある 6ドアタイプです省エネ性能も高く年間電気代は約2万1000円です 他のメーカーも見てみたいです ではひたちの rwx 62型もおすすめです 容量475リットル価格13万9800円 真空チルドしつきで 料理した食材の保存に優れています 年間電気代は約1万9800円です 最後に三菱電機の mrwx 47 lf をご紹介します 容量は470リットル価格14万2000円 野菜室が真ん中にある構造で取り出しやすい設計になっています 実際の収容量を見てみたいのですが もちろんです展示品がございますので扉の開閉や収納スペースをご確認いただけ ます どの商品からご覧になりますか パナソニックのものからお願いします かしこまりました こちらの商品は上段が冷蔵室で棚の高さも調節可能です 真ん中の野菜室は3段下に分かれておりまして（正解文字数: 563）# 誤認識の例
「ご要望にある」→「ご要望に合う」
「パナソニックの nr はい f 56506 hpx です」→「パナソニックのNR-F656HPXです」
「幅じゅ68.5センチ」→「幅は68.5センチ」
「ひたちの rwx 62型」→「日立のRWX62型」
「真空チルドしつき」→「真空チルド室付き」
「三菱電機の mrwx 47 lf 」→「三菱電機のMR-WX47LF」
「3段下に」→「3段下」
OpenAI - 3. 携帯ショップの対応（CER: 0.16%）
いらっしゃいませ。本日はどのようなご用件でしょうか。 スマートフォンの機種変更を考えているんですが。 かしこまりました。 現在お使いの機種と、新しい機端末に特に重視される点を教えていただけますでしょうか。 今はiPhone11を使っています。 カメラ性能が良くて、バッテリーの持ちが良いものを探しています。 ご予算はどれくらいお考えでしょうか。 12万円くらいまでなら大丈夫です。 ありがとうございます。 それでは、おすすめの機種を3つ紹介させていただきます。 まずiPhone14 Pro、128GBモデルです。 価格は11万9800円。 トリプルカメラで4800万画素のメインカメラを搭載。 暗所でも明るく綺麗な写真が撮影できます。 バッテリーは約23時間の動画再生が可能です。 Android端末も検討したいんですけど。 では、Galaxy S23 Ultra、256GBモデルもおすすめです。 価格は11万6800円。 1億800万画素のメインカメラに加え、光学10倍ズームが可能な望遠カメラも搭載。 5000mAhの大容量バッテリーで長時間の使用が可能です。 また、Google Pixel 7 Pro、128GBモデルも人気です。 価格は10万8800円。 AI処理による画像の補正が特徴で、夜景撮影も得意です。 バッテリーは24時間の連続使用が可能です。 実際に触って比較できますか? はい、展示機をご用意しております。 カメラの画質やバッテリー持続時間の詳細なデータもお見せできます。（正解文字数：613）# 誤認識の例
「機端末」→「端末」
3. Azure Speech 結果
Azure - 1. 不動産賃貸の対応（CER3.6%）25/697字
いらっしゃいませ。本日は物件のご案内をさせていただきます。ABC不動産の田中です。はいよろしくお願いします。駅から徒歩十分以内でツーldkを探してるんですけど。かしこまりましたお客様のご要望に合う物件を3件ほどご用意しております。お見せしますね。まず1件目は東京都世田谷区桜ヶ丘2の15の8のグリーンハイツ桜ヶ丘です。駅から徒歩7分、ツーldk 65フェーベ築五年です。家賃は月額18万5千円で、敷金一ヶ月礼金一ヶ月となっております。築五年なら比較的新しいですね。南向きですか？はい。リビングダイニングは南向きで日当たり良好です。キッチンは対面式で食器洗い乾燥機も設置済みです。浴室乾燥機付きの浴室。温水洗浄便座エアコン二期も標準搭載されています。次の物件も教えていただけますか？2件目は世田谷区。敬道1の23の12のサンライズ敬道です。駅から徒歩5分。ツーldk 58平米築八点です。家賃は月額18万16万8千敷金一ヶ月礼金一ヶ月です。こちらは角部屋で最高も良好システムキッチン、浴室乾燥機、温水洗浄便座付きです。近くにスーパーやドラッグストアもございます。ありがとうございます。最後の物件も聞かせてください。3件目は世田谷区、松原3の8の19のプラダ松原です。駅から徒歩9分、ツーldk 62平米築三年です。家賃は月額19万2千円、敷金二ヶ月礼金一ヶ月となっております。オートロック宅配ボックス完備で防犯カメラも設置されています。各部屋に収納があり、ウォークインクローゼットもついてます。ありがとうございます。内見は可能でしょうか？はい。本日午後であれば3件ともな意見可能です。ご希望の時間帯をお伺いできますでしょうか？ # 誤認識の例
「ツーldk」 → 「2LDK」
「フェーベ」 → 「㎡」
「二期」 → 「2基」
「敬道」 → 「経堂」
「18万16万8千」 → 「16万8千円」
「築八点」 → 「築8年」
「最高」 → 「採光」
「な意見」 → 「内見」
Azure - 2. 家電量販店での対応（CER: 3.4%）19/548字
いらっしゃいませ。本日は何をお探しでしょうか？ その冷蔵庫を探してるんですが、あかしこまりましたご予算や容量のご希望ございますか？予算は15万円くらいまでで、容量は400L以上を考えています。ご要望にある商品を三つ案内させていただきますね。まず、パナソニックのエヌアール、はいエフ56506エイチピーエックスです。容量は501L、価格14万8千円、幅68.5cmの大容量モデルで。真ん中に野菜室があるシックスドアタイプです。省エネ性能も高く、年間電気代は約2万一千円です。他のメーカーも見てみたいです。では、日立のrwx 62Kもおすすめです。175L価格、139,800円真空チルド式で。料理した食材の保存に優れてます年間電気代は約19,800円です。最後に、三菱電機のmrwx 47 LFをご紹介します。容量は470L。価格14万2千円。歳室が真ん中にある構造で、取り出しやすい石鹸になっています。実際の収容量を見てみたいのですが、もちろんです。展示品がございますので、扉の開閉や収納スペースをご確認いただけます。どの商品からご覧になりますか？パナソニックのものからお願いしますか？しこまりましたこちらの商品は、上段が冷蔵室で、棚の高さも調節可能です。真ん中の野菜室は三段階に分かれておりまして。# 誤認識の例
「その冷蔵庫」→「あの、冷蔵庫」
「あかしこまりました」 → 「かしこまりました」
「ご要望にある」 → 「ご要望に合う」
「エヌアール、はいエフ56506エイチピーエックス」→ 「NR-F565HPX」
「モデルで。 」→「モデルです。」
「歳室」 → 「野菜室」
「石鹸」→ 「設計」
「しこまりました」→「かしこまりました」
（※漢数字→英数字はCERの計算から除外）
Azure - 3. 携帯ショップの対応（CER: 1.7%）11/621字
らっしゃいませ。本日はどのようなご用件でしょうか？ スマートフォンの機種変更を考えているんですが、かしこまりました現在お使いの機種と新しい機端末に特に重視される点をお教えいただけますでしょうか？ 今はアイフォーン11を使ってます。カメラ性能が良くて、バッテリーの持ちがいいものを探してます。ご予算はどれくらいお考えでしょうか？12万円くらいまでなら大丈夫です。ありがとうございます。それではおすすめの機種を三つ紹介させていただきます。まずアイフォーンフォーティーンPro 128ギガバイトモデルです。価格は119,800円。トリプルカメラで4800万画素のメインカメラを搭載。暗所でも明るく綺麗な写真が撮影できます。りは約23時間の動画再生が可能ですAndroid端末も検討したいんですけど、ではGalaxy S twenty threeウルトラ256ギガバイトモデルもおすすめです。価格は116,800円。1億800万画素のメインカメラに加え、高額十倍ズームが可能な望遠カメラも搭載。5000mmアンペアアワーの大容量バッテリーで長時間の使用が可能です。また、グーグルピクセル、セブンプロ128ギガバイトモデルも人気です。価格は108,800円。AI処理による画像の補正が特徴で、夜景撮影も得意です。バッテリーは24時間の連続使用が可能です。実際に触って比較できますか？はい点字機をご用意しております。カメラの画質やバッテリー、持続時間の詳細なデータもお見せ行きます。# 誤認識の例
「機端末」 → 「端末」
「りは 」→「バッテリーは」
「高額」 → 「光学」
「mmアンペアアワー」→「mAh」
「点字機」 → 「展示機」
「お見せ行きます」 → 「お見せできます」
4. Amazon Transcribe 結果
AWS - 1. 不動産賃貸の対応（CER3.4%）25/730字
いらっしゃいませ本日は物件のご案内をさせていただきます。ABC不動産の田中です。はい、よろしくお願いします。駅から徒歩十分以内でツーLD調査を探してるんですけど、かしこまりましたお客様のご要望にある物件を三件ほどご用意しております。お見せしますね。まず一点目は、東京都世田谷区桜ヶ丘二の十五の八のグリーンハイツ桜ヶ丘です。駅から徒歩七分、ツーLDK六十五平米築五年です。家賃は月額十八万五千円で、敷金一ヶ月零点一ヶ月となっております。築五年なら比較的新しいですね。南向きですか？はい。リビングダイニングは南向きで日当たり良好です。キッチンは対面式で、食器洗い、乾燥機も設置済みです。浴室乾燥機付きの浴室温水洗浄ベンザエアコン二機も標準搭載されています。次の物件も教えていただけますか？二軒目は世田谷区弓道一の二十三の十二のサンライズ経堂です。駅から徒歩五分、ツーLDK五十八平米築八点です。家賃は月額十八万八千十六万八千円。敷金一か月平均一ヶ月です。こちらは角部屋で最高も良好システムキッチン浴室乾燥機、温水洗浄便座機です。近くにスーパーやドラッグストアもございます。ありがとうございます。最後の物件も聞かせてください。三軒目は、世田谷区松原三の八の十九のプラタ松原です。駅から徒歩九分、ツーLDK六十二平米築三年です。家賃は月額十九万二千円。敷金二ヶ月礼金一ヶ月となっております。オートロック宅配ボックス完備で防犯カメラも設置されています。各部屋に収納があり、ウォークインクローゼットも付いています。ありがとうございます。内見は可能でしょうか？はい、本日午後であれば三点とも意見可能です。ご希望の時間帯をお伺いできますでしょうか。# 誤認識の例
「ツーLD調査」→「2LDK」
「ご要望にある」→「ご要望に合う」
「一点」→「1件」
「ツーLDK」→「2LDK」
「十八万五千円」→「18万5000円」
「零点」→「礼金」
「ベンザエアコン二機」→「便座、エアコン2機」
「弓道」→「経堂」
「築八点」→「築8年」
「平均」→「礼金」
「最高」→「採光」
「便座機」→「便座」
「意見」→「内見」
（※漢数字→英数字はCERの計算から除外）
AWS - 2. 家電量販店での対応（CER: 2.1%）12/557字
いらっしゃいませね。本日は何をお探しでしょうか？あの冷蔵庫を探しているんですがあかしこまりましたご予算や容量のご希望ございますか？予算は十五万円くらいまでで、容量は四百リットル以上考えています。ご要望にある商品を三つ案内させていただきますね。まず、パナソニックのNRはいF五六五丸六HPXです。容量は五百一リットル。価格十四万八千円幅六十八点五センチの大容量モデルで、真ん中に野菜室があるシックスドアタイプです。省エネ性能も高く、年間電気代は約二万一千円です。他のメーカーも見てみたいです。では、日立のRWX六十二Kもおすすめです。容量四百七十五リットル価格十三万九千八百円真空チルド室付きで料理した食材の保存に優れています。年間電気代は約一万九千八百円です。最後に、三菱電気のMRWX四十七LFをご紹介します。容量は四百七十リットル価格十四万二千円。円室が真ん中にある構造で、取り出しやすい設計になっています。実際の収容量を見てみたいのですが、もちろんです。展示品がございますので、扉の開閉や収納スペースをご確認いただけます。どの商品からご覧になりますか？パナソニックのものからお願いします。かしこまりましたこちらの商品は上段が冷凍室で、棚の高さも調節可能です。真ん中の野菜室は三段階に分かれておりまして、# 誤認識の例
「いらっしゃいませね」 → 「いらっしゃいませ」
「探しているんですがあ」 → 「探しているんですが。」
「あかしこまりました」 → 「かしこまりました」
「NRはいF五六五丸六HPX」 → 「NR-F506HPX」
「三菱電気」→「三菱電機」
「円室」 → 「野菜室」
（※漢数字→英数字はCERの計算から除外しています）
AWS - 3. 携帯ショップの対応（CER: 0.81%）5/618字
いらっしゃいませ、本日はどのようなご用件でしょうか？スマートフォンの機種変更を考えているんですが、かしこまりました。現在、お使いの機種と新しい端末に特に重視される点を教えていただけますでしょうか？今はアイフォン十一を使ってます。カメラ性能が良くて、バッテリーの持ちがいいものを探しています。ご予算はどれくらいお考えでしょうか？十二万円くらいまでなら大丈夫です。ありがとうございます。それではおすすめの機種を三つ紹介させていただきます。まず、アイフォンフォーティーンプロ百二十八ギガバイトモデルです。価格は十一万九千八百円。トリプルカメラで四千八百万画素のメインカメラを搭載。暗証でも明るく綺麗な写真が撮影できます。バッテリーは約二十三時間の動画が再生が可能です。アンドロイド端末も検討したいんですけど。では、ギャラクシーエストゥエンティスリーウルトラ二百五十六ギガバイトモデルもおすすめです。価格は十一万六千八百円。一億八百万画素のメインカメラに加え、高額十倍ズームが可能な望遠カメラも搭載。五千ミリアンペアアワーの大容量バッテリーで長時間の使用が可能です。また、グーグルピクセルセブンプロ百二十八ギガバイトモデルも人気です。価格は十万八千八百。AI処理による画像の補正が特徴で、夜景撮影も得意です。バッテリーは二十四時間の連続使用が可能です。実際に触って比較できますか？はい、展示機をご用意しております。カメラの画質やバッテリー持続時間の詳細なデータもお見せいきます。# 誤認識の例
「暗証」 → 「暗所」
「高額」 → 「光学」
「十万八千八百」 → 「十万八千八百円」
「お見せいきます」 → 「お見せいたします」
「アイフォン十一」 → 「iPhone 11」
「アイフォンフォーティーンプロ」 → 「iPhone 14 Pro」
「アンドロイド端末」 → 「Android端末」
「ギャラクシーエストゥエンティスリーウルトラ二百五十六ギガバイトモデル」 → 「Galaxy S23 Ultra 256GBモデル」
「グーグルピクセルセブンプロ」 → 「Google Pixel 7 Pro」
比較結果まとめ
主要4サービスのCER
以上、主要4サービスの文字起こしを比較してみました。
どのサービスも2%程度の誤認識率で精度が高く、どのサービスも高いですが、Whisperが実用上は最も精度が高い印象です。
各サービスの特徴
1. Google Cloud Speech-to-Text: 全体的に精度は悪い。ただし住所は高精度
Googleは他サービスと比較してやや精度が劣りますが、実用レベルの認識は可能です。特に住所の認識は高精度で、出力形式も自然です。
2. OpenAI Whisper: 最も高精度。だがリアルタイムには非対応
Whisperは最も精度が高く、携帯ショップ対応に関しては固有名詞も含めてほぼ完璧と言える文字起こしを実現しています。出力形式も他サービスと比較して圧倒的に安定しています。その他にも唯一「光学」の文字起こしに成功していたり、句読点の位置やフィラーの除去などがされており高精度です。
一方日本固有の単語「礼金」「築」「内見」「日立」といった単語の認識精度は低いようで、誤認識では無くそもそもこれらの単語を学習していない可能性が高いので業界によっては実用が難しい可能性があります。特に、不動産賃貸におけるWhisperの4%超のCERは、「礼金」→「レイティン」の誤字×3箇所の影響が大きく、仮に礼金を正しく認識できていた場合、CERは4.6%→2.3%となり全てのタスクで最も高精度となる計算となるのでポテンシャルに期待です。
また、他３サービスと異なりOpenAI Whisperはリアルタイム文字起こしに対応していない点も注意です。録音ファイルをアップロードして一括で処理することしかできません。
3. Azure Speech: バランスの良い文字起こし精度
Azure Speech は全体的に中程度の精度を示しています。固有名詞や製品名の認識は比較的正確で、特に数字の認識精度が高いという特徴があります。一方で、「採光」を「最高」と誤認識するなど、文脈に依存する単語の認識には課題が見られました。
4. Amazon Transcribe: 精度は高いが、出力形式に難あり
AWSのAmazon Transcribe はCERの数字はWhisperに次いで高精度となりましたが、漢数字での出力が目立ちました。そのため実際の使用感は数字上のCERより読みづらくなる可能性があります。さらに句読点の省略が多く、読みづらい文章になる傾向があります。
ただし、基本的な単語の認識精度は安定しています。
選定の際のポイント
選定の際のポイントを簡単にまとめると、
リアルタイムでなくて良い: OpenAI Whipser
→出力形式を問わない： AWS
→住所の精度が重要： Google（Azureでも可）
→その他： Azure（Googleでも可）
となるでしょう。
例えば必要で数字や住所など正しい出力形式とリアルタイム性が必要なコールセンターなどのケースでは、GoogleかAzureが最適です。
本記事を参考にぜひ、最適な文字起こしサービスを選択してください。
最後に
IZAIでは自然な音声インターフェースの社会実装を目指して、コールセンター向け効率化サービスを提供しています。興味のある企業様、エンジニア、学生はお気軽にHPよりお問い合わせください。ではまた！
参考になった方、興味のある方はぜひ「いいね」「コメント」をよろしくお願いします！執筆の励みになります。