音声/音質の評価方法 第2回
この記事を書いたのは 山岡さん.
0. 前回の記事の内容
前回の記事まだご覧になってない方はぜひこちらから読んでみてください。
1. この記事から理解できることは？
一対比較法について
一対比較法における一意性の検定
2. 一対比較法とは
一対比較法とは…
全ての評価対象系により出力される1音声について、取り得る2つの組合せ全てに対して、音声を比較し優劣を判定する方法です。
そのため$${n}$$個の評価対象系($${A_1}$$, $${A_2}$$,…,$${A_n}$$)が存在する場合、$${n(n-1)}$$ 個の組合せ($${A_1A_2}$$,$${A_2A_1}$$,…,$${A_nA_{n-1}}$$)について評価をする必要があります。音声を$${S}$$種類用いる場合には、$${Sn(n-1)}$$ 個の組み合わせの優劣を判定が必要になります。
各組み合わせにおいて、2つの音声を一定の間隔で受聴し、評価者に「どちらの音声の方が音が大きく感じますか」などの評価質問に対して回答していただきます。
一対比較法は評価者の判断が容易であるため、信頼性の高い結果が得られます。しかし、評価対象系の数の2乗に比例して必要な時間が増加するため、多くの時間を要します。
一対比較法を行う際には以下のことが確認できる場合、確認することが好ましいです。
一意性の検定
一致性の検定
一意性の検定では、参加者ごとに判断が一貫しているかを評価することができます。
一致制の検定では、評価を行った集団の判断の一致性を評価することができます。
どちらの検定も、一人の参加者が全ての組み合わせを評価する手法でのみ行うことができます。
では、そもそも一対比較法にはどのような手法があるのでしょうか？
一対比較法には、大きく分け、２つの音に対して、優劣を評価する手法と、評点（５件法など）により評価を行い、優劣とその差を算出する手法があります。
それぞれには以下のような手法が存在しています。
◆優劣のみの比較する手法
・ブラッドレイの一対比較法
・サーストンの一対比較法
◆優劣とその差を算出する方法
・シェッフェの原法
・浦の変法
・芳賀の変法
・中屋の変法
2.1 各手法の概要
各手法の概要を表1にまとめました。
表1 一対比較法の手法の概要
また表2で各手法の相違点は以下の通りです。
表2 一対比較法の各手法の相違点
表2の各軸について補足です。
◆評価段階
二択：2つの試料を提示し、2択で回答する。
例：Aの音とBの音どちらが大きく聞こえますか
Aの音の方が大きく聞こえる
Bの音の方が大きく聞こえる
複数：2つの試料を提示し、複数の選択肢から回答する。
例：Aの音とBの音を聞いて以下の選択から最も近い感覚を選んでください
Aの音の方がとても大きく聞こえる
Aの音の方が大きく聞こえる
どちらの音も音量は大差ないように聞こえる
Bの音の方がとても大きく聞こえる
Bの音の方が大きく聞こえる
◆提示(数)
提示数とは一人のパネリスト(評価者)に何個のデータを評価してもらうかである。
1の場合は一つの評価対象ごとに別々の人が回答していただくことを意味し、全対の場合はすべてのデータに対してすべての評価者が回答することを意味しています。
◆順序効果
順序効果とはデータを比較する場合、どちらを先に聞くかによって評価が異なるかどうかを考える概念です。
例えば、音声Aを聞いてから音声Bを聞くことと音声Bを聞いてから音声Aを聞くこととには評価が異なる可能性が可能性が高い場合は順序効果ありの手法を選択するべきです。
なので、音の大きさの評価では順序効果を考慮する必要はあまりないように思いますが、発話内容＋話し方から得られる印象の評価などでは順序効果を考慮する必要があるように思われます。
また、これらの手法の中で、検定が可能な手法は、サーストンの一対比較法（全対の場合のみ）・ブラッドレイの一対比較法（全対の場合のみ）・浦の変法・中屋の変法です。
2.2 手法の選択
2.1節では各手法の概要について述べましたが、どの手法を選択するべきかについて述べます。
評価軸としては表2の評価軸が基本になりますが、実際は予算なども評価軸として考量しなければならないことが多いです。
評価するデータの数にも依存しますが、評価データを集めるまでに最もコスト（時間やお金）がかかるのは、浦の変法です。
逆に最も早く評価データを集めれるのは、ブラッドレイの一対比較法です。
どのくらいの差があるか例を用いて比較します。
ブラッドレイの一対比較法はデータ数が少ない場合に特に有効なため比較する浦の変法と比較する手法はサーストンの一対比較法とします。
比較対象が10個だった場合は
となります。例えば、浦の変法の評価者が５人だった場合は、単純計算でサーストンの一対比較法より10倍の時間がかかることになります。
ただ、評価者をどのようにして見つけるのかなどを考えると一概に10倍とかではないのですが….（この辺りはややこしくなるのでこのあたりで）
特に上記のようなコストを考えない場合は以下の図のフローが手法の選択に役立ちます。
3. まとめ
今回は一対比較法の概要について紹介しました。
冒頭で述べた通り、一対比較法は評価者の判断が容易であるため、信頼性の高い結果が得られます。その一方で、評価対象系の数の2乗に比例して必要な時間が増加するため、多くの時間を要します。
また一対比較法には様々な手法があり、状況にとって最適な手法が変わるため、それぞれの図1を参照しながら、各状況における最適な手法を選定する必要があります。
弊社でも、一対比較法を用いて音声データの評価を行うPJもあります。
その際には、手法によっては検定をしっかり行う必要も出てきます。
ということで….
次回の内容
次回の記事では、今回の記事で紹介した検定（一意性の検定/一致制の検定）について紹介します