英語教育研究でAmazon Mechanical Turkを使うメリットはあるか
最近読む論文（海外のもの）の中にAmazon Mechanical Turk (MTurk) を使ったものが増えてきたので，自分の研究にも使えるのではないかと思って関心を持っていた。そこで，試験的にMTurkを使ってみて，そのメリットがあるかどうかを検討することにした。自分の研究とは，広義では英語教育に関する研究のことである。もしかしたらすでに国内の英語教育系の学会での発表や論文でMTurkを使った研究が報告されているのかもしれないが，少なくとも私自身はそういった研究に出会ったことはない。
なお，すでにMturkの使用について詳細に解説したものや，使用体験を記した他の記事もあるので，ここではMturkを使ったことがない，あるいは存在を知らないという同じ分野の研究者に向けて書く。そのため，本記事には初歩的・表面的な情報しかないので，本格的にMTurkを使ってみたいと思っている方や他の分野の方は上記リンクから他の資料を参照したほうがよいだろう。ただし，2020年2月現在，私が使用したMTurkでは上記資料と仕様が一部違うところもあったので，情報としてはこちらのほうが新しいのだとは思う。
1 英語教育研究でMTurkが使える可能性
Mturkとはいわばクラウドソーシングと呼ばれるものの1つで，Amazonが提供するオンラインサービスを通じて，ある調査に対して大量の人から回答を得たり，機械学習のための教師データを得たりする目的で活用されることが多い。
では，いわゆる英語教育研究でMTurkを使用するメリットがあるのかということだが，私自身はあるのではないかと思った。とはいえ，英語教育に関する研究全般で使えるわけでは当然なく，英語教育研究の中でも特定の課題を扱ったもの，たとえば英語母語話者と非英語母語話者を比較するような研究では使用する価値はあるように思う。（この手の研究を英語教育研究と呼ぶかどうかは別問題としたいが，実際に英語教育系の学会ではこのような研究が発表されることは珍しくない）
このような研究では，英語母語話者と非英語母語話者の双方から何らかのデータを収集し，それを比較して類似点や相違点を見出すというアプローチが取られるのが一般的である。データを収集する際，非英語母語話者は「日本語を母語とする英語学習者」を想定すれば，日本で彼らのデータを多く集めることはそこまで大変ではない。一方で，比較対象とする英語母語話者のデータを集めたいと思った時はかなり難しい。私自身は英語母語話者を募集した経験はないのだが，大学の留学生センターを頼ったり，知り合いを伝って英語母語話者を探したりなんて話を聞いたこともある。それでも，多くて20名くらいをなんとか集めるという感じだろう。
そこで，このように英語母語話者のデータを多く集めたいというときにMTrukを活用できるのではないかと考えた。しかし，問題は果たしてMTurkを使って英語母語話者のデータを集められるのかということである。残念ながら，いろいろと調べて見るとその答えはNoだと分かった（少なくとも現状では）。
まず，MTurkで回答する人はアメリカを中心にしながらも，世界中に存在することになっている。その中で，いろいろな条件をつけて回答者を限定することができるのだが，その中に「英語を母語とする者」という条件はない。使用言語に関する条件としては，「流暢さ（基礎レベル）」というものがフランス語やスペイン語，中国語に関して設定されているのみである。
ただ，いくつかの条件を設定して「英語母語話者に近い回答者」を設定することはできる。まず，回答者の居住国の設定の中にUS在住という条件がある。この設定は無料でできる。また，有料ではあるが，USでの大学卒業の学位（Bachelor's Degree）と大学院卒業の学位（Graduate Degree）がある。US在住であり，USでの大学あるいは大学院での学位を持っていれば，母語かどうかにかかわらず，かなりの英語力を持っている回答者といえるのではないか。
私が現在行っている英語リーディングに関する研究に関して言えば，英語母語話者と英語学習者の比較を直接したいわけではなく，通常の英語話者（読み手）であればこう答えるといった模範あるいはNormが必要で，それを構築するためのデータが欲しかった。なので，Native English-speaking readersとは言えないが，先ほどのような条件を設定することでSkilled English readersという位置づけでMTurkを使って大量のデータを集めることができるのではないかと思った。
ただし，MTurkで英語母語話者のデータを集めることが全く不可能というわけではない。MTurkの調査の中で母語を回答させたり，公式の設定ではないけどもタイトルの中に「英語母語話者のみ」と書いているような課題も見かけた。回答者が虚偽の報告をしない限りは，そのようにして英語母語話者のデータを集めることも可能だろう。
同様に，英語L2話者あるいは英語学習者も公式に条件設定することはできないが，同じ方法でMTurkで大量のデータを集めるということもできるだろう。実際にBerger et al. (2019) では調査中に使用言語や英語学習歴などを含めて英語学習者をMTurkから集めているのだが，彼らのことを "self-identified NNS speakers of English residing within the United States" (p.197) と論文中では表現している。ただし，最後に述べるが，こういった方法はどれだけ信頼性があるものなのかは不明である。
以下，先に述べたSkilled English readersからのデータを得る目的で，実際にMTurkを使ってみてうまくいかなかったことなどを書いていく。ここからはあくまでおまけの情報なので，メモ程度にざっくり書いておくだけにする。
２ MTurkでの失敗1
冒頭に言及した解説資料などをもとに，自分でMTurk上で課題を作成してみた。私の研究で行う課題は，短い英文を読んでそれに対する6段階の評価をさせるというものである。MTurkでは様々なテンプレのようなものがあるので，それをもとにHTML形式のコードを編集しながら課題を作成した。
一応課題は完成して，まずは10名に予備的にやってみようと思い，先ほど述べたUS在住，US大学卒という回答者の条件付きで課題を公開した。が，そこで問題が発生した。実際の回答者から，1つの課題を終えたら次に進まずそこで終わってしまったという連絡を複数受けた。急いで課題をキャンセルしたが，すでに5名が回答してしまっていた。こちらのミスなので報酬は払いつつ，新たに課題の修正を試みた。
3 MTurkでの失敗2
結局，HTML形式の課題では自分の知識不足もあり，うまく課題が作れなかった。MTurkではGoogle formなどのリンクを貼って調査に答えてもらう方式もあるので，そちらを採用してみることにした。なお，この方式はMTurk全体ではマジョリティーではないが，一定数見かけるので珍しくはないやり方なのだろう。コードを編集するよりは楽に課題を作成できるというメリットはあるものの，各調査項目の回答時間など詳細なデータは得られないのがデメリットではある。
Google formで改めて課題を作成し，MTurk上の課題にそれを紐づけて再度課題を公開した。ただし，また間違いがあるといけないので，今回は確認のために1名のみを募集した。調査自体はうまくいったのだが，得られた回答を見るとどうもこちらが想定した回答になっていない（英文を読んで理解しているとは言い難いようなデータになっている）。これが直接的な原因か分からないが，実はUS大学卒という条件は有料で，10名以上の募集でのみ適用可能であっため，今回の1名募集ではそれを設定できていなかった。なので，今度は10名でこちらが希望する条件をすべて入れた募集をすることとした。
4 MTurkを使った予備調査の完了
改めて10名，US大学卒という条件付きで募集を行った。調査は無事終了し，データを集計してみると，今度は期待していたようなデータが集まった。なお，報酬は20分で1$という非人道的ではないものの相場よりはやや低いという値段であったが，10名のデータは10分を待たずして集まった。
これで一応，自分が欲しいと思っているデータをSkilled English ReadersからMTurkを通じて多数かつ容易に得られそうだということが分かったので，予備調査としては完了ということにした。あとはデータをもう少し詳細に確認したり，課題を微修正したりして本調査への準備をしていく。
5 MTurkの良いところと不安なところ
まだ予備調査を終えた段階なので，本調査後に何かあればまた追記したいが，現時点でのMTurkの良いところと不安なところを書いておく。
良いところは，英語母語話者という厳密な定義ではなく，英語母語話者に近いとか，流暢な英語話者とかいう少し緩めの定義であれば，それらを対象として言語課題に対するデータを大量に，わずかな時間で集められることである。日本国内ではアクセスしにくいpopulationにオンラインを通じでアクセスできるというのは，研究上の大きなメリットとなるだろう。
一方で，得られるデータの質には若干の不安が残る。今回の調査では英文レベルとしては英検2級くらいのものだったので，1名募集の際に期待とは異なる回答が得られたことには驚いた。自分の英語での指示が伝わっていなかったかと不安にもなったのだが，次に条件を加えて10名募集した時には比較的期待したデータが得られたので，そういうことではなかったのだろう。ただし，もちろん個人差はあるのだが，この10名でも想定以上に回答はばらついていた。
いずれも追加の費用が掛かることだが，回答者の条件をより厳しくしたり，報酬を上げたりすることで得られるデータの質は多少向上するかもしれない。しかしながら，オンラインであるが故，回答者がどの程度課題にコミットしているかというのは分からない。もしかしたらNetflixを見ながら回答しているかもしれないし，アルコールを飲みながら回答しているかもしれない。実際にクラウドソーシングで得られるデータの質については現在進行形で議論されているようであり，簡単な問題でもなさそうだ。
また，本来はMTurk上で課題を完結させたいのだが，それにはもう少し知識とスキルが必要だ。あと少しのところまでは行けたのだが，人によってはかなり苦労するフェーズだろう。
6 手法は手法
こういう新しい手法が出てくると，それを最善のものとして深い考えなしに飛びついてしまう人が一定数いるだが，手法はあくまで手法である。自身の研究目的に合わせて，本当にそれが必要・意義のあるものなのかを検討し，採用するものである。
本記事のタイトルを「メリットはあるか」としている通り，私自身は同じ分野の研究者にMTurkの使用を強く推奨しているわけではなく，本当に使う価値があるのか，何か問題はないのか，どのような場面・研究で使うことが適切なのかを検討・議論することが必要で，本記事がそのような議論の素地になればよいと思っている。たとえば，調査の中で母語やL2を自身で報告させることがどれだけ妥当なのか，できるだけ公式の条件設定から有用なものを選んだほうがいいのではないか（それも自己報告かもしれないが）などはもっと考えていったほうがいいと思っている。また，国内の研究者にとってはほとんどの場合日本語を母語とする学習者を研究対象に想定していて，フィールドを広げても比較対象としてアジア圏の学習者だと思うが，MTurkでUS在住の学習者を研究対象とすることにどれだけ意味があるのだろうか。
今後，この記事をきっかけにかどうかは別として，英語教育系の学会でMTurkを使った研究の報告がちらほら見られるようになるかもしれない。あくまで手法は手法で，MTurkを使ってみたいからという動機や大量のデータを取ったことをアピールしたいからという理由で研究デザインを立てるという本末転倒なことにならないように注意したい。