異なる生成AI間での英作文フィードバックにおける違い
英作文やエッセイライティングの学習において生成AIの活用はますます重要になっています。私も今年度、エッセイライティングの指導を伴う授業において生徒に生成AIを使ってフィードバックを得る術を紹介していこうと考えています。
私の知る限りでは、高校生が英語エッセイへのフィードバックを得る際に使えるプロンプトとして、以下の2つが有用です。
柳瀬陽介先生のプロンプト
髙木俊輔先生のプロンプト
これらのプロンプトはChatGPTで使うことを想定していますが、ChatGPTを使うためにはOpenAIのアカウントを作成する必要があります。DeepL Writeのようにアカウント登録なしで使えるサービスに比べると、生徒にわざわざアカウントを作成させるのが若干の手間でありハードルでもあると感じます。最近ではChatGPT以外に様々な生成AIサービスも登場していますので、もっと手軽に使わせることができる生成AIはないかと思い、ChatGPTだけでなくGeminiやCopilotでも英作文フィードバックのプロンプトを試してみようと考えました。
使用したプロンプト
高校生が自由英作文へのフィードバックを得るのに使えるプロンプトについて、柳瀬陽介先生のプロンプトや髙木俊輔先生のプロンプトを参考に色々と試してみました。結果、高木先生のプロンプトが、修正箇所を太字で示されたり、修正を理由とともに表形式で示してくれるなど、生徒(学習者)にわかりやすい仕様になっていると感じ、こちらをベースにさせていただくことにしました。
柳瀬先生も試行錯誤なさっていたように、修正フィードバックと理由を日本語で示すことができるか否かは、現時点ではGPT-3.5(無料版)とGPT-4で異なるようです。GPT-3.5だとどうしてもフィードバックのみを日本語で出力するということができないようで、日本語フィードバックを求めるなら有料版が必要になるということです。結果、柳瀬先生は日本語のフィードバックを諦めて、その分学生が気楽に無料版で使えるプロンプトをご提案されています。高木先生のプロンプトもその点を考慮されてか、日本語での修正フィードバックを求めていません。
この点に関して、ChatGPT以外のサービスにおける動作確認が不明でしたので、今回の試行においてはダメ元で日本語での修正フィードバックを求めてみることにしました。というわけで、今回私が利用したプロンプトは、高木先生のものを元にした以下のようなものになります。
使用した生徒解答例
生徒の解答例として、以下のものを使用しました。
文法語法上の誤りが複数見られますが、一読して意味理解を阻害するようなエラーは多くありません。理解を阻害するglobal errorと認められるのは最後の一文における "hep the school learn" くらいでしょうか。ここをどのように修正&フィードバックするかが、見どころの一つとなりそうです。
試したAI
今回は、同じプロンプトを異なる生成AIサービスで使ったらどのような結果が得られるかを検証したいと思っています。使ってみた生成AIは以下のものです。
ChatGPT 3.5 / GPT-3.5(無料版)
ChatGPT 4 / GPT-4(有料版)
Gemini(Google; 無料版)
Copilot(Microsoft Bing; 無料版、アカウントなし)
DeepL Writeの添削はどうか
生成AIの検証を進める前に、DeepL Writeで生徒解答例を添削してもらいました。DeepL Writeの最大のメリットは、アカウント登録もログインもせず、ブラウザ上で使うことができる点です。
ところどころ意味の分からない修正もありますが、全体としては十分な添削が得られていることが確認できます。最後の一文も、"help with schoolwork" と適切に修正されています。
この結果からは、添削を得るだけならばDeepL Writeで十分だと言えます。ただ、どうしてその修正が必要かについての説明はないので、生成AIを活用する利点は修正理由のフィードバックであると言えます。つまり、修正理由をどの程度提供してくれるかが、どの生成AIが有用であるかの大きな指標になりそうです。
ChatGPT 3.5 / GPT-3.5(無料版)
では、生成AIを用いたフィードバックの検証です。まずはGPT-3.5から。GPT-3.5は無料で利用できますが、アカウント登録が必要となります。
無料版にしては十分なフィードバックではないでしょうか。修正を太字で示せていない箇所があったり、表の中の修正前後の記載が不十分であったり、細かいことはあるにせよ、プロンプトで求められた事柄をほぼ忠実に実行してくれています(そうなるように柳瀬先生や高木先生が組んでくれているので、当たり前ではありますが)。
気になる修正理由のフィードバックですが、今回の検証では日本語で説明してくれました(説明の内容はあまり有用には見えませんが…)。ただし、何度かプロンプトを実行してみると、このように日本語での説明が出てくる時と出てこない時があり、不安定であると感じました。
ChatGPT 4 / GPT-4(有料版)
今度は有料版のGPT-4です。比較のために検証してみましたが、有料ですので実際に生徒に使わせることは想定していません。
ここでの検証では、修正の質、またその説明ともに、無料版のGPT-3.5とあまり違いを感じません。最後の一文の修正は "help their school learn" となっており、これに関してはむしろGPT-3.5の方が良い修正を提供しています。柳瀬先生や高木先生の試行錯誤においてネックになっていた「日本語での修正箇所の説明」をGPT-3.5でクリアしてしまっているため、この検証においては有料版GPT-4にメリットは特になかったという結果になります。
Gemini(Google; 無料版)
続いてGoogleのGeminiです。無料ですが、利用するためにはGoogleアカウントでログインする必要があります。ただ、高校生に関して言えばおそらく多くの高校生がGoogleアカウントをすでに個人で所有していると思われるので、ChatGPTのように新たなアカウント作成が不要であるという点はメリットです。
元々ChatGPTで試行錯誤を重ねて作られたプロンプトを転用しているのでGeminiにとっては不利なところですが、遜色ないフィードバックを提供してくれています。不要な修正も含まれていますが、修正箇所の説明も日本語で提供していますし、最後の一文も "help with their schoolwork" という自然な修正になっています。気になるのはロイロノートをEvernoteに修正(!!)しているところですが、こういったところはGeminiのクセなのかもしれません。
Copilot(無料版、アカウントなし)
最後にCopilotです。MicrosoftのBing上で使います。Microsoftのアカウントを持っていなくても、無料でブラウザ上で利用できます。アカウント無しではAIとの対話が4往復に限られるという制限があるようですが、今回の検証のような英作文学習で使う分には十分でしょう。
ChatGPTやGeminiでの検証とはやや毛色が違う回答となりました。フィードバックを表形式で提供してくれず、修正理由も英語のみの提供になっています。英文の修正も文法的な修正にとどまらず、例えば最後の一文は "to enhance their learning at school" という修正が提案されています。
今回のCopilotでの検証ではChatGPTやGeminiとは異なるフィードバックが出力されましたが、時間をおいて何度か試してみるとそれらに似たアウトプットが得られるなど、その時によって結果は異なるようです。これは他の生成AIについても同じであり、「このプロンプトを入れたらこう返ってくる」といったものではないということがよく分かります。
結論:どれも完璧ではない
4種類の生成AIで検証してみましたが、結果としてはどれを使っても大差ないという印象でした。有料版のChatGPTでもフィードバックの質が劇的に変わることはなく、修正の説明は正直あまり大きく学習の役に立ちそうなものではありませんでした。どれを使っても大差はないので、学習者は自分の環境で使いやすいものを安心して使えばよいと言えるでしょう。
生成AIの出力はある意味不安定で、同じプロンプトでもその都度アウトプットが変わることが改めて分かりました。プロンプトはExcelの関数のように「こう入れたらこう返ってくる」ものではないということを十分に理解すべきです。
従って、完璧なプロンプトなど存在せず、その意味で過度な期待は禁物です。生成AIとの対話をしながらプロンプトを微調整したり、欲しい説明を求めたりしていく必要があります。また、DeepL Writeなどの非生成系のものも含めて、複数のものを横断的に活用できるのが理想とも思えます(和英、英和、英英など複数の辞書を使うように)。
教師が「正しい」プロンプトを学習者に提供するのではなく、あくまで教師が与えられるのはきっかけに過ぎません。生成AIを使って英作文のフィードバックを得る行為は、まさにそれ自体が学習プロセスであることを、教師も学習者も十分に理解して活用すべきでしょう。
この記事が気に入ったらサポートをしてみませんか?