Nº96　イタリア語検定 2級（2022年秋）の作文模範解答、AIによる評価とその読み取り方

　イタリア語検定の作文対策を”学習会”という名前で note のメンバーシップで行っている、Ken, （Ken Virgola）です

　作文の上達には、1回1回の完成度を求めるよりも、日々の作文とスピーディで丁寧なフィードバックを受けることだ、という基本的な考えでやっています

　この秋にイタリア語検定の1級や2級を受ける方にはおすすめです
　期間は9月末までの限定コースで、その間の利用料金はたったの1000円です
　詳しいことは、この記事を読んだ後でぜひ私のメンバーシップのページを覗いてみてください！

・・・

・・・

今回試したこと

　さて今回は、イタリア語検定の作文対策のサービス向上の一環として「イタリア語検定の公式の模範解答」を英検風の評価基準でAIに評価させたらどうなるか、をやってみました

　英検風の、というのはシンプルに評価軸を「内容」「構成」「語彙」「文法」の4つにするということです

　ちなみに英検は以前から作文の採点はAIで自動採点していますよね（知ってる人は知ってるけども）

　今回試したのは、イタリア語検定2級、2022年秋の試験で、AIには作文のお題を与えるとともに "上に書いたような評価基準で各25点満点、合計で100点満点の評価をしてくれ" とコマンドしました

・・・

私自身の評価

　この模範解答について、私自身はこれまでに分析・分解し尽くしていて、自分の評価としては
「平凡ではあるが、ライティングテストで時間内にこれくらいの質で書ければ満点かそれに近いスコアを期待できるだろう」
です。

　ちなみにAIの返答ってちょっとしたことで変わりやすいので、普段あまり使ってない人なんかはAIの返答を完成形みたいに受け止めがちかと思いますが、せいぜい60〜70％くらいで聞いておくに留めるのがちょうどいいとこかなと思います

　ちなみに今回のは同一コマンドでは初回に得られたレスです

・・・

AIの評価

　帰ってきたのが、これ

Il saggio fornito è ben strutturato e affronta in modo dettagliato le attività preferite nel tempo libero. Il contenuto è vario e coinvolgente, con una buona diversificazione tra le attività pre e post pandemia. Il vocabolario utilizzato è appropriato e ricco, con l'inclusione di proverbi e riferimenti culturali. La grammatica è generalmente accurata, sebbene ci siano alcune piccole imperfezioni. La struttura del testo segue una sequenza logica e scorrevole, coprendo una varietà di interessi personali.

Contenuto: 23/25
Struttura: 24/25
Vocabolario: 24/25
Grammatica: 23/25

Punteggio totale: 94/100

・・・
　内容は23点ですが、コメントを見ると「いろんな点に触れていて、パンデミア前後の違いもわかる」ということで評価は上々です

　構成は24点で、読みやすさが高評価の理由のようです

　語彙は24点で、ことわざ・慣用句を入れている点が高評価だったり、ネトフリの動画に触れている点が理由のようです

　文法は23点で、全体的にはいいんだけど、ちょいちょい小さい間違えがあるよ、というコメントが出てます

　その結果、合計が94点です

　実はこのコマンドの前に一度「100点満点での評価」だけを尋ねていたんですが、そのときは約85点って言ってました
　細分化して尋ねたことで、背後で何かが変わったんでしょうね

・・・

作文練習の一部としてAIを（一般人が）使うことについて

　AIは「一見それっぽい文章」を数秒で作れる点では使う価値はあると思っていますが、使う側としては「成果物の内容を鵜呑みにせずに自分の頭で「参考にできそうなところ、しないほうがいいところ」をある程度選別できるならば、使うメリットの方が上回ると言えるでしょう

・・・

受検者が再現できるお手本を提供してます

　私の運営する学習会では、私の頭とAIをそれぞれちょうどよく使いながら、あくまでも「受検者が自力で再現できる」ことをポリシーとして作文課題や解答例その他を提供しています
　興味を持ってくれた方は、ぜひ私のメンバーシップのページをご覧ください
　待ってまーす

・・・