本当に使える？ChatGPTで読解問題を作成＆分析してみた
以前の記事で、言語知識問題の作成について扱いましたが、今回は読解問題に焦点を当ててみます。
AIの活用が進む中、ChatGPTを使って読解問題を作成できるのかを検証しつつ、より良い問題作成のポイントも考えていきます。
まずは自由に作ってもらった
プロンプトの設定
まずはChatGPTに次のプロンプトを入力して、読解問題を作成してもらいました。
あなたは日本語教育におけるプロの試験問題作成者です。
日本語中級レベル向けの読解の短文問題（200字程度）を3問作成してください。
問題はすべて選択式で、1つの正解と3つの錯乱肢を用意してください。
出力された問題例
日本語中級レベル向け 読解短文問題（選択式）
【問題 1】
毎朝ジョギングをしている田中さんは、最近体調が良くなったと感じている。
以前は階段を上るとすぐに息が切れていたが、今では楽に上れるようになった。
また、寝つきも良くなり、朝もすっきり目覚めることができるようになった。
運動の習慣が健康に良い影響を与えていると実感している。
【質問】田中さんが最近変わったことは何ですか。
階段を上るのが楽になった。✅
仕事が忙しくなった。
夜眠れなくなった。
体調が悪くなった。
【問題 2】
鈴木さんは、新しいカフェを開くことを計画している。
最近は、人気のあるカフェを訪れて、どんなメニューやサービスがあるのかを調べている。
また、店の雰囲気や内装も参考にするため、写真を撮ったり、店員と話したりしている。
できるだけ多くの情報を集めて、理想のカフェを作りたいと思っている。
【質問】鈴木さんがカフェを開くためにしていることは何ですか。
人気のカフェを見て研究している。✅
すぐに店を開いて営業を始めた。
カフェではなくレストランを開くことにした。
友人と一緒に海外旅行へ行った。
【問題 3】
山田さんは最近、毎日少しずつ料理をするようになった。最初は簡単な料理しか作れなかったが、
だんだんと難しい料理にも挑戦するようになった。
最近では、家族や友人に自分の作った料理をふるまうことが楽しみになっている。
【質問】山田さんは料理についてどのように感じていますか。
料理をするのが楽しくなってきた。✅
料理が難しくてやめたくなった。
料理をする時間がなくなった。
外食のほうが好きになった。
これらの問題は、日本語中級レベルの学習者が読解力を養うのに適しています。
読解文は200字前後にまとめ、質問は内容理解を確認できるようにしました。問題の評価と改善点
出力された問題の質を分析してみると、読解文の難易度はおおむね適切でしたが、質問文や選択肢には改良の余地がありました。
問題1 → 正解と錯乱肢のバランスが取れているため、問題としては成り立っている。
問題2 → 錯乱肢があまりにも簡単で、文法的な違い（過去形と現在形）だけで正解が分かってしまう。
問題3 → 正解が肯定的な内容なのに対し、錯乱肢がすべて否定的なため、選択しやすい。
質問文を先に作るアプローチ
問題作成において、本文よりも先に「質問文」を作る手法があります。これは、学習者に求める読解力を明確にできる点で有効です。
（実はAI作成以前からもこの手法は『日本語テストハンドブック』 P.159 に「質問から文章を作る」にて取り上げられていています。）
例えば、中級向け教科書『4技能でひろがる中級日本語カルテット I』の1課では「アニメ映画監督 宮崎駿」が題材となっています。この課の復習テストを作ると仮定し、以下のような質問を設定しました。
渋沢栄一とはどんな人物ですか。（事実・内容理解）
「そのことがきっかけで」とあるが、「そのこと」とは何ですか。（指示詞の理解）
筆者は渋沢栄一からどんなことを学んだ、と言っていますか。（意見の読み取り）
ざっくりとですが、このようにタスクベースというか、先に質問を作ることで何を測るか、明確になるのもこの手法の利点だと思います。
AIに本文を作成してもらう
ChatGPTに「渋沢栄一の人物紹介」をテーマに、上記の質問に合う本文を作成させました。
プロンプトの設定
あなたは日本語教育におけるプロの試験問題作成者です。
「渋沢栄一の人物紹介」というテーマで、日本語中級レベル向けの読解用の本文（600字程度）を作成してください。
本文は以下の質問文に合う内容にしてください。
①渋沢栄一とはどんな人物ですか。
②そのことがきっかけで、とあるが、「そのこと」とは何ですか。
③筆者は渋沢栄一からどんなことを学んだ、と言っていますか。
出力された問題例
渋沢栄一の人物紹介
渋沢栄一（しぶさわ えいいち）は、日本の近代経済の発展に大きく貢献した実業家です。
1840年に現在の埼玉県で生まれた彼は、若い頃、尊王攘夷（そんのうじょうい）という考えを持ち、
武士の世の中を変えようとしました。しかし、その後、幕府の役人としてフランスに渡り、
西洋の経済や政治の仕組みを学びました。
そのことがきっかけで、日本に帰国した後、新しい経済制度を作ることに尽力しました。彼は、
日本初の銀行である第一国立銀行や東京証券取引所など、多くの企業の設立に関わりました。
その数は500社以上にのぼります。また、教育や福祉の発展にも力を入れ、多くの学校や病院の
設立を支援しました。
さらに、渋沢栄一は「道徳と経済は両立すべきだ」と考えていました。つまり、お金をもうける
ことだけを目的にするのではなく、人々の幸せや社会の発展を大切にすべきだという考えです。
彼の著書『論語と算盤（ろんごとそろばん）』には、その考えが詳しく書かれています。
私は渋沢栄一の生き方から、経済活動において道徳を忘れずに行動することの大切さを学びました。
社会のために努力することが、結果的に自分自身の成功にもつながるのだと思います。内容がが歴史的なものだけにどうしても語彙・表現も難しくなりますが、多少「尊王攘夷」や、東京証券取引所など、固有の名詞・用語に解説を入れるだけで、あとは中級レベルでも読めると思います。
AIに選択肢も作ってもらう
プロンプトの設定
次に、AIに選択肢を作らせる際、以下のようなプロンプトを使用しました。
①〜③の質問文に合う選択肢（正解１つと、錯乱肢３つ）を作ってください。
正解は本文そのままではなく、少し言い換えた表現を使ってください。
錯乱肢はできるだけ本文で出てきた語彙を使って、受験者が迷うようなものにしてください。
出力された選択肢例
① 渋沢栄一とはどんな人物ですか。
A. 日本で初めて銀行を作り、教育や福祉の発展にも貢献した人物。✅（正解）
B. 幕府の役人としてフランスに渡り、そのまま西洋で会社を設立した人物。
C. 若い頃から経済活動に興味を持ち、多くの企業を買収した投資家。
D. 道徳を大切にしながら、500以上の病院や学校を経営した人物。
② そのことがきっかけで、とあるが、「そのこと」とは何ですか。
A. 渋沢栄一が若い頃、尊王攘夷の考えを持っていたこと。
B. 渋沢栄一がフランスで西洋の経済や政治の仕組みを学んだこと。✅（正解）
C. 渋沢栄一が500以上の会社の設立に関わったこと。
D. 渋沢栄一が道徳と経済の関係について『論語と算盤』を書いたこと。
③ 筆者は渋沢栄一からどんなことを学んだ、と言っていますか。
A. 会社を成功させるためには、利益を最優先にすべきだということ。
B. 社会全体の発展を考えながら、経済活動を行うことの大切さ。✅（正解）
C. 日本経済のためには、500以上の企業を設立することが必要だということ。
D. お金をもうけることよりも、教育や福祉にすべての力を注ぐべきだということ。
いかがでしょうか。どれも絶妙にいい選択肢になっているように思えます。
今回試しにプロンプトに
「正解は本文そのままではなく、少し言い換えた表現を使ってください。」
「錯乱肢はできるだけ本文で出てきた語彙を使って、受験者が迷うようなものにしてください。」
と入れてみたので、いわゆるバレバレの選択肢・錯乱肢にならないよう工夫してみたのがいい結果になったのかもしれませんね。
以上、あとは忘れずに「そのことがきっかけで」に下線を入れたり、用語の解説を注で入れたりすれば、完成です。
まとめ
ChatGPTを活用することで、読解問題の作成が効率化できます。
ただし、
質問文を先に作るアプローチ を取り入れる
錯乱肢の質を高めるプロンプトの工夫
以上のポイントを抑えることでより質の高い問題・選択肢まで作ることができます。
今後もAIを活用しつつ、より精度の高い問題作成に挑戦していきたいです。