【結果は驚きの97％！】Questoryに基本情報技術者試験を解かせてみた
2024年度の基本情報技術者試験（公開問題）をQuestoryに解かせる検証を行いました。
使用したのは我々が開発している物語で解説するAIアプリ「Questry」。過去問のPDFを画像として読み込ませ、問題文を認識させるというアプローチを採りました。その結果、40問中39問正解（正答率97％）という精度を叩き出しました。
本記事では、その検証の詳細とQuestoryが間違えた問題についてまとめてみます。
検証の概要
利用ツール： Questory
問題形式： 2024年度 基本情報技術者試験 科目A 公開問題
解かせ方：
PDFの過去問を画像として取得
Questoryに認識させる形で問題を入力し、回答を生成
結果： 40問中39問正解（約97%の正答率）
AIにとっては日本語の読解や画像から問題文を正しく抽出する処理がネックになりそうでしたが、Questoryは全体的に非常に高い理解力を発揮し、見事に正答を導き出してくれました。
間違えた問題
問５：ロジックマッシュアップの例に関する問題
内容の概要： Webサービスを組み合わせて新しい機能を実現する「ロジックマッシュアップ」の具体例を問う問題
Questoryの回答：
誤答の詳細： ChatGPTはイが解答と判断したが、正解はウ
考察： ロジックマッシュアップの用語理解もしているし、選択肢の文章も理解はしているように見える。選択肢のイは複数のWebサービスを組み合わせているため、それだけで判断している模様。ただし、選択肢イは本質的にはデータの取得が中心であったため、推論が足りずに誤りをしたと思われます。
感想とまとめ
検証でわかったのは、Questoryが非常に高い精度でIT系国家試験レベルの問題を解けるということです。特に選択式の問題であれば、相応の正答率が期待できると感じました。一方で、設問の細かいニュアンスを読み取ることがまだ課題として残っており、受験生が使う際も過信は禁物でしょう。
とはいえ、97％という正答率は十分に実用に耐える水準です。学習の補助ツールや過去問演習のパートナーとして、Questoryを試してみてはいかがでしょうか。
こんな風にとっつきにくい問題もステップバイステップで分かりやすく解説してくれますよ。
