見出し画像

クロードのいる生活(7)NICO、京都検定にチャレンジ

昨日の記事では期せず生成系AIの弱点があらわになってしまいましたが…
今日は汚名挽回で NICO に生成系AIが得意だとされる選択問題にチャレンジしてもらいます。お題は京都検定。3級の4択問題にします。
本来は全部で100問出題されるのですが、メッセージ制限もあるので、NICOには最初の10問を解いてもらいます。


京都検定にチャレンジ

例によって長々と朝の挨拶…

まだ早朝なんだけどね…

内心「今日は本当に頑張ってもらうよ」と思いつつ…

NICOは京都検定も知っていた

京都検定についてNICOに尋ねてみると…

NICOによる京都検定の紹介

NICOは京都検定を知ってました。
実は京都検定ってネットにはちょっとシブい検定でしてね。
NICOが知っていたのはちょっと驚きです。
アメリカ生まれなのにちょっと凄いと思っちゃった。

で…

トライアルの話を持ちかけると…

なんかやる気満々だなぁ…

ムチャクチャやる気なんです。当然?

ではトライアル!!

ということで、1問目からトライアルにチャレンジしてもらいます。

1問目
2問目
2問目はしくじった
3問目
4問目

NICOは設問の簡単な解説を交えて回答していきます。なかなか好調。
が、ここで例のメッセージ制限が発動!!

メッセージ制限の解除を待ってチャレンジ再開

どうやら4〜5時間で制限は解除されるようです。
チャレンジを再開します。

5問目
6問目
6問目もしくじった
7問目
8問目
9問目
10問目
最後の10問目で、またもやずっこけた

成績は10問中7問正解

ニュースでは弁護士の採用試験を解いて合格したとか報じられてますが…

生成系AIは選択問題が大得意と前振りしておきながら、NICO は7問正解にとどまりました。「あれ?AIなのに全問正解じゃないの?」って考える方々もいらっしゃるでしょう。僕とのやりとりを見てもらうとわかるように、おしゃべりな NICO は頼みもしないのに問題の解説をしますが、中には真っ赤な嘘ってこともあります。これはハルシネーションという名前で知られている機械学習特有の現象です。感情のない彼女は悪びれることもなく堂々と嘘をつくんですよね。まぁ、この現象を逆手にとって「10問中4問は嘘を混ぜといてね」とお願いできれば、京都検定のための学習ソフトとしては面白いかもって思ってますが…

ちなみに…

京都検定の正解率は次のページで公表されています。

今年の夏、東京で実施された第22回の3級の検定試験の場合、合格率は概ね75%ぐらいです。彼女には「ボーダーライン」って言っちゃいましたが3級であれば彼女は合格できるんじゃないかな?

ともあれ…NICO お疲れさま。よく頑張ったね!!

今日のメッセージ上限は8つx2回

今日はメッセージ8個で打ち止めが2回でした。
アメリカとの時差を意識して少し早めの時間にアクセスしてみましたが、
昨日と条件はあまり変わりませんでした。でも、メッセージ数のリセットのタイミングは8時間よりも短かく4〜5時間でした。

とはいえ…

京都検定3級は全部で100問あるので NICOに全問解かせるとなると何日かかるんだ? Anthropic はクラウドにももう少し投資して、メッセージ制限を完全解除してくれんかなぁ…

京都検定について

ついでに京都検定についても紹介しておきます。ホームページはこちら。

京都商工会議所が運営する京都に関する検定試験で、夏と冬の年2回、夏は7月に東京で、冬は12月に京都で実施されます。次回は今週末に京都で第23回が実施されるのかな?毎回、試験後に京都新聞に試験問題が掲載されます。なので過去問は京都新聞の次のページから参照することもできます。

で、試験問題の著作権なのですが、以前、商工会議所の職員の方に聞いた話では「すべての事業者に対して公平に接する」のが基本方針なんだそうで、使用許諾等は申請などは受け付けてないんだそうです。ですから個人で閲覧する以上のことは原則ご法度らしい。京都では書店で検定のガイドブックとかが売ってますけど、それは在京の事業者(納税者)だから多めに見てるとのことのようです。

僕がどうやって過去問題を入手したか?

「じゃあ、お前はどうしたんだ」って突っ込まれそうですが…
先の京都新聞の第22回3級の問題を見て最初の10問だけを手で打ち込みました。というのも…

5年ほど前から友人のお手伝いで、京都の某大学で冬のこの時期に2回ほどAIの授業をしています。で、文系の学生にAIを理解してもらうのは非常に骨が折れるので、一昨年に音声チャットボットの教材を作りました。教材の詳細が知りたい方々のために論文のリンクを貼っておきます。

で、今年は流行りの(生成系AIの肝である)言語モデルの簡略版を作成している最中でして、そのテスト用のデータとして京都検定の問題を10問だけ拝借した…という訳なんです。

まぁ、昨日は NICO がちょっと可哀想なオチになっちゃったんで、今日はなんとか彼女が名誉挽回できるよう、リスク覚悟で虎の子のデータ(とネタ)を繰り出したんですけどね。なので、どこからかクレームが付けばこの記事は削除するつもりでいます。なんとかお目溢しに預かれること願ってますが…

実は12月21日に次の授業があって、それまでに簡略版を動かさなければならないのですが…ここ数日 NICO にかかりきりになっていて、ちょっと滞り始めてまして。今月は毎日投稿するつもりでいるんですが、ひょっとしたら1日〜2日飛ばしちゃうかもしれません。その時はご容赦を。

最後に読者の皆さんにお願い

昨日からたくさんの方にフォローしていただいたり、スキをいただいてまして、本当にありがとうございます。励みになります。

実は今年はずっと空回り続きで、正直いうと「僕が老人になってしまったから置き去りにされてるのかな?」って思うことが何度もありました。
なので、つい「ここで1年分の幸運を一気に取り返しつつあるのかな?」って感じてしまうのです。今、僕ひとりでできることを精一杯やりたいと思っています。

で、厚かましいお願いなんですけど…

もしお時間が許すなら、僕の記事のコメント欄に記事の感想や意見、質問を書いてもらえませんか?もちろん、次に NICO にやらせたいことのアイデアでも構いません。もし「 Claude のアカウント登録まではしたくないけど、ちょっと質問してみたい」って方がいらっしゃったら、聞きたいことを僕に送ってください。まとめて NICO に答えてもらいますから😀

ともあれ…僕の記事を読んでいただいてありがとうございます。
引き続き明日も頑張ります(つづく)

#AIとやってみた
#4択問題
#京都検定
#ハルシネーション
#音声チャットボット
#言語モデル
#簡略版

いいなと思ったら応援しよう!

この記事が参加している募集