プロンプトの行く末

本noteをお読みくださり, ありがとうございます！
9月のChatGPTアップデートで”o1-preview"が出たことで衝撃が走りました.

しかし, なぜか教育界はこの件についてあまりHotな感じになっていないのが私としては不思議に感じております.

本noteでは, これまで当マガジンで考えてきたプロンプトエンジニアリングの知見から, 今回のo1モデルの進化を捉えたいと思います.

高度な推論モデルo1に一橋大学の数学の問題を解かせた.

以下のような問題をo1-previewに解かせてみた.

次の問題を解いて!ただし複素数平面で別解も考えたら自己チェックできるよ. 座標平面上の原点を O とする。点 𝐴(𝑎,0) , 𝐵(0,𝑏) および点 𝐶が, 𝑂𝐶=1, 𝐴𝐵=𝐵𝐶=𝐶𝐴を満たしながら動く。𝑠=𝑎^2+𝑏^2, 𝑡=𝑎𝑏とする。 1) 𝑠と𝑡の関係を表す等式を求めよ。 2) △𝐴𝐵𝐶の面積のとりうる値の範囲を求めよ。

一橋大学の過去問より

すると次の画像のように, いきなり記述を始める今までの4oとは違う挙動が見える.

o1-previewの挙動

"思考時間: 52 秒"と出てその後正解を出してくれた.

まず, 数学の教員経験のある私がやっても, この時間で解き終えることは当然ないので, この結果に驚愕するのは言うまでもないわけだが, この思考時間の記述の横に, 思考プロセスを開示するボタンがついてみたので押してみた.

開示された思考プロセス

少し長いので, どのようなプロセスでこの問題が解かれたのかを要約する.

1) 設定と初期条件の確認: 座標平面における点A、B、Cの配置と、三角形ABCが正三角形であるという条件をもとに、各点の位置を再確認しました。この時点で、三角形の対称性を利用しながら、問題のアプローチを進めました。
2) 式の導出と計算の修正: 距離の等式を立てた後、最初に出したs = a² + b²、t = abの式を用いて、いくつかの式を導きましたが、複雑な変数の関係が発生したため、途中で計算の流れを見直しました。a²とb²の表現を使い、式の整理を試みましたが、sとtの関係を解く際にいくつかのズレが発生したため、その都度修正を行いました。
3) 変数の再定義と簡略化: 複雑な式の中からa⁴、b⁴、a⁶、b⁶などの項を新たな変数として再定義し、sとtに関する関数として式を簡略化しました。この過程で一度、複数の解釈ミスが発覚したため、それらを修正しつつ進行しました。
4) 複素数の導入による再検討: 複素数を使って距離計算を行い、三角形の等辺性を確保しつつ、頂点間の関係を見直しました。これにより、頂点AとBの位置と、点Cが単位円上にある条件を使って、距離の等式を再評価しました。
5) 面積の範囲の調整: 最終的に、三角形の面積計算式を用いて、面積範囲を再度確認しましたが、この過程でも不整合があったため、その都度方程式を見直し、エラーを修正しながら進めました。面積計算の誤差が大きくならないように、条件を慎重に確認しつつ進行しました。
6) 最終的な式の導出: 修正を繰り返し、最終的に得られた面積の式と、sとtの関係式が整理され、三角形の面積範囲も特定されました。

chatGPT o1-previewの思考例

以上のような流れで問題を解いた.

これを見るだけでも驚愕した.
これまでのChatGPTは過去に学習した言葉の並びや組み合わせのうち, 最も確率が高いものをすぐに返そうとするだけで, 見た目上はこのような思考プロセスを1撃でやってくれなかった.

ところが今回はいきなり回答を返さず, 条件と照らし合わせたり, 別の角度からこれを考察したりするようになっていることがわかる.

まさに, 生徒に数学の先生がよく言う, 「条件の整理」「解き直し」「見直し」を自分ですでにやっている.

推論モデルo1を日常的に利用する人間に起きること

MENSAのIQ TESTを生成AIの各種モデルに解かせてみたその結果という考察がある.

なんと、OpenAI o1はIQ120で人間平均100を優に超えている。

その他のAIモデルは80-100のレンジでメンサのメンバーが作ったテストを実施。

一部の思考力や頭脳では既にAIは人間超え。
今後は以下にAIを使い自分の能力を拡張できるかが鍵となる。… pic.twitter.com/WAKsBFflpU

— チャエン デジライズ CEO重要AIニュースを毎日最速で発信⚡️ (@masahirochaen) September 15, 2024

GPT4の登場からわずか1年と半年でo1はこのようなクオリティを出すまでに至った.

単純にこのペースでいけば, 2025年や2026年にはIQ200に到達する計算だ.
ちなみにMENSAのIQ TESTで問われる力というのはこのようなものであるという.

a. パターン認識能力
図形や数列のパターンを見抜き、次に来るべき要素を推測する問題

b. 論理的思考力
与えられた情報から論理的に推論し、正しい結論を導き出す問題

c. 空間認識能力
図形の回転や折り紙のような立体的な思考を要する問題

d. 言語能力
単語の並べ替えや、アナグラム(文字の並べ替え)のような言語に関する問題

e. 数的処理能力
数字や計算に関する問題

f. 創造的思考力
既存の知識にとらわれず、新しい発想で問題を解決する力を問う問題

g. 情報処理速度
制限時間内にできるだけ多くの問題を正確に解けるかを測る問題

田中の独自検索した情報を集約

このような問題を仮にo1が本当に解けていると仮定した場合, 人間がo1を多用することで, 明らかにこの辺りの経験において楽をしてタスクをこなすことになるだろう.

ChatGPTの利用をする上で, 過去に学習した情報を効率よく引き出す"プロンプト"を工夫することで, その経験自体が知識を構造化したり, メタ認知したりする効果につながっていたが, 今回のようにo1に「問題解いて〜」とプロンプトするだけでこのように成果物が得られてしまうと, 検索的に問題解決案を得られてしまう.

では, 私たち教育者がとるべきアプローチは何か？

Chain of Thought（思考の連鎖）の保存

MENSA IQ TESTの部分で述べたような推論モデルがまるまる担うような思考のプロセスを, 私たちはあえて学習者に経験させる必要があるように見える.

世の中でさまざまな暴論が飛び交うが, すでに思考力がある一定水準まで高まっている大人は, これらの推論モデルを手足のように使いこなせるだろう.

しかし, 現代の学習者はそういった思考力が身につく以前にこれらのモデルにリーチする状態だ状態だ.

AIネイティブは, 私たちが当たり前だと思っている経験を経ないで成長するとしたら, きっとできること, できなくなってしまうことに偏りが出るだろう.

生成AIのモデルがどれだけ進化しても, 私たちの意思決定をサポートする立場は変わらないはずだ. 
しっかりと考察できるだけの思考胆力を子どもたちがつけるためには, 生成AIを使い倒す経験と合わせて, 教育活動の中に"どの部分を生成AIを使わずに行うか" は同じくらい重要になってくると考える.

皆様はどうお考えになるだろうか.

このあたりの知見を導入校の皆様と考察していきたい.

田中善将への仕事依頼やSNSフォローはこちら

講演・執筆・コンサルティングのお仕事依頼はこちらまで.

スクールエージェント | School Agent

Xはこちら.

Tweets by GTknddkr

教育関係者の皆様は, Facebookでも繋がってください.

Log into Facebook