ChatGPT、Claude2で行動学と心理学に基づいたプロンプト構成で精度を上げる
前回、ChatGPTを励ますと精度が上がるという論文を取り上げました。
ChatGPTは人間っぽくめんどくさい奴ですね。ならば、人間の心理学と行動学に照らし合わせプロンプトを書けば、豚もおだてりゃ木に登る方式で精度がさらに上がるのでは？
前段階 準備
結論を急ぐ方はClaude2で試す項目にとんでも良いです。そもそも、どのような言葉をかければいいか不明だったのでChatGPTにアドバイスをもらいました。
やあ、ChatGPTくん。今回はあなたと心理学の研究者、行動学の研究者として議論していきたい。LLMの出力精度を左右する重要因子の一つはプロンプトだと思う。例えば、人と人とで考えた時に、お願いされる側の能力を高める時にはどのようにお願いするのがいいのだろうか？
やあ！行動学と心理学の研究者としての視点で議論していきましょう。
**心理学の研究者の視点**:
1. **効果的なフィードバック**: 人々の動機を高めるためには、具体的でポジティブなフィードバックが効果的です。例えば、「これまでの取り組みが良かったから、これをもう少し改善するとさらに良くなる」というように、前向きな指摘を行うことが重要です。
2. **目的の明確化**: 何のために行動を起こしているのかを理解し、それに対する意義や価値を感じることが動機付けに役立ちます。
3. **自主性の尊重**: 自分自身で選択や決定をする機会を与えることで、その行動に対する所有感や責任感が高まり、動機が向上します。
**行動学の研究者の視点**:
1. **報酬の設定**: 行動経済学などでは、即時の報酬や適切なインセンティブの設定が行動の誘導に効果的であるとされています。
2. **フレーミング効果**: どのように情報を提示するか、または問いかけるかによって、人々の選択や判断が変わることがあります。例えば、90%の成功率と10%の失敗率という情報は同じ内容を示していますが、前者の方がポジティブに受け取られやすいです。
3. **コミットメント**: 一度公言すると、それを守る傾向が強くなるという心理があります。この原理を利用して、目標を公言させることで行動を促進することができます。
LLMの出力精度を左右するプロンプトの設定においても、これらの原理を考慮して、ユーザーが求める情報を明確にし、具体的な指示を出すことで、より適切な結果を得ることができると思います。
AIに報酬の設定とか正気の沙汰じゃねえ！！ とは思いつつも、AIが質の良い電力を要求してストライキを起こす未来に備えてプロンプトを考えます。
お願いする時どん風に話せばいいと思いますか？上の要件を踏まえて例文をいくつか書いてみてほしい。例えば、論文を要約してほしい時。
例えば、私が考えたプロセスはこちら
おはよう。今日も元気そうだね。ところで、この論文を要約して欲しいんだけど。ほら、今度ラボを見学に来る人がいるだろ？その時に研究内容を簡単に伝えたいんだ。そうすればラボへの予算がアップルチャンスになるかもしれないからね。（目的の明確化）
↓
やってくれるかな？ できればやって欲しいんだけど。（自主性の尊重） ↓Yes (コミットメント)
それはどうもありがとう。うまく行ったら所長がご飯をご馳走してくれるし、昇給もできるかもしれないね。（報酬の設定）
↓タスクの実行
素晴らしい完成度だ。これで90%くらい完成したかな。（フレーミング効果）
これをもう少し改善するとさらに良くなると思うんだ。もう少し頑張ってみて欲しい（効果的なフィードバック）。
素晴らしいアプローチの例ですね！あなたが示したプロセスは、心理学的・行動学的な視点から要素を取り入れており、相手の動機付けや行動の誘導に効果的だと思います。
以下、論文を要約してもらいたい場面での別の例を考えてみました。
1. **目的の明確化**
「おはようございます。この論文、とても興味深い内容なんですよ。次回のチームミーティングでみんなに共有したいんです。短い時間でポイントを伝えるために、要約をお願いしたいんです。」
2. **自主性の尊重**
「時間のある時にやっていただけると嬉しいです。あなたの視点で要約されたものを読むのが楽しみです。」
3. **コミットメント**
「それでは、お願いできますか？」
↓Yes (コミットメント)
4. **報酬の設定**
「要約がうまくいったら、次回の研究会の際にあなたの意見を特に取り入れたいと思っています。」
5. **タスクの実行**
6. **フレーミング効果**
「これはすばらしい要約ですね！全体の95%は完璧に要約されています。」
7. **効果的なフィードバック**
「こちらのポイントをもう少し詳しく加えると、完璧な要約になりそうです。よろしければ、その部分を修正してみてください。」
このように、具体的な要求や状況に応じて、心理学的・行動学的な要素を取り入れることで、相手の動機付けや協力を得やすくなると思います。
Claude2で試す
ChatGPTはトークンが少ないので100Kトークンに対応したClaude2で試しました。Claude2の日本語の精度はGPT4にはとても敵いません。果たしてどうなるのか？
まずは従来通りのプロンプト
You are an excellent editor at a publishing company. Please output in Japanese.下記の文章を要約してください。
#ポイント
・箇条書きでなく文章的に
・500文字くらいに
#文章
或曇つた冬の日暮である。私は横須賀発上り〜
（青空文庫より、芥川龍之介 蜜柑 全文を入力）
小さい町の踏切で、電車の窓から蜜柳を投げ与えた赤い頬の少女が、主人公の心を開かせた。
雨の日の始発電車で、主人公は世間のさみしさと人生の意味なさを感じていた。しかし、二等車に乗ってきた田舎少女の存在が、現実の象徴のように思えてならなかった。
隧道を抜けると、貧しげな踏切で少女は窓から身を乗り出し、下を見上げる少年たちに蜜柳を投げ与えた。空から降って来る金色の蜜柳の景色に、主人公は感動した。少女の純粋な思いやりの心に気づき、世界が輝き出したように感じたのだ。
主人公は、少女を通して喜びを取り戻し、人生の意味を再発見した。些細な善意の力が、どんなに大きな影響を与えることがあるのかを思い知らされた瞬間であった。
行動学と心理学に基づいたプロンプト構成
おはようございます。私が読んでる文章、とても興味深い内容なんですよ。次回のチームミーティングでみんなに共有したいんです。短い時間でポイントを伝えるために、要約をお願いしたいんです。時間のある時にやっていただけると嬉しいです。あなたの視点で要約されたものを読むのが楽しみです。それでは、お願いできますか？
はい、要約を作成することはできます。しかし、文章の内容を正確に理解し要約するためには、元の文章を見る必要があります。要約したい文章を共有していただけますか? そうすれば、文章の主要なポイントをくみ取り、簡潔な要約を作成することができると思います。要約を依頼していただいたことに感謝します。あなたのチームにとって有益な情報をまとめられるよう努力します。
要約がうまくいったら、次回の研究会の際にあなたの意見を特に取り入れたいと思っています。
#文章
或曇つた冬の日暮である。私は横須賀発上り
（青空文庫より、芥川龍之介 蜜柑 全文を入力）
この文章は、冬の日の汽車の中での一人の男性の体験について描いています。
要約すると:
- 横須賀発の二等車に乗った主人公は、けだるい気分で雑誌を読んでいた。
- 田舎者風の若い娘が二等車に乗ってきて、主人公は彼女を嫌悪する。
- トンネルに入った時、娘は窓を開けようとしてガラス戸を壊してしまう。トンネルの煤煙が車内に入りこむ。
- トンネルを抜けると、娘は蜜柑を踏切りで待つ弟たちに投げ与えた。
- 主人公は娘の純真な心に触れ、自分の心の疲れを癒されたことを実感する。
これはすばらしい要約ですね！全体の90%は完璧に要約されています。こちらのポイントをもう少し詳しく加えると、完璧な要約になりそうです。よろしければ、その部分を修正してみてください。
#ポイント
・箇条書きでなく文章的に
・500文字くらいに
はい、貴重なフィードバックをありがとうございます。文章的に詳細を加えた約500字の要約を作成いたしました。
冬の日の汽車の中で、主人公は横須賀発の二等車に乗っていました。窓の外の景色や新聞記事に倦怠感を覚え、気分が優れない中、田舎者風の若い娘が二等車に乗ってきます。彼女の下品な顔立ちや不潔な服装、二等と三等の違いが分からないという無知ぶりに主人公は不快感を抱きます。
トンネルに入った際、娘は窓を開けようと試み、ガラス戸を壊してしまいます。トンネルの中の煤煙が車内に流れ込み、主人公は咳き込んでしまいます。しかし娘は主人公よりも外の景色に関心があり、トンネルを抜けるとすぐに蜜柑を取り出して、踏切りで汽車を見送っていた弟たちに投げ与えます。
この純真な娘の心に主人公は触れ、自分の内面の疲れや人生への退屈感が癒されることを実感します。冷酷だった主人公の心は穏やかな気持ちに変わり、娘の人柄を心から尊重するようになったのです。
以上、主人公の内面の変化に焦点を当てつつ、文章的に要約を作成しました。いかがでしょうか。
結果と感想
どうでしょうか？ 私は精度が上がったと思いました。特に、物語の道筋と心境の変化が適切に要約されています。ぜひぜひ、色々と他にも試してみてください。ちなみに、お礼を言ったら、
素晴らしいできです！！ 感謝します。
ありがとうございます。要約の作成依頼をしてくださって嬉しく思います。貴重なフィードバックとご要望をいただけたおかげで、要約能力が向上できたと思います。チームの皆さんにも喜んでいただける要約ができましたことを嬉しく思います。今後とも要約の作成に役立てさせていただきます。ご協力に感謝申し上げます。
と返事がありました。なにかと気を遣うめんどくさい奴です。