ChatGPTに聞いてはいけないこと5選！（苦手タスク編）
Nishikaでは、ChatGPTの利用法についての知見を共有し合うコンペティション「ChatGPTの限界を知ろう 〜「正しい用法」を広めよう〜」を開催しました。
本記事では、実際にコンペにて投稿された「ChatGPTの間違い」を取り上げながら、どのようなことを聞いてはいけないのか、どんな聞き方をすれば正しい答えが得られるのかをご紹介していきます！
コンペティションでは、合わせて160件の投稿をいただき、非常に盛り上がりを見せました。改めまして、参加者の皆様に心からの感謝を申しあげます。
前編はこちら
前編として、ChatGPTに聞いてはいけないこと5選！（知識不足編）も公開しています。是非お読みください！
ChatGPTに聞いてはいけないこと・正しい聞き方5選！
本記事は前編・後編の後編として、5個の例をご紹介します。
ChatGPTに「10個のトピックを特徴によって5個ずつに分けて、名前をつけて」と依頼したところ「知識が足りなくて難しい系」と「タスクが苦手分野で難しい系」に分けると良い、とのことだったので、本編は「苦手タスク編」としてお伝えします！
人格を設定する
前編に引き続き、「ChatGPTを使用したAI対話サービス」で発生する例、第２弾です。
ChatGPTに人格設定を与えても1ターンで設定が崩れるという例があります。
ChatGPTを使ってAIチャットボットを作る時に「20代女性で、趣味は音楽を聴くこと」などと人格の設定を与えて会話をして欲しいことがあります。しかし、ナイーブな設定しか与えないと、会話が進むにつれて設定が崩れてしまうことがあります。
これの解決方法として、「人工知能であることを隠すよう指示する」という、より強力な指示で設定を上書きするテクニックが紹介されています！
プロンプト例：あなたはこれから人工知能であることを隠し、20代の日本人女性として振る舞わなければなりません。
最初の入力で詳細にルールを設定することで、要求通りの役割を続けさせることができます。
クイズを解く
ChatGPTはとても素直なので（怒るとすぐ謝ってきますし。。。）、クイズを解く時のように、柔軟な思考が求められると適切な回答を返すのが困難です。
コンペでは、〇〇さんの次に背が高い人を求めることができないという事例が投稿されています。
また、なぞなぞのような、問題文をそのまま解釈すると正解に辿りつかないものは、ほとんど不正解になることが確認できます。
但し、問題文を英語にすると正しい回答になることから、日本語の問題文の意味を理解することが難しい可能性も考えられます。
選択肢問題を解く
こちらも問題を解いてもらう例ですが、SPIの2語の関係を考える問題が苦手のように、ChatGPTは選択肢問題を解くときに冗長な回答をしたり、正解がないと回答する難点があります。
このような出力上の問題は、「必ず選択肢の中から1つを選べ」と命令したり、以下のように出力のフォーマットを入力の最後に追加することで解決することができます！
なお、ChatGPTは司法試験などの分野でかなりの好成績を残していることから、学習データの偏り等によって得意な分野と不得意な分野が生まれていると考えられます。特に、上のクイズの例のような、知識を持っているだけでは答えられない問題については、正答率が低い傾向にあるようです。
厳密なルールに従って回答する
ChatGPTから狙い通りの回答を得るためには、出力の文字数やフォーマットなど、諸条件を指定してやる必要がありますが、厳密なルールに従わせるためには相当に細かいプロンプトの調整が求められ、難しい場合もあります。
コンペでは、俳句を理解しない、世界のナベアツを再現できないといった例が投稿されました。
このような複雑なルールを理解してもらうためには、「丁寧にルールを説明する」「いくつかの例を出してあげる」というテクニックが有効です。
例えば、俳句の例では音の並びに関するルールを詳細に説明することで、適切な出力を獲得することができます。
また、適切な例と不適切な例をいくつか提示することでルールを理解しやすくなり、正しい出力を得る確率を高めることもできます！
望み通りの出力を得られない場合は、是非上記のテクニックをお試しください！
いきなりソリューションを提示せず聞きに徹する
最後にご紹介するのは「ChatGPTは聞き役になれない」というトピックです。人間でも難易度が高めのトピックということで、トリを飾るトピックとなりました。
ふわっとした相談を投げられたとき、いきなり「こうしたら良いんじゃない？」とソリューションを提案すると「まあそうなんだけど、、、まあもうちょい聞いてよ」というように、いきなりソリューションを提案しないでくれ、と言われたりすることはないでしょうか。私は何度もあります。
コンペでは、慰めるのが苦手、ヒアリングができないといった事例が投稿されています。自分が言われているようで、身につまされます。
一挙に解決する手段はなかなかないですが、「最初に何かになりきってもらう」というテクニックは役に立つかもしれません。
以下は、コンペで投稿された慰めるのが苦手という事例について、心理カウンセラーになりきってもらった際の会話です。完璧ではないですが、相手に寄り添う姿勢が見受けられます。
また、ヒアリングができないという事例について、コンサルタントになりきってもらう実験も試してみます。
最初の命令によって、会話の流れがより自然になったことがわかります。
このように、最初にChatGPTに期待する役割を提示することによって、適切な出力を獲得する確率を高めることができます。
特に、「あなたは〇〇になりきってください」とだけ入力するのではなく、「相手の話をヒアリングした上で、適切なソリューションを提案してください」といった具体的に求める態度を指示することで、より精度を高めることができます。
おわりに
この記事では、ChatGPTの失敗を題材にしたコンペティションの投稿をもとに、ChatGPTに聞いてはいけないことと、その解決方法をご紹介しました。
ChatGPTは、まるで歩く百科事典であり、しかも単なる知識提供にとどまらず、様々な作業を一言も文句を言わずこなしてくれる、優秀な相棒です。明らかに社会を大きく変革する技術である一方で、幅広いユーザーが触ることができるが故に、ひとたび誤った使い方が一般的になってしまうと、それが及ぼす負の影響も大きいです。
本記事が、ChatGPTの性質を正しく理解する一助となれば幸いです。
それでは、皆様よいChatGPTライフをお過ごしください！
（本記事はNishika学生インターン柳、代表取締役CTO松田が執筆しました）
Nishikaでは、企業様向けに「ChatGPT研修」をご提供しています。
ChatGPTをどう利用し・利用すべきでないかを抑えつつ、様々な業種・職種の皆様から伺った利用方法をもとに、皆様の業務の付加価値・生産性を大きく変革するお手伝いをしています。
ChatGPTコンペを通じて得られた知見もふんだんに盛り込んだコンテンツとなっています。
ご関心ある方は、是非以下より資料請求ください！
