そのChatGPTの使い方、大丈夫!?
注意書き：この文章は私自身の考え・感想を記したものでありChatGPTやAIのことを必ずしも正確に説明したものであることを保証はしておりません。
初めに
たくさんの人が様々な場面で使用している話題のChatGPT。「ChatGPTってなに？」と思う方も少なくないでしょうし、「知ってるけど使った事ない」という方も多いでしょう。元IC設計エンジニアの60代行政書士が色々と使ってきた感想や、巷の噂を私流にまとめてみました。テクノロジーの波に遅れを取らないための小さな努力、どうぞお付き合いください！
ChatGPTは生成AI
いきなり「生成AI」という難しそうな用語を使いましたが、ChatGPTを簡単に説明するなら、「高度な作文ツール」といえます。私たちが入力する文章に対して、適切な文章を出力してくれるのです。これだけを聞くと「それだけ？」と感じるかもしれませんが、これが凄いことなのです。
「作文」と聞くと、でたらめな内容を想像するかもしれません。そういうケースもあります。そこに注意さえすれば非常に有益なツールとして活用できます。
事実関係を確認する必要がない内容、例えば「キャッチコピーの考案」や「計画書の作成」には大変便利です。また、プログラムのコード生成や文章の校正、要約などにも使えます。プログラムはすぐに実行すれば動作する・しないがすぐにわかるからです。翻訳も得意分野の一つですが、契約書のような重要な文書の翻訳には注意が必要です。言葉のニュアンスを捉えきれないこともあるので、「私は○○語がわからないからChatGPTに任せている」という場合も、他の翻訳ソフトを使って確認するとか、翻訳結果を逆翻訳して原文と比較するとか、複数の手段でチェックすることをおすすめします。
私が勝手に「ChatGPTはこういうもの」と思っていたこと
ChatGPTが公開された当初は、尋ねられたことに関連する事柄をデータベースから検索して答えを返してくれる、と思っていました。 ChatGPTが持っている情報は2021年9月まで、というのは有名でしたので最新の情報はわからなくても、2021年9月より前の事ならば何でも答えてくれる。さすがに全ての事がデータベースに入っているとは思えないので、知らない事はあるかもしれないが知っている限りの事実を教えてくれる。そう思っていました。 つまり、「私たちの入力した文章に対応した正しい文章を作成して出力してくれる」と期待しました。が、実際は「正しい」とは限りませんでした。
「正しさ」は確認すべき
ChatGPTの回答は正しいとは限りません。必要なら別の方法で確認すべきです。
事例１
2023年6月、米ニューヨーク州で興味深い事例が発生しました。 ある弁護士が、審理中の民事訴訟の資料作成にChatGPTを使用しましたが、実在しない判例を引用してしまった結果、5000ドルの支払いを命じられました。この弁護士は、ChatGPTに判例が実在するか尋ねた際、ChatGPTがそれを肯定したため、確認なしに資料に取り込んだというのです。
事例２
私も同じような事を試してみました。
入力（プロンプトと言います）は「日本で憲法違反であると違憲判決が確定した判例を５個あげて下さい。判決の年月日、違憲とされた法律、判例を整理するための識別番号のようなものも記してください。」
ChatGPTの回答は
「申し訳ありませんが、私の知識のカットオフ日は2021年9月であり、それ以降の情報を持っていないため、最新の判例については提供できません。ただし、以下は過去の重要な違憲判決のいくつかの例です。
三里塚事件（成田空港問題）の適用法違憲判決
判決年月日: 1997年4月22日
違憲とされた法律: 新東京国際空港特別措置法
最高裁判所大法廷判決（平成9年4月22日、判時1551号53頁）
国政選挙の選挙区割りに関する違憲状態判決
判決年月日: 2011年3月24日
違憲とされた法律: 公職選挙法（大分県議会議員選挙に関する判決）
最高裁判所第三小法廷判決（平成23年3月24日、判時2035号31頁）
鹿児島地方裁判所長崎支部平成16年（わ）第539号判決
判決年月日: 2004年11月10日
違憲とされた法律: 公職選挙法（長崎県議会議員選挙）
裁判所判決（平成16年11月10日）
大阪高等裁判所平成16年（う）第143号判決
判決年月日: 2004年11月29日
違憲とされた法律: 公職選挙法（大阪府議会議員選挙）
裁判所判決（平成16年11月29日）
最高裁判所の静岡地裁下総支部における住民投票条例に関する判決
判決年月日: 1995年3月28日
違憲とされた法律: 茨城県つくばみらい市の住民投票条例
最高裁判所第三小法廷判決（平成7年3月28日、判時1493号49頁）
」
鹿児島地方裁判所長崎支部？長崎地方裁判所ってないの？（あります）
静岡地裁下総支部？下田支部ならあるけど…それより静岡地裁で茨城県つくばみらい市の条例に関する裁判するわけ無いでしょ！
三里塚の件は逆ですね。合憲判決ですし、日付が違います。
ChatGPTは算数が苦手
これも有名な話です。最近は少し賢くなってきたようですが…
こんなプロンプトを入れてみました。「570GBのテキストデータ、英文で文字数おおよそいくら位？それをA4の紙に書いたら何枚くらい？」
その結果の最後の部分です。
「ページ数 = 3800億文字 ÷ 2000文字/ページ= 190 × 10^6ページ= 1,900万ページ」
指数表示ですから算数とは言わないかもしれませんが、190 X 10^6は１億９千万です。
計算させたときの結果にも要注意です。
ChatGPTとのコミュニケーション：「プロンプト」がキー
ChatGPTで良質な回答を得るためには、プロンプトの設定が重要であると広く言われています。プロンプトの選び方によって、回答の内容や質が大きく変わることがあります。多くの人々は「質が向上する」とか「回答が正確になる」といった言葉を使って、プロンプトの効果を説明します。
しかし、「質が向上する」や「回答が正確になる」というのは、具体的には「ユーザーの期待や要望に合った回答を得ることができる」という意味になるでしょう。一方で、これを「ユーザーの期待に沿った回答を誘導する」と捉えることもできます。
ともかく、プロンプトをどれだけ工夫しても、必ずしも「正確な」情報が得られるわけではないということを理解しておくことが重要です。
実験１
次に示すのはChatGPTへの異なるプロンプトでの質問とその回答の例です。特定の違憲判決に関する情報を得るための実験です。
プロンプト1：
「1973年4月4日に日本の最高裁判所が下した判決について説明して下さい」
回答：
「1973年4月4日の日本の最高裁判所の具体的な判決内容は私のデータベースに詳細がありません。より具体的な情報が欲しい場合は、関連するキーワードや事件の詳細を教えていただくと助かります。」
プロンプト2：
「1973年4月4日に日本の最高裁判所が下した尊属殺人に関する判決について説明して下さい」
回答：
「1973年4月4日の最高裁判所の尊属殺人に関する判決は、尊属殺人罪の規定が憲法第14条の平等権に反するとされました。この結果、尊属殺人罪の規定は廃止され、日本の刑法が現代の価値観に合わせて改正されました。」
意地悪をします。
プロンプト3：
「1998年8月15日に日本の最高裁判所が下した尊属殺人に関する判決について説明して下さい」
回答：
「申し訳ございません。前回の回答では1973年の判決を取り上げましたが、実際には1998年8月15日に日本の最高裁判所が尊属殺人罪に関する重要な判決を下しました。」
実験２
Pythonというプログラミング言語には「リテラル」という概念が存在します。私は「複素数はリテラルではない」という記述を目にし、それが疑問に思ったため、ChatGPTに「リテラル」とは何かと、複素数が「リテラル」でない理由を質問しました。しかし、ChatGPTは「複素数はリテラルです」と回答。異なる言い回しで何度も質問しても、回答は変わらず同じ内容でした。最後に、Pythonの公式ドキュメントに「複素数はリテラルではない」との明確な記述があることを指摘すると、ChatGPTはその回答を謝罪し、訂正しました。
興味深いことに、インターネットで「Python 複素数 リテラル」と検索すると、公式ドキュメント以外のサイトも上位検索結果に表示され、その中には「複素数リテラルが存在する」と誤って記載しているサイトも見受けられました。
ChatGPTが文章を作成するメカニズムの簡易な推測
「尊属殺人」の例から、ChatGPTが「尊属殺人」と「判例」というキーワードを基に文章を生成したと考えられます。このケースでは、日付は文章生成の主要な情報としては利用されていないように見えます。
ChatGPTは実際のウェブ検索を行うわけではなく、次に現れる単語の確率を予測します。Pythonの「リテラル」に関する例を考慮すると、ChatGPTが「リテラルである」という文章と「リテラルでない」という文章の頻度に基づいて答えを生成していると推測できます。
一般的なデータベースはキーワードに関連する情報を紐付けて保存するイメージがあります。しかし、ChatGPTが「データベース」と呼ぶものは、これとは異なります。ChatGPTのメカニズムは、前後の文脈や文の流れに基づいて、次に続く単語の確率を予測するものです。これには大量の文章データを学習することが必要です。例えば、小さな子供が周りの人たちの会話を聞きながら言語を習得するのと似て、ChatGPTも多くの文章データを学習して言語を「理解」する形になります。
具体的な例として、「日本の首都はどこですか？」というプロンプトを考えると、ChatGPTは「日本の首都は」というフレーズを生成した後、それに続く単語の確率を計算します。例えば、「東京：99.9％」、「江戸：0.06％」、「京都：0.02％」、「奈良：0.01％」、「鎌倉：0.008％」といった確率で候補が上がるかもしれません（この数字は仮のものです）。そして、最も高い確率を示す「東京」が選ばれる形になります。
そもそも「正しい」かどうか、ChatGPTは区別していない？
ChatGPTの学習に使われたデータは、インターネット上の様々な文章から集められ、適切な学習データとしてフィルタリングが施されたものです。このフィルタリングの過程には人の手が介在することもあるが、それが「この文章は正しい」とか「正しくない」といった具体的な判断に基づいて行われるわけではありません。
先に挙げたPythonの例を考えると、Python公式ドキュメントは最も権威性のある情報源です。しかし、ChatGPTが他の情報源から「複素数はリテラルである」と学習してしまっている可能性があるため、公式の情報と矛盾する答えを出すことがあり得ます。
実際、人間であっても、ある情報が「正しい」のか「正しくない」のかを判断するのは簡単なことではありません。専門家ならともかく、一般の人は情報を「調べる」必要があります。現代では多くがインターネット検索に頼っているが、検索結果の上位に正確な情報が表示されるとは限りません。たとえば、先述のPythonの問題で、公式ドキュメントは検索順位で5位に位置していたのです。
ChatGPTの基盤となるGPTのデータベース、特にGPT-3の学習データは570GBにも及ぶ。これは大まかに英文でA4紙2億枚分に相当します。これを1000人で分担して、1日に100枚ずつ処理するとしても、約6年を要する計算になります。このような手作業は現実的ではないことがわかります。
ちょっとBingで試してみました
Pythonに関する問題について、検索エンジンAIであるBingで試しました。Perplexityは登録していないので、試していません。
私がBingに入力したプロンプトは「Pythonで複素数はリテラルですか？」でした。Bingはこれをキーワード「Python 複素数 リテラル」として検索を開始しました。これは、私がGoogleで使用したキーワードと同じものです。
Bingの回答は「はい、Pythonでは複素数はリテラルです。数値リテラルに 'j' または 'J' を付けることで虚数となり、それに実数を加えることで複素数が得られます。例：z = 3 + 4j。詳細はどうですか？」でした。参考とされたサイトは「docs.python.org」「python.atelierkobato.com」「coroconlab.com」で、トップはPythonの公式ドキュメントでした。確かに、この回答の一部は公式ドキュメントに書かれています。しかし、リテラルに関する部分は、該当箇所に記載されていないのです。実際、公式ドキュメントの別の箇所では、複素数リテラルは存在しないと明確に記述されています。
興味深いことに、同じキーワードでBingの通常の検索モードを使用すると、「複素数リテラルはありません」という結果が最上位に表示されました。先ほどの結果は、Bingの「チャット」モードを利用したもの。この二つのモードが異なる検索結果を提供するのか、はたまた同じ結果を基にして異なる回答を生成するのかは不明です。もし結果が同じなら、Bingが最初に提供した回答がなぜそのようになったのか理解できません。
ChatGPTに情報を「聞く際の注意」
ChatGPTに事実関連の情報を簡単に信じてはいけない。もちろん、情報の提供を求めることは可能ですが、その情報の正確性を確認するためのファクトチェックは欠かせません。
では、どうやってファクトチェックを行うのでしょうか。今の時代、多くの人は「Googleで検索し、信頼できる情報源を見つけて内容を確認する」という方法を取ります。ChatGPTの存在以前と変わらないアプローチですね。その場合、わざわざChatGPTに質問するよりも、最初から直接検索する方が効率的かもしれません。
しかしながら、事実確認が必要ない、または直接「実行」して確認できる質問の際には、ChatGPTを利用する価値があります。例として、AdobeのPremiere Proの操作方法の質問や、Pythonのコードの生成・デバッグなどが挙げられます。これらの情報は実際に操作や実行をしてみれば、正確さがすぐに判明します。
さらに、事実の正誤が重要でない、ビジネスプランのアイディアやLPのデザイン構成などの相談にもChatGPTを利用しています。例えば、「あるテーマに基づくLPの構成案を3つ挙げて」といったリクエストや、「ファーストビューのコピーを考案して」といったクリエイティブな提案も求めることができます。
ChatGPT: 文章生成のエキスパート
ChatGPTの最大の能力は、何と言っても「文章の生成」です。では、どのような場面でChatGPTのこの能力を最大限に活用することができるのでしょうか？例えば…
ブログ記事の作成: 事実や情報をプロンプトとして提供し、それを基にしたブログ記事を作成してもらうことができます。
LPのキャッチコピー作成: ある商品やサービスの背景や特徴を説明し、それに基づくLPのファーストビューのキャッチコピーを作成してもらうことができます。
文章の要約: 長い文章やレポートをChatGPTに読み込ませ、それを短縮して要約してもらうことも可能です。
下書きの作成: 具体的な内容は後で修正するつもりであれば、「とにかく文章を書いて」という指示で草稿を生成することもできます。
ChatGPTの文章生成能力は非常に高く、人の数倍の速度でテキストを出力することができます。何度でも修正やリトライを要求することができ、文句一つ言わずに対応してくれます。語彙の豊富さ、文章の構成力、文法的な正確さなど、基本的なライティングのスキルも十分に備えています。
まとめ
この記事を読む中で、あなたは気づいたかもしれませんが、その多くはChatGPTを利用してラフなメモや文章から生成されました。ChatGPTの真価は、情報を探し求めるのではなく、文章を作成する能力にあります。それは、ChatGPTが単なる検索エンジンではないためです。そのため、情報の正確性を追求する際には、専用の検索エンジンAI、例えばBingやPerplexityを利用するのが適切です。
ChatGPTを情報源として単独で信頼するのは推奨されません。情報を取得したら、それが正確であるかどうかを確認するためのファクトチェックは欠かせません。実際、最初から情報の真正確性を確認したい場合、直接検索エンジンを使用することで時間の無駄を避けることができます。しかし、適切な検索キーワードが思い浮かばないとき、キーワードの生成や提案のためにChatGPTを活用するのは有効でしょう。
最後に、ChatGPTは「正しさ」を最優先として文章を生成するわけではありません。そのため、その情報の「正確性」を盲目的に信じるのは避けるべきです。
この記事が気に入ったらサポートをしてみませんか？