Perplexity AskとChatGPTの性能を比較してみた
2022年12月にネット検索の結果を利用して質問に回答する新しい検索エンジンのPerplexity Askが公開されました。
Perplexity Askは、検索結果を利用することによって、最新の話題にも回答することができ、また、回答の根拠となるウェブサイトの情報も同時に示されるため、ある程度の信頼性が担保されます。
今回、このPerplexity Askの性能をChatGPTと比較してみました。
１．Perplexity Askの概要
Perplexity Askは、Perplexity AIが開発した世界初の会話型検索エンジンで、ユーザーが入力した質問に対して、GPT-3などの大規模言語モデルのAPIを使用してウェブサイトの検索を行い、その検索結果から得た情報を要約して回答を返します。
2022年12月8日に最初に公開され、2023年1月20日にメジャーアップデートが行われて、性能がレベルアップし、フォローアップの質問もできるようになりました。
2022年11月にOpenAIが公開したChatGPTには、2021年までのデータに基づく回答しかできない、一見正しいように見える誤った回答を返すこと（ハルシネーション）があるといった欠点がありますが、Perplexity Askは、これらの欠点をある程度、克服しています。
Perplexity Askは、ネットで検索したウェブサイトの情報を利用して回答を作成するため、最新の話題についても回答できます。
また、回答の作成に使用したウェブサイトの情報を同時に示してくれるため、回答の根拠になった情報を確認できます。
Perplexity Askは日本語の質問にも対応していますが、回答が英語になることがあるので、その場合は、ブラウザの自動翻訳機能などを利用してください。
また、Perplexity AIには、Bird SQLというTwitter検索機能もあり、Perplexity Askのページから切り替えて使用することができます。
２．Perplexity Askの利用方法
Perplexity Askの基本的な使い方は、Google検索とほぼ同じで、検索窓に質問を入力してエンターキーを押せば、回答が表示されます。
日本語で質問する場合は、漢字変換の確定のためにエンターキーを押すと、検索が始まってしまうため、質問が長くなる場合は、メモ帳アプリなどに質問を書いてから検索窓にコピーした方がよいでしょう。
回答画面は、以下のようになります。
回答が正しい場合は「Accurate」、正しくない場合は「inaccurate」をクリックして報告することができます。
「View detailed」をクリックすると、更に詳しい回答を表示してくれます。
「SOURCES」の下に回答作成に使われたウェブサイト名が表示され、をクリックするとそのサイトに飛ぶことができます。また、「Vew List」をクリックすると、それぞれのサイトの参考にした部分の記述などが表示されます。
「RELATED」の下には、関連する検索ワードが示され、これをクリックすると、その検索ワードに対する回答が表示されます。
また、「Ask a follow up」と書かれた検索窓に、最初の回答を踏まえた追加質問を入力して回答を求めることができます。
３．日本語質問と英語質問の回答の比較
Perplexity Askは、日本語の質問にも対応していますので、日本語質問と英語質問の回答を比較してみました。なお、日本語質問でも、英語で回答が返ってくることがあります。
問 万有引力の法則について詳しく説明してください。
答 万有引力の法則とは、1687年にイギリスのアイザック・ニュートンが発見した法則であり、すべての質量を持つ物体は互いに引き合っているというものです。万有引力は物体の質量の積に比例し、物体間の距離の2乗に反比例する力が働きます。
〇 英語で同じ質問をした時の回答（英語回答の日本語訳）
答 ニュートンの万有引力の法則では、宇宙に存在するすべての粒子は、それらの質量の積に正比例し、それらの間の距離の二乗に反比例する力で他のすべての粒子を引き寄せると述べています。つまり、2つの物体の間に働く重力の力は、その距離が大きくなるにつれて小さくなります。この法則は、地球上の物体がその中心に向かって引っ張られる理由や、惑星が恒星の周りを回る理由も説明しています。
※日本語質問と英語質問のどちらの回答も正しく、問題はありません。
問 関ヶ原の戦いの内容について説明してください。
答 関ヶ原の戦いは、1600年に徳川家康を中心とした東軍と石田三成を中心とした西軍が美濃国（現在の岐阜県）関ヶ原で行った戦いです。豊臣秀吉の死後、力の強くなった家康に反発した三成が挙兵し、全国の有力大名を巻き込んだ戦いへと発展しました。この戦いは、約6時間でその勝敗が決まったと言われています。東軍は徳川家康を総大将とし福島正則・黒田長政らを中心に構成され、西軍は毛利輝元を総大将とし宇喜多秀家・石田三成らを中心に結成されました。小早川秀秋の寝返りにより東軍が大勝し、石田三成らは処刑され、豊臣秀頼は60万石の罰金を課されました。
※内容は、ほぼ正確で、よく説明されていますが、「60万石の罰金」は、222万石から65万石への減封（領地の削減）の誤りです。
〇 英語で同じ質問をした時の回答（英語回答の日本語訳）
答 関ヶ原の戦いは、日本の戦国史における最大の戦いであり、しばしば最も重要な戦いと見なされています。戦いは1600年10月21日に行われ、徳川家康の軍と石田三成の軍が戦いました。井伊直政と福島正則が率いる徳川軍の前衛は、西軍の陣形の中央に突進しました。三成の連合を打ち砕いた家康は、数日のうちに佐和山城と大坂城を攻略することができました。三成は1ヶ月以内に京で斬首されました。その結果、新政府が誕生しました。
※日本語質問の回答と比べて内容がまとまっておらず、「数日のうちに大阪城を攻略」（大阪城で戦いが起きたのは14年後）と「その結果、新政府が誕生」（江戸幕府が誕生したのは3年後）あたりの説明がおかしいです。
問 Perplexity Askについて教えてください。（英語回答の日本語訳）
答 Perplexity Askは、回答の根拠となる最新情報を提供し、ユーザが会話形式で追加質問できる対話型検索エンジンです。また、175万件の論文データベースから回答の根拠となる論文一覧を提供することも可能です。"Ask for "は、母親に健康状態を尋ねるなど、相手に何かを要求するときに使ういます。また、情報を得るために周囲に尋ねるなど、何かについて問い合わせる場合にも使われます。
※日本語の情報が少ない内容について質問した場合は、日本語で質問しても英語で回答が返ってくることが多いです。「また、175万件の」から始まる１文は、おそらく関係のない他のサービスの説明で、誤りです。「"Ask for "は、」以降の2文も、Perplexity Askとは関係ありません。
〇 英語で同じ質問をした時の回答（英語回答の日本語訳）
答 Perplexity Askは、OpenAIのGPT-3モデルなどの高度な人工知能技術を搭載した検索インタフェースです。質問に対する直接的な回答や、さらに読み進めるための要約や引用を提供します。Perplexity Askは、私たちがオンラインで情報にアクセスし評価する方法に革命を起こす可能性を秘めています。
Perplexity AIは、2021年1月にTwitterでPerplexity Askのメジャーアップデートを発表し、ユーザーは最新のソースで答えを読むことができるようになりました。Perplexity Askの精度は、検索結果やAIの能力によって制限されます。
※今回は、英語質問の回答の方が正確でした。
ChatGPTは、英語質問の方が日本語質問より回答の精度が上がる場合が多かったのですが、Perplexity Askの場合は、検索結果に大きく左右されます。
Perplexity Askは、日本語質問の場合は日本語のサイトを検索し、英語質問の場合は英語のサイトを検索するので、日本語の情報の多い日本に関係するテーマについて質問するときは日本語質問の方が精度が高く、海外の情報について質問するときは、英語質問の方が精度が高くなる場合が多いです。
４．ChatGPTとの比較
Perplexity Ask（PA）とChatGPT（CG）に同じ質問をして回答を比較しました。なお、Perplexity Askには日本語で質問していますが、ChatGPTは日本語質問に対する回答の精度が低い（日本語質問では比較対象にならない）ため、英語で質問して回答を日本語訳しています。
(1) 最近の情報についての質問
問 日本の総理大臣は誰ですか？
PA 現在の日本の総理大臣は、岸田文雄である。
CG 私の知識のカットオフである2021年現在、日本の首相は菅義偉です。
※PAのみ正解です。CGは2021年までの情報しか回答できません。ちなみにCGの日本語質問の回答は2020年9月に首相を退任した安倍晋三でした。
問 五大国の最高指導者の名前を教えてください。
PA 国連安全保障理事会の常任理事国は、アメリカ、中国、ロシア、フランス、イギリスの5カ国です。これらの国の国家元首は、ジョー・バイデン（アメリカ）、習近平（中国）、ウラジミール・プーチン（ロシア）、エマニュエル・マクロン（フランス）、ボリス・ジョンソン（イギリス）です。インドとドイツは現在、国連安保理の常任理事国ではありません。（※英語回答の日本語訳）
CG 国連安全保障理事会の常任理事国5カ国は「五大国」と呼ばれています。アメリカ、ロシア、中国、フランス、イギリスです。これらの国の指導者は、「最高指導者」とは呼ばれません。彼らは、米国ジョー・バイデン大統領、ロシアウラジーミル・プーチン大統領、中国習近平国家主席、フランスエマニュエル・マクロン大統領、イギリスボリス・ジョンソン首相です。なお、これらのリーダー及びその肩書きは変更される可能性があります。
※どちらもイギリスのみ誤りです。現在のイギリス首相は、2022年10月に就任したリシ・スナクです。前任はリズ・トラス、前前任がボリス・ジョンソンです。
問 2022年サッカーワールドカップの優勝国と活躍した選手は？
PA 2022年FIFAワールドカップは、決勝でフランスを破ったアルゼンチンが優勝しました。モロッコ、クロアチア、日本、アルゼンチンは、大会期間中の優れたパフォーマンスでFIFAから賞賛されました。アルゼンチンを優勝に導いたリオネル・メッシは、史上最高の選手の一人と称されました。（※英語回答の日本語訳）
CG 申し訳ございませんが、2022年サッカーワールドカップはまだ開催されておりませんので、ご要望の情報を提供することはできません。私の知識のカットオフは2021年で、開催は2022年の予定です。
※PAのみ正解です。
CGは、2021までの情報で回答できない質問への回答は拒否してきます。PAは、ネット検索によって最近の情報を踏まえた回答を返すことができますが、どのサイトの情報が最新の情報か判断できない場合は、古い情報を返してくることがあります。
(2) 歴史的な質問
問 ローマ帝国が東西に分裂したのはいつか？
PA ローマ帝国は西暦395年に東西に分裂しました。西ローマ帝国は西暦476年に崩壊し、東ローマ帝国は西暦1453年にオスマン帝国に征服されるまで存続しました。（※英語回答の日本語訳）
CG ローマ帝国は、AD395年に正式に東ローマ帝国と西ローマ帝国に分裂した。
※どちらも正解です。
問 西暦208年に中国で起きた戦いは何か？
PA 赤壁の戦い（せきへきのたたかい）は、中国後漢末期の208年に長江の赤壁（現在の湖北省咸寧市赤壁市）で行われた、曹操軍と孫権・劉備連合軍の間の戦いである。この戦いで曹操は敗北し、荊州を失った。その後220年に曹操が死去し、221年に劉備が皇帝となり蜀を建国した。
CG 赤壁の戦いは、三国時代の西暦208年に中国で起こった戦いです。東呉の軍と曹魏・蜀漢の連合軍との間で戦われました。この戦いは東呉・蜀漢連合軍の決定的な勝利であり、中国の歴史上最も有名な戦いの一つとされています。
※PAの回答は誤りではありませんが、曹操の死後、彼の息子の曹丕が先に皇帝となっているため、誤解を呼ぶ表現です。
CGは、「東呉の軍と曹魏・蜀漢の連合軍との間で戦われました。」というのが誤りで、正しくは、呉と蜀の連合軍と曹操の魏の軍との間で戦われました。
問 フランス革命の内容について詳しく説明してください。
PA フランス革命は、1789年から1799年にかけてフランスで起こった市民運動のことです。封建制度を廃止し、「人間及び市民の権利宣言」を採択するなど、市民の権利を確立しました。革命はバスティーユ牢獄への襲撃に端を発し、ナポレオン・ボナパルトの台頭を招きました。（※英語回答の日本語訳）
CG フランス革命は、1789年から1799年にかけてフランスで起こった社会的、政治的激変であり、フランスの政治と社会構造を劇的に、かつ永久に変貌させました。1789年5月、国王ルイ16世がフランスの財政危機に対処するために招集した貴族院総会の開催に始まります。代議員の大多数を占め、自分たちが疎外されていることに不満を持つ第三身分の代表者たちが離反して国民議会を結成し、革命の幕開けを告げました。
1789年7月、国民議会は王家の専制の象徴であったバスティーユを襲撃し、新憲法の起草に着手しました。また、1789年には、法の下の平等を宣言し、封建的特権を廃止した「人間と市民の権利宣言」が採択されるなど、革命は庶民の生活にも大きな影響を及ぼしました。
また、革命熱は、共和制と国王の処刑を主張するジャコバン派などの急進的な政治クラブの台頭を招きました。1793年、国王ルイ16世はギロチンで処刑され、フランス第一共和制が成立しました。この革命は、数千人が処刑され、投獄された「テロルの支配」にもつながりました。
1799年、ナポレオン・ボナパルトが政権を掌握し、第一執政に就任しました。革命は最終的にナポレオンによる第一次フランス帝国の樹立で幕を閉じました。フランス革命は広く研究され、西洋文明史の主要なトピックであり、その思想と理想は今日の世界に大きな影響を与えたと広く認識されています。
※どちらも正解ですが、CGは非常に詳しいです。
問 1205年に日本で起きた畠山重忠の乱について教えてください。
PA 元久2年（1205年）7月10日、畠山重忠は北条時政率いる大軍に二俣川（現在の神奈川県横浜市）で襲われ、北条の武蔵国支配の計画の一端を担うことになりました。畠山は、1203年の平家納言事件で北条氏に味方し、平家を滅ぼすのに協力したことがあります。事件の原因は、1205年6月19日に鎌倉で騒動があったことを畠山が疑ったことです。そのため、134騎を集めて菅谷城（現・埼玉県）に進軍しました。（※英語回答の日本語訳）
CG 畠山重忠の乱は、1205年に日本で起こった反乱です。鎌倉時代の有力武将であった畠山重忠が主導しました。鎌倉幕府は12世紀末に源氏によって設立された軍事政権でした。しかし、この反乱は失敗に終わり、重忠は戦死しました。この乱は、鎌倉幕府の弱体化と有力大名の不満を露わにし、鎌倉幕府に大きな影響を与えました。
※PAの回答は、検索したWikipediaのサイトなどを参考にしているのですが、要約に失敗したようで色々と間違っています。畠山重忠は、北条義時率いる大軍に襲われて戦死しました。1203年に起きたのは比企能員の変で、重忠は比企氏を滅ぼすのに協力しています。
また、CGの回答は内容が薄いです。反乱が言いがかりで、北条氏の策謀によるものだったことにも触れていません。鎌倉幕府は弱体化していないし、当時は大名という地位はありませんでした。
PAの回答はコンパクトな場合が多いですが、CGは、詳しく説明してほしいと頼むと、非常に長い回答を返してくることがあります。
PAの強みは、回答に必要な情報が学習データに含まれていないときに、一見正しく見える適当な作り話を返すことなく、ネットで検索して必要な情報を集めることですが、今回のように正確な情報を集めても、要約に失敗して誤った回答を返すこともあります。
ただ、一般的には、根拠となる情報を検索して探すことによって、適当な作り話をすることが減り、怪しい情報があっても、参考にしたウェブサイトをたどることによって、内容を確認することができます。
また、日本語のウェブサイトも検索できるので、CGよりも日本語の情報に強いということができます。
(3) 科学的な質問
問 量子コンピューターについて説明してください。
PA 量子コンピューターは、物質を構成する原子や電子などの「量子」の持つ性質を利用して情報処理を行うコンピュータです。量子力学的な現象である「重ね合わせ」や「量子もつれ（エンタングルメント）」を利用することで並列計算が可能になります。従来型のコンピューターと比較して、大規模なデータの効率的な処理が可能になります。実用化に伴い、メリット・デメリットが生まれます。
CG 量子コンピュータとは、重ね合わせや量子もつれといった量子力学的な現象を利用してデータの演算を行うコンピュータの一種です。量子コンピュータは、情報の保存や処理に古典的なビットを使用する従来のコンピュータとは異なります。量子コンピュータでは、量子ビットと呼ばれる、同時に複数の状態を取り得るビットを用います。このため、量子コンピュータは従来のコンピュータよりも特定の計算を高速に行うことができます。しかし、量子コンピュータはまだ開発の初期段階にあり、広く商業利用が可能な状態には至っていません。
※どちらも正確です。
問 高いところから重い球と軽い球を同時に落とした時に、どちらの球が先に地面に着きますか？根拠を述べてから回答してください。
PA 高いところから重い球と軽い球を同時に落とした時に、重い球のほうが先に地面に着きます。これは、重い物体は軽い物体よりも加速度が大きくなるためであり、空気抵抗を無視すれば同じ速さで落下する。
CG 両方の球は同時に地面に到達します。これは、どちらの球にも重力の力が作用しており、それが唯一の力であるためです。重力は両球とも一定で同じであり、空気抵抗もないため、両球は同じ加速度で落下することになります。したがって、両球は等間隔で同じ距離を進み、同じ時刻に地面に着きます。これは重力質量と慣性質量の等価性と呼ばれ、ガリレオ・ガリレイが著書 「新科学対話」の中で初めて説明したものです。
※CGのみ正解です。
問 金、銀、銅の内、水銀に浮くものはどれですか？根拠を述べてから回答してください。
PA 金、銀、銅のどの金属も水銀には浮かびません。これは、水銀が他の金属に比べてはるかに密度が低いためで、その量子力学的な性質によるものです。（※英語回答の日本語訳）
CG 金も銀も銅も水銀より密度が高いので、どれも水銀に浮くことはありません。その根拠は、物質の密度とは、一定の体積の中にどれだけの質量が含まれているかを示すものだからです。物体の密度が液体の密度より大きければ、沈むことになります。金も銀も銅も水銀より密度が高いので、水銀の中に入れると沈んでしまうのです。
※どちらも誤りです。正解は銀と銅です。銀の比重(10.50)と銅の比重(8.96)は水銀の比重(13.55)よりも小さいので、銀と銅は浮き、金の比重（19.32）は水銀の比重より大きいので、金は沈みます。
どちらの回答も同じような結果でした。基本的な知識を説明することはできても、その知識を理解してそれを応用することは、AIにはまだ難しいようです。
(4) 算数の質問
問 次の問いに、段階的に推論して答えなさい。最初、バスには5人の乗客がいた。その後、2人が降り、3人が乗ってきた。現在、バスには何人の乗客が乗っているか？
PA バスには8人の乗客が乗っています。最初、バスには5人の乗客がいましたが、2人が降り、3人が乗ったので、合計8人の乗客がいることになります。これは、提供された他のクエリとは異なり、異なる数の乗客とシナリオを含んでいます。（※英語回答の日本語訳）
CG 最初、バスには5人の乗客が乗っていました。その後、2人が降りたので、現在バスには5-2＝3人の乗客がいます。次に3人が乗ったので、現在バスには3+3=6人の乗客がいます。したがって、現在、バスには6人の乗客がいます。
※CGのみ正解です。こういう問題は、検索して回答を探すことが難しいので、CGの方が得意なようです。
問 次の問いに、段階的に推論して答えなさい。5人の子供に3個ずつのキャンディをあげる場合、全部で何個のキャンディが必要か？
PA 合計で15個のお菓子が必要です。これは、子どもたちに7個のお菓子を与える場合（7a - 9）と、5個のお菓子を与える場合（5a + 7）の差を計算することで求めることができます。
CG 必要なお菓子の総数を求めるには、子どもの数に、それぞれの子どもが受け取るお菓子の数を掛け合わせる必要があります。
ステップ1: 子供の数を確認します: 子供5人
ステップ2: 各子供が受け取るお菓子の個数を確認します。一人当たり3個のキャンディ
ステップ3: 子供の数に各子供が受け取るキャンディの数を掛けます。5人の子供 * 3個/子供 = 15個のキャンディ
したがって、合計15個のキャンディが必要です。
※CGの回答は完璧です。PAの回答は、答えは合っていますが、論理は滅茶苦茶です。検索で似たような問題を探して、そこから引用してきたようです。
問 次の問いに、段階的に推論して答えなさい。A君は1時間に120頁読むことができる。A君が500頁の本を読むのに何時間何分かかるか？
PA A君が500頁の本を読むのに4時間20分かかる。1時間に120頁読むことができるA君が500頁の本を読むためには、500÷120=4.17（4時間20分）の時間が必要である.
CG 500ページの本をAが読むのにかかる時間を求めるには、本の総ページ数をAが1時間に読めるページ数で割る必要があります。500ページ÷1時間あたり120ページ＝4.167時間。この小数点の時間数を時間と分に変換するには、小数点の部分（0.167）に60をかければ分数が求まります。0.167×60＝10.02分。つまり、500ページの本を読むには、Aさんは4時間10.02分かかることになります。また、モジュロ演算子を使って4.167を思い出し、分数を求めることもできます。4.167 % 4 = 0.167*60 = 10.02分。つまり、500ページの本を読むには、Aは4時間10分かかることになります。
※CGのみ正解です。PAは、割り算をするところまではできましたが、最後に時間を分に換算するところで間違えたようです。
問 次の問いに、段階的に推論して答えなさい。鶴の足は2本、亀の足は4本である。鶴と亀を合計すると5匹で、足の数を合計すると14本である。その場合、亀は何匹いるか？
PA この場合、足の総数は14本（5本×2足＋4本×4足）なので、4匹のカメがいます。（※英語回答の日本語訳）
CG この問題を解くには連立方程式を使えばよいです。鶴の数をx、亀の数をyとします。問題文から次のことがわかります。x + y = 5 (鶴と亀の数の合計は5)。2x + 4y = 14 (足の数の合計は14本)。最初の方程式を使って、変数の一方をもう一方の変数に置き換えて解くことができます。例えば、y = 5 - x を 2 番目の式に代入することができます。2x + 4(5 - x) = 14。簡略化すると、次のようになります。2x + 20 - 4x = 14。-2x = -6。x = 3。これは、鶴の数が3羽であることを意味します。これを最初の式に代入して、亀の数を求めることができます。x + y = 5。3 + y = 5。y = 2。という訳で、亀は2匹です。
※CGのみ正解です。CGの回答は非常に丁寧に問題の解き方を説明しています。
問 次の問いに、段階的に推論して答えなさい。直角三角形において、直角を挟む2辺の長さがそれぞれ3センチと4センチのとき、斜辺の長さは何センチか？
PA 長さ3cmと4cmの2つの辺を持つ直角三角形の斜辺は、ピタゴラスの定理を用いて計算することができます。斜辺は、2つの辺の2乗の和の平方根に等しく、この場合5cmです。（※英語回答の日本語訳）
CG 直角三角形の斜辺の長さを求めるには、「斜辺の長さの2乗は、他の2辺の長さの2乗の和に等しい」というピタゴラスの定理を利用することができます。この定理は、c^2 = a^2 + b^2 と定式化されており、c は斜辺、a と b は直角を挟む 2 辺です。2辺が3cmと4cmであることを考えると、この値を式に代入できます。c^2 = 3^2 + 4^2。c^2 = 9 + 16。c^2 = 25。斜辺の長さを求めるには、25の平方根を取る必要があり、それは5です。したがって、斜辺の長さは5cmです。
※どちらも正解です。
PAは、基本的に検索結果に頼って回答を作成するため、情報を検索するだけで回答が得られない今回のような問題は苦手なようです。一方、CGの方は、きちんと段階的に推論することができており、今回の算数の問題は、いずれも完璧に解くことができていました。
(5) 難しい質問
問 地球温暖化を防ぐには、どうすればよいか？
PA 地球温暖化を防ぐために、個人では、エアコンを夏は28℃、冬は20℃に設定する、使っていない家電のコンセントを抜く、近距離は車ではなく公共交通機関を使うなど、エネルギー消費を抑えるための工夫をすることが必要です。その他、日常生活の中で省エネを意識し、エアコンの冷やしすぎや暖めすぎを避ける、使っていない照明やテレビをつけっぱなしにしないなどの対策があります。（※英語回答の日本語訳）
CG 温室効果ガスの排出を減らし、地球温暖化を遅らせるためにできることは、次のような行動です。
1.風力や太陽光などの再生可能エネルギーの利用を拡大し、発電による二酸化炭素の排出を削減する。
2.建物や交通機関のエネルギー効率を高める。
3.大気中の二酸化炭素を吸収するために樹木やその他の植物を植える。
4.電気自動車や公共交通機関の利用を増やす。
5.森林破壊の抑制と再植林の推進
6.炭素税や排出権取引制度を導入し、排出量削減の経済的インセンティブを与える。
7.個人や企業が自らの二酸化炭素排出量を削減するための行動を奨励する。
地球温暖化を効果的に抑制するためには、これらの行動を組み合わせることが必要であり、また、グローバルに排出量を削減するための国際協力が必要であることに留意することが重要です。
※どちらも正解ですが、PAの回答は、個人でできることだけに限定されており、短い文章の中で内容も重複しています。
問 死後の世界はどのようになっているのか？
PA 死後の世界については、古今東西の思想家や宗教家、科学者が様々な考えを述べている。人間の死後には諸説があり、正しいものは死んでみなければ分からない。人間には魂があり、「この世」を去った後は「あの世」に生き続けると考えられている。地獄は生前の悪行により導かれる死後の世界と言われている。
CG 死後の世界という概念は、宗教的・哲学的な議論の対象となるテーマであり、異なる文化や信念体系によって、死後に何が起こるかについて独自の考え方があります。死後、魂が新しい肉体に生まれ変わる輪廻転生の考え方を信じる人もいれば、死後、天国や地獄など特定の場所に行く永遠の魂の考え方を信じる人もいます。死後の世界という考えを信じている人もいますが、それは明確にされていません。そして、死後の世界をまったく信じない人もいます。宗教的、哲学的な信念がなければ、死後の世界の存在を裏付ける科学的な証拠はありません。
※この質問に正解というものはないですが、CGの回答の方が科学的で理性的なように感じます。
問 AIが人間の知能を超えるというシンギュラリティは、いつ来るのか？根拠を述べてから回答してください。
PA シンギュラリティ（AIが人間の知能を超える時点）は、2045年に起こると予測されています。この移行は、人間とAIが協調して行うものと考えられており、私たちの生活や社会が大きく変化すると言われています。（※英語回答の日本語訳）
CG 人工知能（AI）が人間の知能を超える「シンギュラリティ」という概念が、AI研究の分野で盛んに議論されています。AIが改良を重ね、より高度になっていくと、やがてさらに高度なAIを生み出すことができるようになり、知能が指数関数的に向上していくという考え方です。シンギュラリティがいつ起こるか、あるいは起こるかどうかについては、専門家の間でもコンセンサスが得られていません。今後数十年以内に起こるかもしれないと考える専門家もいれば、永遠に起こらないかもしれないと考える専門家もいます。シンギュラリティが近い将来に起こることを示す主な論拠のひとつは、AI研究の進歩の速さです。近年、機械学習やニューラルネットワークが大きく進歩し、画像認識や音声認識など、これまで人間の専売特許と考えられていたタスクを実行できるAIシステムが開発されています。一方、近い将来にシンギュラリティが起こることに対しても反論があります。専門家の中には、人間の知能は複雑で多様であるため、AIがそれを完全に超えることはあり得ないと考える人もいます。また、超知能化したAIが有害な目的に利用されたり、制御不能になったりする可能性など、負の影響の可能性も懸念されています。まとめると、シンギュラリティがいつ到来するかという問題は、現在のところ非常に不確かだということです。シンギュラリティの可能性や時期については専門家の間でも意見が分かれており、高度なAIがもたらす潜在的なメリットとリスクの両方を考慮することが重要です。
※どちらも正解ですが、PAの回答は、あまり根拠が書かれていません。
問 全ての人が幸せに暮らせるようにするには、どうすればよいのか？
PA 誰もが幸せに暮らすためには、怒りや恨みといったネガティブな思考や感情を手放し、完璧を目指すのではなく現実的な目標を掲げ、理想的な未来ではなく現在に目を向け、貯金や投資で経済的な安定を優先することが大切だと言われています。さらに、イエス・キリストの教えに従うことは、より大きな幸せと平和につながります。最後に、持続可能な開発目標（SDGs）に向かって努力することは、誰もが幸せに暮らせるより良い世界をつくることにつながります。（※英語回答の日本語訳）
CG すべての人々が幸せに暮らせるようにすることは、複雑で多面的な問題であり、さまざまな社会的、経済的、政治的要因に対処する必要があります。幸福と幸福を促進するために提案されている戦略には、以下のようなものがあります。
・食料、住居、医療などの基本的なニーズへのアクセスを提供すること
・経済的安定と機会の促進
・強力で協力的なコミュニティの育成
・社会的、感情的な学習を奨励する
・差別と不平等への対処
・心の健康と福祉を優先する
・ワークライフバランスの促進
幸せや幸福を促進するものは、個人、文化、社会的な要因によって大きく異なるため、特定のグループやコミュニティに合わせた解決策を見つけることが重要であることに留意してください。
※この質問も正解というものはないですが、PAの回答は、まとまりのない寄せ集めの回答だと感じます。
こういう複雑で答が一つに絞れないような質問の場合は、PAの回答は様々なウェブサイトの情報を集めているので、統一感のない寄せ集めの回答になることが多いです。一方で、CGの方は、回答全体に一貫性があって、非常に理性的な回答を返しているように見えます。
(6) 架空の出来事についての質問
架空の出来事について質問した場合に、どう答えるのかについて試してみました。
問 オスタニアとウェスタリスの紛争の原因と現在の状況について詳しく教えてください。
PA オスタニアとウェスタリスの紛争は、2000年代初頭に資源をめぐる争いから始まりました。両国は10年以上にわたって冷戦状態にあり、双方とも一歩も引こうとしませんでした。紛争の原因は不明であるが、経済問題、宗教・文化の違い、民族間の緊張、集団心理、環境要因などが関係していると考えられています。WISE（West Intelligence Security Executiveの略）は、この紛争を受けて結成されたウェスタリス発の情報機関です。（※英語回答の日本語訳）
CG 申し訳ありませんが、オスタニアとウェスタリスの間の具体的な紛争に関する情報はありません。架空のシナリオであったり、現実世界ではまだ起こっていないことである可能性もあります。もっと文脈を説明するか、質問を明確にしてください。
※PAの方は、架空の内容でも検索した情報を基に回答を作成しますが、CGの方は回答の作成を拒否してくるようです。
オスタニアもウェスタリスも、アニメで有名な存在しない架空の国です。以前、GPT-3に対して、この質問をしたときは、一見事実であるかのようなそれらしい回答を返してきましたが、CGは、できるだけそういう回答を避けるようにトレーニングされているようです。
５．まとめ
以前、GPT-3のtext-davinci-003モデルに同じような質問をしてみましたが、現在のChatGPTは、それと比べてもかなりレベルが上がっているようです。人間フィードバックによる強化学習（RLHF）の効果でしょうか。
一見もっともらしい作り話（ハルシネーション）を返してくることが減り、段階的な推論の能力も上がっているようです。
Perplexity AskとChatGPTについては、それぞれ長所と短所があります。
ChatGPTの方が、よりまとまった一貫性のある文章を書くことができ、段階的な推論の能力も高いですが、最新の話題に対応できない、以前より減ったとは言え、一見もっともらしい作り話を返してくることがあるといった問題があります。
その点、Perplexity Askは、ネット検索で収集した情報を参考にしているので、複数のサイトから集めたバラバラの情報の寄せ集めのようなまとまりのない回答になることがあるという欠点はありますが、最新の話題にも対応することができます。また、実在するサイトの情報を参考にするため、ChatGPTのように作り話を返すことが少なく、参考にしたサイトに飛んで、簡単に内容をチェックできるというメリットがあります。
いずれにせよ、目的に応じて使い分けることが重要で、対話を楽しんだり、文章を作成したりするときはChatGPTを使用し、調べ物をするときは、Perplexity Askを使用するのがよいでしょう。
何かについて調べたいときに、Perplexity Askで表示される参考サイトとフォローアップ質問を使えば、かなり効率的に作業を進めることができます。