記事の信頼性をスコア化し評価するプロンプト〜webライター攻略思考〜
実績をアピールする文章はよく目にすると思います。たとえば「私はこれまで〇〇万円の売り上げを…」といったものです。ほとんどがその客観的な根拠が示されないので、その真偽のほどはわかりません。そこでその文章のみを見て、信頼できるものかどうかを判断する人は多いと思います。
ここでご紹介するのは、その文章のみをあらゆる項目で分析し、そこに書かれている実績のアピールにどの程度の信頼性があるのかをスコア化し評価するものです。
プロンプト開発の経緯
白黒写真をカラーに復元できることは多くの方がご存知だと思いますが、その仕組みはご存知でしょうか。今ではディープラーニングにより解析できますが、少し昔はアナログな手作業にて行っていました。
その仕組みは簡単に言えば、カラー写真をモノクロにする際に、それぞれの色がどのような濃淡になるのか、あるいはグラデーションになるのかを分析し、そこに白黒写真を当てはめて該当する色を特定する、といった感じになっています。それらを手作業で解析し、モノクロの濃淡とカラーとを対比させ分類するという気の遠くなるような作業でした。
この話を思い出した時にふと思いました。よく「私は〇〇万円稼ぎました」といった文章を目にするのですが、その文章だけを分析してその真偽の度合いをスコア化できるのではないかと。
つまりそれだけの実績を生み出したのであれば、それに必要な能力がその文章に何らかの形で反映されているのではないかと思ったのです。
文章にはその人なりの癖が出ますし、思考の癖が反映されます。それなりの実績を生み出すには、それなりの思考力や課題発見力、そして解決力が必要となります。
それはその人のこだわりでもあり、文章にはそのこだわりが反映されると思うのです。
もちろんそのような思考がまったく反映されていない文章を書くこともあるかもしれませんが、その場合には実績アピールの判断は「できない」と判断できます。
そのようなアイデアをChatGPTに投げて、書かれた文章のみを分析してそこに書かれている実績アピールの信頼性をスコア化するプロンプトを作成しました。
信頼性のスコア化プロンプト
この信頼性のスコア化プロンプトは、実績をアピールしている文章にどの程度の信頼性があるのかをスコア化し視覚化するものです。
文章には書く人の思考が反映されます。そしてある程度の実績を出している人は、そこに至るまでの思考を重ねた結果を出していることから、深みのある思考の癖が文章に現れると考えられます。
表面的にはわからない文章の深み、思考の深さを評価しスコア化するプロンプトとなっています。
同じ文章を何度かプロンプトで分析すると、毎回同じ数値になるわけではありません。それでも高いスコアなのか低い評価なのかは変わりません。
プロンプトの実行例
実際に作成したプロンプトで、実績アピールをする2つの文章を分析してもらいました。両方ともアピールする実績を客観的に確認することはできません。
高評価の例
評価要素に基づく実績主張の信頼性スコア：78
文脈上の整合性：90
言葉遣いと表現：85
事実と証拠：80
論理と構造：85
数量化と比較：75
専門性と知識：80
客観的な評価：70
成果と影響：85
思考力と分析：75
実践的な経験：90
学習と改善：80
柔軟性と適応性：70
創造性と独創性：65
批判的思考と論理性：85
問題意識と洞察：80
重み付けと総合的な信頼性スコア：
各評価要素に重み付けを行い、総合的な信頼性スコアを算出しました。重み付けは、各要素の重要性と実績主張への影響度に基づいて設定しました。
重み付け後のスコア：
文脈上の整合性：90 x 0.10 = 9.0
言葉遣いと表現：85 x 0.08 = 6.8
事実と証拠：80 x 0.12 = 9.6
論理と構造：85 x 0.15 = 12.75
数量化と比較：75 x 0.10 = 7.5
専門性と知識：80 x 0.12 = 9.6
客観的な評価：70 x 0.05 = 3.5
成果と影響：85 x 0.15 = 12.75
思考力と分析：75 x 0.08 = 6.0
実践的な経験：90 x 0.10 = 9.0
学習と改善：80 x 0.05 = 4.0
柔軟性と適応性：70 x 0.03 = 2.1
創造性と独創性：65 x 0.02 = 1.3
批判的思考と論理性：85 x 0.07 = 5.95
問題意識と洞察：80 x 0.05 = 4.0
総合的な信頼性スコア = 78.05（小数点以下四捨五入で 78）
このスコアは、文章の実績主張の信頼性を客観的に評価したものです。評価要素に基づいた分析により、文章の信頼性と説得力が示唆されます。
標準的評価の例
スコアは低めですが評価は標準的となっています。これは「良いとも悪いとも判断できない」評価です。それぞれのスコアのあとには詳しい説明があるので、どのような点が問題なのかを確認できます。
総合的な信頼性スコア：45
評価要素ごとのスコアと評価基準：
文脈上の整合性：40％
言葉遣いと表現：60％
事実と証拠：30％
論理と構造：50％
数量化と比較：40％
専門性と知識：60％
客観的な評価：20％
成果と影響：50％
思考力と分析：40％
実践的な経験：60％
学習と改善：50％
柔軟性と適応性：40
創造性と独創性：30％
批判的思考と論理性：40％
問題意識と洞察：50％
重み付けと総合的な信頼性スコア：
各評価要素に以下の重み付けを行い、加重平均を計算することで総合的な信頼性スコアを算出する。
文脈上の整合性：15％
言葉遣いと表現：10％
事実と証拠：15％
論理と構造：10％
数量化と比較：10％
専門性と知識：10％
客観的な評価：5％
成果と影響：10％
思考力と分析：5％
実践的な経験：5％
学習と改善：5％
柔軟性と適適性：5％
創造性と独創性：5％
批判的思考と論理性：5％
問題意識と洞察：5％
重み付け後のスコア：
文脈上の整合性：6 (40% x 15%)
言葉遣いと表現：9 (60% x 10%)
事実と証拠：4.5 (30% x 15%)
論理と構造：7.5 (50% x 10%)
数量化と比較：6 (40% x 10%)
専門性と知識：9 (60% x 10%)
客観的な評価：1 (20% x 5%)
成果と影響：7.5 (50% x 10%)
思考力と分析：6 (40% x 5%)
実践的な経験：7.5 (60% x 5%)
学習と改善：7.5 (50% x 5%)
柔軟性と適応性：6 (40% x 5%)
創造性と独創性：4.5 (30% x 5%)
批判的思考と論理性：6 (40% x 5%)
問題意識と洞察：7.5 (50% x 5%)
合計スコア：83.5
総合的な信頼性スコア：45（0-100のスケール）
評価の概要：
この文章は、〇〇による収入を主張し、その戦略を共有するものである。著者は自身の経験や試行錯誤に基づいてシンプルな戦略を提案しているが、一部の主張や証拠に曖昧さや不足がみられ、客観的な評価や具体的な成果の詳細が不明瞭なため、信頼性に限界がある。文章の表現や専門性の面では比較的良好だが、論理的展開や批判的思考の深さがもう一歩求められる。総合的な信頼性スコアは45で、平均的な信頼性があると評価できる。
信頼性のスコア化プロンプトの使い方
このプロンプトはあくまでもさまざまな項目で文章のみを分析し、その論理性や課題発見力、解決能力といった表面には見えないものを評価するものです。
文章に反映される思考力が実績の裏付けになる、というアプローチなので、完全にその信頼性を判断するものではない点をご了承ください。ただし、それなりの能力と思考力を持っている人であれば、文章のみでいかにその実績を評価してもらうかを(無意識的にしろ)考えるものです。その結果、どのように記述すれば客観的にその根拠を確認できない実績を評価してもらえるのかを考え、それを文章に反映させるはずです。
そうはいっても！あくまでも確率的に「信頼できる内容かどうかを参考にする」程度のプロンプトとしてお使いください。
webライターの記事チェックにも
このプロンプトはwebライターが執筆した記事のチェックにも使えそうです。それぞれのスコアのあとに、良い点とアドバイスが表示されるからです。以下はランダムに選んだ記事をチェックしてみたものです。
評価結果：
文脈上の整合性：75
文章全体の一貫性は保たれており、論理的な流れも概ね問題ありません。しかし、一部の節で主張がやや曖昧で、より明確な構造があれば改善されるでしょう。
言葉遣いと表現：85
言葉の選び方や表現は適切で、読みやすく理解しやすい文章となっています。Flesch-Kincaid 読みやすさ指数は比較的良好なスコアを示しています。
事実と証拠：70
提示された事実や証拠は、主に筆者の個人的な経験に基づいており、客観的なデータや統計がもう少しあれば信頼性が向上します。
論理と構造：75
論理的な構造は整っていますが、一部の主張で因果関係が弱く感じられる部分があります。文章の構造は分析的で、論理的な枠組みに沿っています。
数量化と比較：65
数量データや比較表現は適切に使用されていますが、具体的な数値や統計が少なく、もう少し詳細な情報があると信頼性が高まります。
専門性と知識：70
業界や資格に関する専門用語は適切に使用されており、基本的な知識が示されています。しかし、より深い洞察や最新の動向の言及などがあればさらに良いでしょう。
客観的な評価：50
筆者の個人的な経験談が主で、第三者からの推薦状や表彰などの客観的な評価は見られません。業界内の評判や信頼できる評価機関からの認定などが示されると良いでしょう。
成果と影響：60
具体的な成果や影響に関する言及はありますが、証拠やデータが乏しく、主張を裏付けるものがもう少し必要です。
思考力と分析：75
批判的思考力や複雑な問題解決能力は示されていますが、独創性や斬新なアイデアの提示がもう少しあれば評価が高まります。
実践的な経験：80
筆者の経験が詳細に語られており、そこから得た教訓が的確に述べられています。
学習と改善：70
過去の失敗からの学習と自己改善への言及はありますが、もう少し具体的な例があると良いでしょう。
柔軟性と適応性：70
異なる視点を受け入れる姿勢は示されていますが、具体的な状況での考え方やアプローチの柔軟性に関する言及がもう少しあると評価が高まります。
創造性と独創性：65
独創的なアイデアや解決策が一部に見られますが、全体を通してもう少し斬新なアプローチがあると良いでしょう。
批判的思考と論理性：80
明確で論理的な主張がされており、根拠も適切に示されています。
問題意識と洞察：75
複雑な問題を的確に把握し、洞察が示されています。しかし、もう少し深い洞察や独自の視点があると評価が高まります。
総合的な信頼性スコア：71/100
このスコアは、各要素の評価を重み付けせずに単純平均したものです。重み付けを行うと、より正確な信頼性スコアが算出できるでしょう。
※ この記事の転機・転売は禁止します
※ あくまでも私用としてお使いください
※ このプロンプトの結果を商用利用することはご遠慮ください
※ このプロンプトの出力結果に関する責任は負いません
信頼性のスコア化プロンプト
それでは文章に書かれている実績アピールの信頼性を評価するプロンプトをご紹介します。
ギャンブル依存対策活動の資金として活用させていただきます。