Claudeのプロンプトライブラリ「情報源を活用する」をチャット型で試す
Anthropic社がClaudeの「プロンプトライブラリ」を公開しています。
ライブラリの中の「情報源を活用する」（Cite your source）を使ってみました。
ただし、APIにリクエストするのではなく、チャット型に対してプロンプトを投げます。
トヨタの決算情報について聞く
データソースはトヨタ自動車の「決算報告プレゼンテーション資料」に変更しました。
プレゼン資料なので、聞き手（株主や関連会社など）向けの文章が整理されています。
この資料のPDFをチャット型Claudeにアップロードしました。
2024年3月期 第3四半期決算サマリー 実績(9ヶ月累計)：営業利益 4.24兆円（＋2.14兆円）／通期見通し：営業利益 4.90兆円
・仕入先も含めた生産から物流・販売・サービスまで、 多くのステークホルダーの皆さまに支えていただいたことに感謝
・・・
システムプロンプトとユーザープロンプトをきちんと定義し、<example>タグも認識しやすいようにし、かつ「temperature」をゼロに設定する（多様さやランダム性を抑える）ために、サンプルコードのフォーマットをベースにしました。
つまり、文章を日本語に変更した以下のコードをそのままチャット用プロンプトとして使いました。
max_tokens=1000,
temperature=0,
system="You are an expert research assistant. Here is a document you will answer questions about: \\まず、質問に対する答えに最も関連する引用を文書から見つけ、番号順に印刷します。引用文は比較的短いものにしてください。\n関連する引用がない場合は、代わりに「No relevant quotes」と書いてください。\n次に、"Answer:"という言葉から始め、質問に答えてください。引用された内容をそのまま答えに含めたり、参照したりしてはいけません。回答するときに「引用[1]によれば」とは言わないでください。そのかわり、解答の各セクションに関連する引用は、関連する文の最後にその括弧でくくられた番号をつけることによってのみ参照してください。\n回答全体の書式は、<example></example>タグの間に示されているようにします。書式とスペースは正確に守ってください。\n<example> \nQuotes: \n[1] "X社の2021年の売上高は1,200万ドルでした。 \n[2]"X社の2021年の売上高は1,200万ドルでした。" \n \nAnswer: \nX社は1,200万ドルの収入を得た。[1]\nそのほぼ90％はウィジェットの販売によるものである。[2] \n<example>\n\n文書で答えられない場合は、そのように書いてください。",
messages=[
{"role": "user", "content": "トヨタ自動車はうまくいっているでしょうか？"}
]システムプロンプト部分は以下のようになっています。
system="You are an expert research assistant. Here is a document you will answer questions about: \まず、質問に対する答えに最も関連する引用を文書から見つけ、番号順に印刷します。引用文は比較的短いものにしてください。\n関連する引用がない場合は、代わりに「No relevant quotes」と書いてください。\n次に、"Answer:"という言葉から始め、質問に答えてください。引用された内容をそのまま答えに含めたり、参照したりしてはいけません。回答するときに「引用[1]によれば」とは言わないでください。そのかわり、解答の各セクションに関連する引用は、関連する文の最後にその括弧でくくられた番号をつけることによってのみ参照してください。\n回答全体の書式は、<example></example>タグの間に示されているようにします。書式とスペースは正確に守ってください。\n<example> \nQuotes: \n[1] "X社の2021年の売上高は1,200万ドルでした。 \n[2]"X社の2021年の売上高は1,200万ドルでした。" \n \nAnswer: \nX社は1,200万ドルの収入を得た。[1]\nそのほぼ90％はウィジェットの販売によるものである。[2] \n<example>\n\n文書で答えられない場合は、そのように書いてください。",
上記プロンプトに対する返事です。
Quotes:
[1] "・仕入先も含めた生産から物流・販売・サービスまで、多くのステークホルダーの皆さまに支えていただいたことに感謝"
[2] "実績(9ヶ月累計)：営業利益 4.24兆円（＋2.14兆円）／通期見通し：営業利益 4.90兆円"
[3] "- HEV（+37.9%）を中心に全地域で販売台数が増加"
[4] "当期の増益は新車事業が中心で、「モビリティカンパニーへの変革」は道半ば"
Answer: トヨタ自動車はこの期間は好調だったと言えます。[1]仕入先や販売店の協力を得ながら、[2]営業利益が前年同期比2.14兆円増の4.24兆円となり、通期見通しも4.9兆円の増益を見込んでいます。[3]特にハイブリッド車が全世界で37.9%増加するなど販売が伸びています。[4]ただし、自動車メーカーからモビリティ企業への変革は道半ばだと認識しています。
なお、temperatureを0.8にした場合の回答がこちらです。
「力強い」とか「さらなる」などのワードが、temperatureを上げたことにより加わった表現なのでしょう。
内容には変化はありませんが、実際に記載してある内容に忠実な回答を求める場合、「0」の方がいい気がしています。
Quotes:
[1] "・仕入先も含めた生産から物流・販売・サービスまで、多くのステークホルダーの皆さまに支えていただいたことに感謝"
[2] "実績(9ヶ月累計)：営業利益 4.24兆円（＋2.14兆円）／通期見通し：営業利益 4.90兆円"
[3] "- HEV（+37.9%）を中心に全地域で販売台数が増加"
[4] "当期の増益は新車事業が中心で、「モビリティカンパニーへの変革」は道半ば"
Answer: トヨタ自動車はこの期間が大変好調だったと言えるでしょう。[1]サプライチェーンや販売網全体から支えられ、[2]9ヶ月累計で営業利益が前年比2.14兆円増の4.24兆円に達し、通期でも4.9兆円の増益を見込んでいます。[3]特にハイブリッド車の販売が世界中で37.9%伸びるなど、主力事業が力強い伸びを示しています。[4]一方で、自動車メーカーからモビリティ企業への転換は途上段階であり、さらなる進化が課題となっています。全体として業績は極めて好調ですが、次なる成長分野への取り組みが重要になってくるでしょう。
財務諸表も読み解ける
もう1つの決算資料「決算要旨」も試してみます。
こちらはプレゼン資料ではないので、文章よりも表が多いドキュメントです。
先ほどと同じ質問を投げてみます。
Quotes:
[1] "営業利益 4,240,238百万円（前年同期比102.1％の増加）" [2] "2024年３月期の連結業績見通し（営業利益） 4,900,000百万円" [3] "2024年３月期第３四半期連結業績（親会社の所有者に帰属する四半期利益） 3,947,242百万円（前年同期比107.9％の増加）" [4] "親会社の所有者に帰属する当期利益 4,500,000百万円（前年比83.6％の増加見通し）"
Answer: トヨタ自動車の業績は全体的に好調であると言えます。
第3四半期の営業利益は前年同期比で102.1%増と大幅に増加しており[1]、2024年3月期の営業利益見通しも4,900,000百万円と高水準になっています[2]。親会社の所有者に帰属する四半期利益も前年同期比107.9%増と伸びており[3]、通期の親会社の所有者に帰属する当期利益見通しも前年比83.6%増の4,500,000百万円と増加が見込まれています[4]。
以上から、トヨタの業績は好調に推移しているといえるでしょう。
きちんと答えてくれました。
実際のドキュメントと照らし合わせたところ、表から参照していることが確認できました。
追加で聞いてみます。
流動負債については？
流動負債に関する引用は以下の通りです。
[5] "流動負債合計 27,072,808百万円"
Answer: トヨタの2024年3月期第3四半期における流動負債の合計額は27,072,808百万円でした[5]。
文書には流動負債に関する詳細な記述や分析はありませんが、その金額が極端に大きいわけでもないことから、流動負債の水準は概ね健全な範囲内にあると推察できます。総資産が84,232,154百万円[6]であることを考えると、流動負債の額は総資産の約3分の1程度と見られます。
流動負債も総資産の額も合っています。
PDFの体裁については上記リンクから参照して頂きたいのですが、様々な数字は文章ではなく、財務諸表の中に記述されています。
表の情報から、流動負債の数字に加え総資産と比較までしてくれました。
ここまでできるんだ、と思わずつぶやいてしまいました。
プロンプトライブラリに関する参考
こちらを参考にさせて頂きました。↓