Anthropic Consoleで プロンプトの生成・テスト・評価 を試す
「Anthropic Console」で プロンプトの生成・テスト・評価の機能 を試したので、まとめました。
1. Anthropic Console
「Anthropic Console」でプロンプトを生成・テスト・評価できるようになりました。
AIを活用したアプリを構築する場合、プロンプトの品質が結果に大きく影響します。しかし、高品質のプロンプトを作成するのは困難で、アプリのニーズに関する深い知識とLLMに関する専門知識が必要です。「Anthropic Console」の新機能を使うことで、このプロセスを合理化し、ユーザーが高品質のプロンプトを簡単に作成することができます。
2. プロンプトの生成・テスト・評価
プロンプトの生成・テスト・評価の手順は、次のとおりです。
2-1. プロンプトの生成
(1) 「Anthropic Console」を開き、「Generate a prompt」をクリック。
(2) 作成したいプロンプトのタスクを入力。
今回は、「文書を最大10個の箇条書きにまとめる」と入力し、「Generate Prompt」ボタンをクリック。
プロンプトが自動生成されます。
(3) 「Continue」ボタンをクリック。
テスト画面に遷移します。
あなたは与えられた文書を簡潔に要約するタスクを行います。以下の文書を読み、最大10個の箇条書きにまとめてください。
<document>
{{DOCUMENT}}
</document>
以下の指示に従って要約を作成してください：
1. 文書の主要なポイントや重要な情報を特定してください。
2. 各箇条書きは1-2文で簡潔にまとめてください。
3. 箇条書きの数は最小3個から最大10個までとします。文書の長さや複雑さに応じて適切な数を選んでください。
4. 重要度順に箇条書きを並べてください。最も重要な情報を最初に記載します。
5. 具体的な詳細よりも、全体的な概念や主要なアイデアに焦点を当ててください。
6. 可能な限り、元の文書の言葉遣いを維持しつつ、簡潔に表現してください。
7. 箇条書きは「・」（中黒）を使用してください。
要約は以下のフォーマットで<summary>タグ内に日本語で記載してください：
<summary>
・[最も重要なポイント]
・[2番目に重要なポイント]
・[3番目に重要なポイント]
...
</summary>
必要に応じて、要約を作成する前に<思考過程>タグ内で考えをまとめることができます。2-2. プロンプトのテスト
(1) {{DOCUMENT }} をクリックし、ドキュメントを入力し、Runボタンをクリック。
今回は、「ぼっち・ざ・ろっく」の情報を入力しました。
(2) テスト結果を確認。
<思考過程>
この文書は「結束バンド」というバンドとそのメンバーについての詳細な説明です。主要なポイントは以下のようになります：
バンドの結成と活動の経緯
主要メンバーの特徴と役割
バンドの成長と挑戦
他のキャラクターとの関係性
バンドの目標と展望
これらのポイントを中心に、重要度順に要約を作成します。
</思考過程>
<summary>
・「結束バンド」は、コミュ障の後藤ひとりを中心に結成された高校生バンドで、メンバーの個性や問題を乗り越えながら成長していく。
・後藤ひとりは優れたギター技術を持つが人見知りで、伊地知虹夏はドラマーで明るく面倒見が良く、山田リョウはベーシストでマイペース、喜多郁代はギター兼ボーカルで社交的という特徴を持つ。
・バンドは文化祭ライブや路上ライブなどの経験を重ね、10代限定のロックフェス「未確認ライオット」への参加を目指している。
・ひとりは「ギターヒーロー」として動画配信で人気を集めているが、その正体は秘密にしている。
・バンドの活動を通じて、メンバーたちは自己成長や友情を深めていく。
・ライブハウス「STARRY」の店長である伊地知星歌や、フリーライターの佐藤愛子など、バンドを取り巻く様々な人物が登場する。
・バンドは技術面での成長だけでなく、個々のメンバーの性格や問題点を克服することも課題となっている。
</summary>2-3. テストケースの生成
(1) ツールバーの「Evaluate」をクリック後、「Generate Test Case」をクリック。
テストケースが生成されます。
(2) テストケースを確認し、Runをクリック。
今回は、「日本の茶道」というドキュメントが自動生成されました。
2-4. プロンプトの評価
(1) ツールバーの「Prompt」をクリック後、プロンプトを修正して、Runをクリック。
今回は指示を日本語から英語に書き換え、最後に「Please reply in the same language as the input language.」(入力言語と同じ言語で返信してください。)を追記しています。バージョンは自動的にv2になります。
You will be tasked with concisely summarizing a given document. Read the document below and summarize it in up to 10 bullet points.
<document>
{{DOCUMENT}}
</document>
Follow these instructions to create your summary:
1. Identify the main points or important information in the document.
2. Each bullet point should be brief and 1-2 sentences long.
3. The number of bullet points should be a minimum of 3 and a maximum of 10. Choose an appropriate number depending on the length and complexity of the document.
4. Arrange the bullet points in order of importance. Put the most important information first.
5. Focus on overall concepts and main ideas rather than specific details.
6. Be concise and use the original language whenever possible.
7. Use bullet points with a dot (・).
Please write your summary in Japanese within the <summary> tag in the following format:
<summary>
・[Most important point]
・[Second most important point]
・[Third most important point]
...
</summary>
If necessary, you can organize your thoughts within the <thought process> tag before creating the summary.
Please reply in the same language as the input language.(2) ツールバーの「Evaluate」をクリック後、「Add comparison」をクリックし、評価対象のプロンプト(今回は、「日本語文書要約ガイド」の「v1」)を選択。
(3) 評価 (1〜5) を入力し、どのプロンプトが優秀であるかを比較。
