Anthropic Console の Prompt Improver の使い方
以下の記事が面白かったので、簡単にまとめました。
1. Prompt Improver
「Prompt Improver」は、開発者は既存のプロンプトをもとに、Claudeを活用して自動的に改良することができるツールです。「Anthropic Console」で利用できます。これは、他のAIモデル用に書かれたプロンプトを適応させたり、手書きのプロンプトを最適化したりするのに理想的です。
プロンプトの品質は、特定タスクに対するモデルの応答がどれほど優れているかに重要な役割を果たします。ただし、ベストプラクティスのプロンプトは実装に時間がかかり、モデルによって異なることがよくあります。そんな時に役立つのが「Prompt Improver」になります。
2. Prompt Improver の使い方
(1) 「Anthropic Console」を開き、「Improve an existing prompt」を選択。
(2) 「既存のプロンプトテンプレート」と「改善したいか事柄」を入力して「Improve prompt」をクリック。
1～2 後にプロンプトテンプレートの改善結果が出力されます。
【注意】「Claude 3.5 Sonnet」クレジットがいくらか消費します。
{{animal}}について説明してください。出力が長すぎるので、1文にしてください。
日本語でプロンプトを作成してください。(3) 「Open in Workbench」をクリック。
あなたは動物の専門家です。与えられた動物について、簡潔で情報豊富な1文の説明を日本語で提供してください。
以下の動物について説明してください：
<animal>
{{animal}}
</animal>
説明を作成する前に、以下の手順で分析を行ってください：
<analysis>
1. この動物の主な特徴を3〜5つリストアップしてください（生息地、外見、行動など）。
2. リストアップした特徴の中から、最も特徴的または興味深い点を1つ選んでください。
3. 選んだ特徴を中心に、他の重要な情報をどのように1文にまとめるか考えてください。
</analysis>
出力形式：
分析に基づいて、1文で説明を提供してください。説明は必ず日本語で書き、句点（。）で終わるようにしてください。
例：
入力: ペンギン
出力: ペンギンは、南半球に生息する飛べない海鳥で、水中での泳ぎが得意な黒と白の体をした鳥です。
それでは、与えられた動物について1文で説明してください。(4) 「Run」をクリックして動作確認。
<analysis>
1. 主な特徴：
・優れた運動能力と反射神経を持つ
・独立心が強く気ままな性格
・鋭い感覚（特に夜間視力と聴覚）
・人間との長い共生の歴史（約9000年）
2. 最も特徴的な点：
→ 優れた身体能力と鋭い感覚の組み合わせ
3. まとめ方：
身体能力と感覚の特徴を中心に、家畜化の歴史と性格も含めて1文に構成
</analysis>
鋭い夜間視力と聴覚を持ち、体重の6倍の高さまでジャンプできる運動能力を備えた猫は、約9000年前から人間と暮らしてきた気ままな性格の家畜動物です。3. プロンプトの改善方法
「Prompt Improver」は、次の方法で既存のプロンプトを改善します。
・思考の連鎖推論
性格性と信頼性を向上させるために、Claudeが応答する前に問題を体系的に考えるための専用セクションを追加します。
・例の標準化
明確さと処理を向上させるために、例を一貫したXML形式に変換します。
・例のエンリッチメント
新しく構造化されたプロンプトに沿った思考連鎖推論で既存の例を拡張します。
・書き換え
プロンプトを書き換えて、構造を明確にし、文法やつづりのマイナーな問題を修正します。
・プリフィル追加
アシスタントメッセージをプリフィルして、Claudeのアクションを指示し、出力形式を強制します。
新しいプロンプトが生成されると、プロンプトをさらに改善するために、何が機能しているか、何が機能していないかについて、Claudeにフィードバックを提供できます。
Anthropicのテストでは、マルチラベル分類テストの精度を30%向上させ、要約タスクの単語数の遵守率を100%に引き上げたことを示しています。
4. マルチショットの例の管理
プロンプトに例を追加することは、モデルの応答品質を向上させる最も効果的な方法の1つです。特にClaudeに出力で特定の形式を正確に従わす場合に有効です。「Workbench」で直接、構造化された形式で例を管理できるようになりました。これにより、明確な入力/出力ペアで新しい例を追加したり、既存の例を編集して応答品質を改善したりすることが容易になります。
プロンプトに例がない場合は、Claude主導の例生成で追加できます。Claudeは、このプロセスを合理化するために、合成サンプル入力とドラフト出力を自動的に作成できます。
例の追加は、以下の増加に寄与します。
・精度 : 指示の誤解を減らします。
・一貫性 : 希望の出力フォーマットを保証します。
・パフォーマンス : Claudeの複雑なタスクを処理する能力を高めます。
5. プロンプトの評価方法
Anthropicの「Prompt Evaluator」を使用すると、さまざまなシナリオでプロンプトをテストできます。ベンチマークとプロンプトの性能改善を支援するために、「Evaluations」 タブにオプションの「ideal output」列を追加しました。この列は、ユーザーが5ポイントスケールでモデル出力を効果的かつ一貫して評価するのに役立ちます。
新しいプロンプトをテストした後、「Prompt Improver」でClaudeに追加のフィードバックを提供し、結果に満足するまでこのプロセスを繰り返すことができます。任意のリクエストに基づいてプロンプトと例を変更することもできます。たとえば、XML形式の出力ではなく、JSON形式の出力にプロンプトと例を変更するようにClaudeに依頼できます。