【第184回】 Salesforce 認定 AI スペシャリスト 資格試験 合格体験記
先日、発表された「Salesforce 認定 AI スペシャリスト」資格試験の日本語版が、2024 年 9 月 10 日(火)9 時(日本時間)より提供を開始しました。
私も上のキャンペーンの恩恵を受けまして、早速受験し、無事『合格』できましたので、今回、合格体験記を書いてみたいと思います。
■ 認定 AI スペシャリスト資格とは
Salesforce AI スペシャリスト資格は、Salesforce 内で生成 AI のパワーを活用することを目指す個人向けに設計されています。AI スペシャリストは、Einstein AI ソリューションの実装と使用において極めて重要な役割を果たします。この試験は、すぐに使用できる AI 機能を実装し、Copilot Builder、Prompt Builder、および Model Builder を使用して機能を強化する Salesforce 管理者、開発者、およびアーキテクト向けに設計されています。
■ 試験概要
Salesforce 認定 AI スペシャリストの受験者は、Salesforce のコア機能に関する基礎知識を持ち、Salesforce を操作できる必要があります。
Salesforce 認定 AI スペシャリスト試験は、次の分野に関する知識、スキル、または経験を証明したい個人を対象としています。
※ この認定資格の受験者は、以下の要件を満たしている必要はありません。
つまり、上記ツールにおける AI 機能などは、今回はがっつり対象外ということなのでしょう。この「要件を満たしている必要が無い」という案内は、意外と重要です。
■ 出題範囲と出題率
■ 試験対策
まずは Trailhead のコンテンツを活用して試験対策をしましょう。そして、海外の記事ですが Tips 記事もチラホラありますので確認してみて下さい。
Trailmix:Einstein AI で生産性を向上させる
認定資格試験の準備: 認定 AI スペシャリスト
Salesforce MVP の Santanu Boral さんの試験対策 Tips
これだけの学習で足りるか?と言われると、残念ながら『No!』でした。それでは、ここからは私の体験をお伝えします。
■ 私の試験の感想
まず、試験を受けた率直な感想からお伝えしますと、AI スペシャリスト資格試験は、想像していたより難しい試験 でした。
もし AI アソシエイトが「簡単だったな」と感じた方も、この AI スペシャリストでは、結構細かいところまで聞かれますので油断しないようにしっかりと勉強してから試験に臨んでください。
これまで、別の Salesforce 認定資格試験を受けてきた人なら、この言い方で分かると思いますが、コンサルタント試験レベルではありませんが、アドミニストレーター試験レベルではあるという感じです。
AI 戦略のようなものは問われず、この機能はどういう機能であるとか、ツールの設定周りなどを割とがっつりめで聞かれます。この点は、AI アソシエイトとは試験範囲が被っていない印象でした。
私からの勉強方法の助言ですが、上の Trailhead をやっただけでは落ちると思います。必ず、上の Trailhead に加えて、関連するヘルプドキュメントを読み込んでから受験するようにしてください。
今回のテストを 難易度レベル 100 とすると、試験対策モジュールの模擬試験の難易度レベルは 50 くらいだと思います。参考までに。
■ 私の試験対策メモ
それでは、私が試験に臨むに当たって、学習用にメモしたものに対して、試験対策用の Tips を施して公開したいと思います。学習用のメモの中から、特に大事そうな部分だけをまとめたものになっていますので、試験範囲の全体を網羅してるものではありません。あくまで、眺めてもらうだけのものであり、本気で試験勉強される際は、ヘルプドキュメント全体を注意深く読んでもらった方が良いです。
■ 生成 AI 機能が入っている Salesforce ツール一覧
■ Einstein Generative AIの初期設定手順
プロンプトとは、LLM が的確な出力を生成できるようにする詳細な指示のことです。
プロンプトテンプレートとは、再利用可能なプロンプトのことです。プロンプトテンプレートには、顧客や商品に関する特定の詳細のプレースホルダーが設定されています。テンプレートを作成することで、チームが一貫した出力を作成できるようになる。
プレースホルダーとは、例えば以下のようなプロンプトテンプレートにおける鍵括弧の部分です。このプレースホルダーは具体的には、差し込み項目(=マージフィールドとも呼ばれる)やフローで代替されます。この試験でマージという言葉が出てきたら「差し込み」と言い換えて良いでしょう。
さて、今回の試験範囲の中核となっている Einstein Studio には、コパイロットビルダー、プロンプトビルダー、モデルビルダーがあります。これらがそれぞれどのようなツールであり、どのような目的をもったツールであるかの違いに関しては、頻出しています。それぞれを完璧に理解しておく必要がありますので一つずつ確認してみます。
Einstein コパイロット
■ Einstein コパイロットの構成要素
Einstein コパイロットには、① コパイロット、② アクション(とトピック)、③ 推論エンジン、④ 大規模言語モデル(LLM)の 4 つのコンポーネントがあります。
① Einstein Copilot
Salesforce インターフェースにシームレスに組み込まれた、会話型 AI アシスタント(エージェント)であり、顧客をサポートし、プロセスを合理化させ、応答時間を短縮させます。この「顧客をサポート」とか、「プロセスを合理化」とか、「応答時間を短縮」とか、そういうワードが出たら、それが回答かも?と怪しんだ方が良いです。
② アクション(とトピック)
アクションは、コパイロットが物事を遂行する方法です。コパイロットにはアクションのライブラリが含まれています。これは基本的に、情報の要約、ナレッジ ベースからの回答の取得、電子メールの下書きなど、コパイロットが実行できる一連のタスクです。コパイロットのすべてのアクションはトピックに割り当てられます。私の場合、トピックについては問われませんでした。アクション側は覚えることがいっぱいあります。
標準 Copilot アクション
これは要するに Einstein Copilot がデフォルト(標準)で処理できるライブラリのことです。もう少し簡単言えば、Einstein Copilot の得意分野 みたいなものです。
この標準 Copilot アクションはヘルプに記載があり、これらは一度どのようなものがあるか見ておいた方が良いです。この内容を実行をするなら標準で行けるか、それともカスタムする必要があるか?みたいものも把握できていると良いです。
カスタム Copilot アクション
カスタムアクションは、標準にないものを作成するイメージです。カスタムアクションを作成するときは、呼び出し可能な Apex クラス、自動起動フロー、プロンプトテンプレートなど、Einstein Copilot で使用可能にする既存のプラットフォーム機能の上に構築します。以下はその一例で、このようなものは標準アクションにはないので、作成しましょうというお話です。
注文の詳細を取得します。
注文の返品を開始します。
製品を推奨します。
在庫レベルを確認します。
請求書を作成および変更します。
本の販売会議。
顧客の感情を測定します。
マーケティング資料を作成します。
社内 IT チケットを記録します。
Einstein Copilot Action Instructions のベストプラクティス
Copilot アクションでもっとも大切なものは「Instructions(指示)」です。これにより、機能が最大限力を発揮することができます。以下のベストプラクティスが記載されたヘルプページを確認してください。アクションの説明を改良するためのオプションなども紹介されています。
③ プランナーサービス(推論エンジン)
ユーザーが Einstein パネルを開いて質問したり指示を入力したりすると、プランナーサービスはバックグラウンドで LLM と連携してリクエストを実行します。プランナー サービスの機能は次のとおりです。
ユーザーのリクエストを解釈し、発話をトピックに分類します。
ユーザーの目標を達成するための計画を反復的に構築します。
目標を達成するために適切なトピックとアクションを見つけて実行します。
④ 大規模言語モデル(LLM)
Einstein Copilot は AI アシスタントであり、LLM のパワーを活用してユーザーと通信し、組織内でアクションを実行します。プランナーサービスは、ユーザーとのやり取り中にさまざまなタイミングで LLM を呼び出します。
■ Copilot のカスタマイズ、テスト、トラブルシューティング
Copilot Builder では、次の操作が可能です。以下を一読して、画面のビューと共にイメージを作っておくことをオススメします。
Copilot でアクションを追加または削除できます。① Copilot アクションライブラリには、割り当て可能なすべての標準アクションとカスタムアクションが表示されるため、数回クリックするだけで、Copilot に新しい操作を教えることができます。
Copilot の言語設定で、応答が自社にふさわしい語調になるように調整します。②
Copilot を機能制限トライアルで試行します。タスクを説明したり、質問したりして、Copilot との会話を始めます。③ メッセージを送信するたびに、プランキャンバスに、Copilot がどのようにプランを作成し、アクションを実行するかが表示されます。④ この情報は Copilot のパフォーマンスを評価したり、必要であればアクションの手順を反復するために利用できます。
テストやライブセッションの イベントログ を監視して、エラーやその他の会話活動を調べます。⑤
イベントログは、コパイロットの会話のすべてのイベントをキャプチャし、管理者がコパイロットをテストおよびトラブルシューティングするのに役立ちます。デフォルトでは、イベントログにはエンド ユーザーやコパイロットのメッセージなどの会話データは含まれませんが、強化されたイベントログには含まれます。強化されたイベントログを有効にして、すべてのコパイロットの会話アクティビティを 1 か所で表示することをお勧めします。これにより、イベントログは 7 日間保存されるようになります。
プロンプトビルダー
再利用可能なプロンプトテンプレートの作成やバージョン管理の場所であり、作成したプロンプトテンプレートのテストが可能です。
特に「テストして検証」や「Lightning ページに配置できる」のようなフレーズはプロンプトビルダーが他のビルダーと一線を画すキーフレーズになりますので、しっかり覚えておきましょう。
そして、プロンプトビルダー入門に最適なヘルプは以下です。Trailhead より具体的です。
■ プロンプトテンプレートタイプ
以下の 4 つのプロンプトテンプレートをそれぞれ使用例とともに理解しておく必要があります。特に体感としては、項目生成プロンプトテンプレート に関する問題が比較的多い傾向があると感じました。
営業メール プロンプト テンプレート・・・各種データに基づいてパーソナライズされたメールの下書きを作成できます。
項目生成プロンプトテンプレート・・・Salesforce レコード内のカスタム フィールドに AI 支援による生成ワークフローをもたらします。例えば、関連するケース コメント履歴の概要を生成するなど。Trailhead にも記載がありますが、レコード詳細コンポーネントを使用する際は、コンポーネントを「動的フォーム」にアップグレードする必要があります。
レコード概要プロンプトテンプレート・・・レコードのデータに基づいて Salesforce レコードのリッチ テキスト概要を作成します。
Flex プロンプト テンプレート・・・他のプロンプト テンプレート タイプではカバーされていないビジネス目的のコンテンツを生成し、独自のリソースを定義できるようにします。Flex テンプレートに最大 5 つの入力を追加できます。
以下、簡単な注意事項まとめです。
※ Lightning ページに配置した場合、後の権限のコーナーでも述べていますが、使用するにはプロンプトテンプレートユーザー権限セットが必要です。
※ 標準テンプレートは「名前を付けて保存」(Save as)ボタンを使用してコピーすることでカスタマイズできますが、そのままカスタマイズすることはできません。標準テンプレートをコピーして変更すると、変更されたテンプレートは、カスタムテンプレートとして保存されます。
※ 標準のセールス メール プロンプトでは、ハードコードされたハイパーパラメーターが使用されます。これらのパラメーターは「名前を付けて保存」ボタンを使用してテンプレートを作成するときにはコピーされません。つまり、改めて再設定が必要という意味ですね。
■「解決」と「応答」
下書きを終え、「プロンプト」と「LLM からの応答」をプレビューすることが可能です。左側の「解決」には、プロンプトテンプレートから生成された完了したプロンプトを確認できます。プロンプト解決と呼ばれるプロセスを通じて、プロンプトテンプレートの各差し込み項目を、選択したレコードに関連する実際の CRM データに置き換えます。一方、右側は「応答」で LLM 側から生成されたテキストが表示されます。
テンプレートを修正してプレビューを再生成するたびに、Einstein は更新されたプロンプトと応答を表示します。効果的で安全なプロンプトと応答が得られるまで、このプロセスを繰り返し行い、調整をします。
■ プロンプトビルダーの制限
プロンプトビルダーを使用する際、以下のような数値制限があります。数字関連はすべて覚えておきましょう。また、どのようなものが制限になっているか自体も覚えておくと良いです。
■ プロンプトテンプレートを作成するためのベストプラクティス
以下はすべてヘルプドキュメントからの抜粋です。このベストプラクティスは、すべて重要なのでそのまま覚えましょう。
プロンプトテンプレートが簡潔でわかりやすいことを確認してください。業界用語や技術用語の使用は避けてください。
LLM にさらにコンテキスト情報を提供するには、営業担当者やサポート担当者などのキャラクターとしてロールプレイを依頼します。次に、そのキャラクターの目標を定義します。
異なるテンプレートを使用して同じ目標を達成し、各部分がモデルの応答にどのように影響するかを確認します。エンドユーザーからのフィードバックを得て、プロンプトテンプレートが目的の応答をどの程度生成しているかを確認します。
スタイルを選択し、それを守ります。プロンプトテンプレートで「一貫したライティングスタイル」を使用すると、LLM は一貫した応答を生成します。ライティングスタイルは、単語の選択、強調語、絵文字、句読点などによって決まります。
LLM がコンテキストと指示を区別できるように、プロンプトテンプレートに指示セクションを作成します。この時、別の行に「Instructions:」と入力し、指示を三重引用符 (""") で囲みます。
LLM が期待されるタイプのコンテンツのみを生成するように直接指示します。たとえば、LLM に電子メールの下書きを作成させる場合は、「顧客に送信されるメッセージのみを生成するには、これらの指示に厳密に従ってください」などの指示を追加します。これらの指示により、LLM は、必要なコンテンツのみを生成するのではなく、コンテンツの作成プロセスに関する応答を生成することがなくなります。
■ プロンプトビルダーの権限について
プロンプトテンプレートマネージャー・・・プロンプ ビルダーで、プロンプトテンプレートを作成、管理するための権限です。
プロンプトテンプレートユーザー・・・プロンプトビルダーではない場所(Lightning ページなど)で、プロンプトテンプレートにアクセスして実行するための権限です。
この他、Data Cloud 管理者 という権限セットには、「ユーザーに Einstein Studio でのモデルの管理を許可する」権限があり、これにより、モデルを作成、更新、削除することが可能になることも押さえておきましょう。
モデルビルダー
このモデルビルダーに関しては、私は「満点」でした。なんらか微調整の入ったようなカスタム LLM を Salesforce に接続するのは、この Model Builder を使う(BYO-LLM 機能)という点をしっかり覚えてください。
■ モデルプレイグラウンド
セットアップや専門的な技術的知識を必要とせずに、Model Playground でモデル構成を作成、編集、評価できます。Model Playground は信頼レイヤーを使用して、データのプライバシーとセキュリティを確保します。
■ ハイパーパラメーターの種類
以下のハイパーパラメーターについては覚えておきましょう。
温度・・・0 ~ 2 の値を使用して回答の作成性を決定します。値が低いほど回答の一貫性が高く、値が大きい(0.7 ~ 0.9 など)値が乱応答が増えます。生成されるテキストをどの程度一貫性のあるかクリエイティブであるかに基づいて値を指定します。
頻度ペナルティ・・・応答での同じトークン(単語、語句、コード)を頻繁に使用しないようにします。-2.0 ~ 2.0 の値を指定します。生成されるテキストの反復を減らすには、より高い値を使用します。
プレゼンスペナルティ・・・-2.0 ~ 2.0 の値を含む応答で異なるトークンを使用することをお勧めします。生成されたテキストで使用されていないトークンを含めるには、より高い値を使用します。
モデルビルダーでサポートされるユースケースが、Salesforce のヘルプに掲載されているので、それは押さえておきましょう。試験では、モデルビルダーのことを Einstein Studio という名前で呼んでいることもありました。
■ 数値の回帰:金額、件数、パーセントなど、数値結果
■ バイナリ分類:「はい」か「いいえ」の質問に対する結果
Einstein Trust Layer
Salesforce 社は、AI を使用する上では、AI 技術の提供だけでは足りず、「信頼」が一番大事なものであると考えています。「顧客のデータ保護」に重点をおいているわけですね。ちなみに、私はこの Einstein Trust Layer についても「満点」でした。このセクションは割と簡単です。
今回の試験対策では、これを実装するための技術を一つずつ覚える必要があります。濃い青の部分ですね。
レイヤーとは「層」のことなので、さまざまな技術が層のようになっていて、それらを機能させることで、データを保護しながら、外部にある LLM(大規模言語モデル:OpenAI など)と安全なやり取りがされています。
プロンプトが、外部 LLM(大規模言語モデル:OpenAI など)に到達するまでを「プロンプトジャーニー」(=試験ではリクエストジャーニーと呼んでいました。)と呼び、LLM から Salesforce アプリに戻されるまでを「応答ジャーニー」と定義しています。
なお、Einstein Trust Layer を設定する前に、Einstein Generative AI を有効にし、組織で Data Cloud を設定する必要があります。Data Cloud は、Einstein Trust Layer が正しく機能し、データを保護する上で必要です。
■ プロンプトジャーニー(リクエストジャーニー)
このプロンプトジャーニーは、LLM に辿り着くまでの道のりです。以下の Trailhead にプロンプトジャーニー側のレイヤーのまとめがあります。
グラウンディング・・・高質で関連性の高い返信を生成するには、高質で関連性の高い入力データが必要です。CRM 組織から直接、承認済みの安全なデータが取り込まれ、プレースホルダー項目をページコンテキスト、差し込み項目、顧客レコードの関連するナレッジ記事などに 置き換え 始めます。このプロセスを動的グラウンディングといいます。一般に、プロンプトが適切にグラウンディングされていれば、応答の正確性と関連性が向上します。
データマスキング・・・個人識別情報 (PII)とペイメントカード業界(PCI)データを識別してマスクしてから、LLM に送信します。データマスキングにより、機密データが LLM に公開されることを防ぎます。この後、LLM が「応答」を返すと、元々マスクされていたデータはマスク解除されて、実際のデータが含まれます。監査証跡の収集と保存を Einstein フィードバック設定で有効化することで、データマスキングを追跡し、マスキングされたデータを表示することができます。この監査証跡は Data Cloud に保存されるのも覚えておきましょう。Einstein 生成 AI 監査データとフィードバックデータは、収集と保存を有効にしてから 24 時間以内に Data Cloud に表示されます。また、いつでもデータの収集と保存をオフにすることができます。データの収集と保存をオフにすると、データを収集するデータストリームが一時停止します。
プロンプト防御・・・ハッカーや、時として従業員も、制限をうまく迂回して、モデルの設計から逸脱した方法でタスクを実行したり、モデルの出力を操作したりしようとします。生成 AI では、こうした攻撃をプロンプトインジェクションと呼んでいます。プロンプト防御でこの攻撃から保護し、データが侵害される可能性を減少させることができます。
■ 応答ジャーニー
この応答ジャーニーは、LLM から応答が返されてくる際の道のりです。以下の Trailhead に応答ジャーニー側のレイヤーのまとめがあります。
データ保持ゼロポリシー・・・外部 LLM トレーニングや製品の改善にはデータは使用されませんし、アクセスもさせません。また、Salesforce 組織外にはデータは保持されません。
有害用語検出とデータマスキングの解除
安全性カテゴリ スコア 1 は安全、0 は安全ではない。
監査履歴
■ Einstein for Sales
さあ、大詰めです。ここからは 営業用の Einstein と、カスタマーサービス用の Einstein です。このセクションに関しては、私の出来は 70 %で、合格ラインを割っていました。というのもあまり勉強をしませんでした。ツール種類が多すぎますって、Salesforce さん・・・。💦
私と同じように、このセクションはある程度捨てにするのか、それとも満点目指して、がっつりやり込むかの判断はお任せします。そんなこんなで、下記の通り、私のメモは少ないです。尻つぼみですみません。
Einstein 会話インサイト・・・これに関しては以下の Trailhead をよく読み込んでください。
Call Summaries・・・音声通話とビデオ通話で生成的な通話概要を作成できます。Einstein を搭載した通話記録の新しい概要タブでは、次のステップや顧客からのフィードバックを含む編集可能な概要を作成し、概要を共有して作業の流れの中でチームコラボレーションを容易にすることができます。
Call Explorer・・・音声通話やビデオ通話の記録から直接質問することができます。Einstein を搭載した新しい Call Explorer を使用すると、ユーザーは製品に関する言及や未解決の顧客からの質問など、通話に関する情報をすばやく収集できます。
■ Einstein for Service
サービス センターの運用の生産性を向上させるためのツールが紹介されています。以下の Trailhead にすべてがまとまっていますので、必ず確認してください。
Einstein サービス返信・・・ナレッジベースに基づいて AI が生成した応答により、パーソナライズされたサービス エクスペリエンスを作成し、エージェントの処理時間を短縮できます。AI が生成した返信により、顧客満足度が向上し、エージェントの処理時間が短縮されます。Einstein は、顧客とのチャット中に返信を生成できます。または、ケース ページから直接、推奨されるナレッジ記事に基づいてメールを下書きして送信できます。チャットにも対応していますし、メールにも対応しています。
Einstein 返信レコメンデーション・・・メッセージング チャネルとチャット チャネルでエージェントにリアルタイムで推奨返信リスト(よくある質問に対する定型的な回答)を提供します。Einstein は組織の 過去のチャットデータ を分析し、チャット中にサポート チームが使用する一般的な返信のリストを生成します。上の Einstein Service Replies との区別としては、エージェントの処理時間を短縮するなどの目的は同じですが、ナレッジを分析するわけではないという点です。
Einstein 作業概要・・・AI が生成したケース サマリーにより、エージェントの時間を節約し、より効率的で生産性の高いサービス エクスペリエンスを提供できます。エージェントと顧客との会話の最後に、Einstein がサマリー、問題、解決策を予測して入力します。
これらの機能がキー機能になりますが、他にも以下のようなものがありますので、ツールの説明はすべて押さえておく方が良いです。
Einstein 記事レコメンデーション・・・進行中のケースで、関連性の高いナレッジ記事をエージェントに推奨します。
Einstein ボット・・・チャットやメッセージングチャネルの会話で一般的な問題を自動的に解決します。
Einstein ケース分類・・・受信ケースを分類する目的で、お客様がケースに記したテキスト (ケースの件名や説明) に基づいて項目 (優先度、理由、種別など) の値を予測します。
Einstein ケースルーティング・・・Einstein ケース分類と連動し、ケースを選別して適切なエージェントまたはキューに転送します。
Einstein ケースラップアップ・・・チャットエージェントがチャットをすばやく終了し、正確性と一貫性が向上します。
Einstein 会話マイニング・・・会話データをサービスインサイトに変換し、ボットのインテントを構築します。
Einstein ナレッジ作成・・・ナレッジベースを拡充し、業務の流れの中で AI が生成する記事ドラフトで情報を取得します。
Einstein Next Best Action・・・データインサイトやビジネスルールを使用して、オファーやエージェントが実行するアクションを推奨します。
■ 開発者向けのコンテンツについて
最後に、開発者向けのコンテンツもあります。これをどこまで読み込むのかは皆さんにお任せしますが、ふむふむ、REST API を使うことがあるのか、とかその程度のことで良いのではないかと思います。私もこれは真面目に読みませんでした。
いかがでしたでしょうか。
今回の「Salesforce 認定 AI スペシャリスト」は、試験問題の大半を占めている Einstein Copilot、Prompt Builder、Model Builder などの Einstein 機能に習熟している必要があります。再三になりますが、ヘルプドキュメントをとにかく端から端まで読むことをオススメします。
この「スペシャリスト」という資格は「コンサルタント」資格に対する下位資格だったりするのでしょうか。今後「Salesforce 認定 AI コンサルタント」という資格が登場してもおかしくないですね。
さて、今回の記事が、皆さんの参考になっていれば幸いです。これから試験を受ける方もいると思いますので、ぜひ頑張って下さい!
今回は以上です。
次の記事はこちら
前回の記事はこちら
私の note のトップページはこちら
この記事が気に入ったらサポートをしてみませんか?