見出し画像

Power Automate for desktopのRepair with Copilot機能を試してみました。

kinuasa

Power Automate for desktop(PAD) バージョン 2.51 がリリースされ、ダークモードとともにCopilotがUI要素のセレクターを修正してくれる機能「Repair with Copilot」が使えるようになったのでさっそく試してみました。

※ 2024年12月時点で本機能はプレビュー段階の機能です。今後仕様が変更される可能性がある点についてはご注意ください。


機能を有効にする方法

本機能を有効にするには、フロー作成時に「フローのエラーを修復する」オプションを有効にする必要があります。

既存のフローの場合は、コンソール画面から開けるフローのプロパティからオプションを有効にできます。

クラウドフローから実行する必要がある

本機能はクラウドフローを通じた有人(Attended)および無人(Unattended)実行でのみ利用可能です。そのため下記Microsoft Learn資料にある通り事前にクラウドフローからデスクトップフローを実行できるように設定しておく必要があります。

Repair with Copilot機能のテスト

Repair with Copilotのテストを行うため、正常に動作するフローのセレクターの一部をわざと変更します。

セレクターを変更して実行時にエラーが起こるようにしたフローをクラウドフローから実行します。

フローの動作が止まり「修復」画面が表示されます。
エラーになったセレクターと、「提案された修正方法」としてCopilotにより修正されたセレクターが表示されるので、「すべての実行に適用」ボタンをクリックして処理を実行します。

「すべての実行に適用」は下記オプションから処理方法を選ぶこともできます。

  • すべての実行に適用：新しく識別されたセレクタが、UI要素のセレクターリストの最後に追加されます。デスクトップフローはこの新しいセレクターで更新され、今後実行される際にも、このUI要素のリストに提案されたセレクターが含まれるようになります。

  • 今回のみ適用：提案されたセレクターは、この実行のみに適用されます。新しいセレクターはUI要素のセレクターリストに追加され、今回の実行で使用されますが、次回以降実行される際には保存されません。

  • 手動で修復：Copilotの提案を拒否し、必要なUI要素を手動で識別、キャプチャーする必要があります。

修正されたUI要素のセレクターが追加され、そのままフローが実行されます。

実行画面

制限事項

現時点では以下の制限事項があります。

•This feature is available only in attended and unattended executions through the portal (cloud flow).
•This feature is available only in desktop flows saved in Schema v2.
•This feature is available only in the US region.
•The feature doesn't handle UI elements in virtual desktops.
•The feature doesn't support PictureInPicture executions.
•The feature doesn't support child flow execution.
•The feature doesn't support UI element collections.
•The feature can't apply to selectors that contain one or more variables.
•The unattended version of this feature doesn't yet support persisting a new selector in the desktop flow script during runtime.
•Drag-and-drop actions aren't supported at this phase.
•The Apply for every run option uses the user identity logged into the Power Automate for desktop console. If no user is signed into the console, the option isn't available.

(以下AIによる翻訳)
•この機能は、ポータル（クラウドフロー）を通じたアテンドおよびアンアテンドの実行でのみ利用可能です。
•この機能は、Schema v2で保存されたデスクトップフローでのみ利用可能です。
•この機能は、米国リージョンでのみ利用可能です。
•この機能は、仮想デスクトップ内のUI要素を処理しません。
•この機能は、PictureInPicture実行をサポートしません。
•この機能は、子フローの実行をサポートしません。
•この機能は、UI要素コレクションをサポートしません。
•この機能は、1つ以上の変数を含むセレクタに適用できません。
•この機能のアンアテンド版は、実行中のデスクトップフロースクリプトに新しいセレクタを永続化することをまだサポートしていません。
•ドラッグアンドドロップアクションは、この段階ではサポートされていません。
•「毎回実行する」オプションは、Power Automate for desktopコンソールにログインしているユーザーのアイデンティティを使用します。コンソールにユーザーがログインしていない場合、このオプションは利用できません。

https://learn.microsoft.com/en-us/power-automate/desktop-flows/repair-at-runtime?WT.mc_id=M365-MVP-4029057 より

感想

UI要素が絡むフローでは、例えばウィンドウ名の変更等ちょっとした変化でフローが動かなくなってしまうことが多々あります。

そのようなときにはセレクターを変更する必要があるのですが、セレクターの編集にはある程度の知識が必要であり、慣れないと難しい作業です。

そんな作業をCopilotが行ってくれるのは非常に便利で、フロー開発者の大きな助けになるだろうと思います。
現時点では制限事項も多くありますが、今後が大いに期待される機能といえますね！

参考資料

いいなと思ったら応援しよう！