見出し画像

Power Automate plug-in for Windows Copilotを試してみました。

kinuasa

2024年2月20日(火)に開催されたMicrosoft AI Tour Tokyoで吉田大貴( @TaikiYoshidaJP )氏がデモをされていた「Power Automate plug-in for Windows Copilot」(Windows Insider Blogでは「Power Automate via Copilot in Windows」と表記されていますが、ここではMicrosoft Learnの資料に従って「Power Automate plug-in for Windows Copilot」と表記します)が私の環境でも使用できるようになったので、さっそく試してみました。


Power Automate plug-in for Windows Copilotとは

Power Automate plug-in for Windows Copilotとは、Power Automate for desktopを使用して、Windows CopilotからPC上のExcelファイルやPDFファイル、その他ファイルの操作等を行える機能です。

2024年3月時点ではプレビュー段階の機能で、今後のアップデートによって仕様が変更される可能性がある点についてはご注意ください。

検証環境

検証環境は下記の通りで、WindowsもPower Automate for desktopも両方Microsoft アカウントでサインインした状態で動作確認を行いました。

  • OS：Windows 11 Insider Preview バージョン 24H2 (OS ビルド 26063.1) 日本語版

  • Power Automate for desktop バージョン 2.41.00234.24032 ストアアプリ版

前提条件

現時点ではMicrosoft Learnの資料にある通り、個人のMicrosoft アカウントによるサインイン、およびMicrosoft StoreからのPower Automate for desktopのインストールが必須となっています(組織アカウント不可、MSIインストーラーによるインストール不可)。

https://learn.microsoft.com/en-us/power-automate/desktop-flows/win-copilot-plug-in?WT.mc_id=M365-MVP-4029057 より

プラグインの有効化

プラグインを有効にする手順は下記の通りです。

1.Microsoft アカウントを使用してWindowsとPower Automate for desktopにサインインします。
2.Copilotの「その他のオプション」から「プラグインのアクセス許可」をクリックします。

3.「PADWindowsCopilotPlugin」から「Always connect」を選択します。

4.Copilotの画面に戻り、「プラグイン」をクリックします。

5.「Power Automate」(Automate everyday tasks with ease. From writing to Excel and creating new emails, to renaming files and more.)のトグルスイッチをオンにしてプラグインを有効にします。「Power Automate」が表示されない場合には、一度PCをサインアウトしてください。

Power Automate plug-in for Windows Copilotの利用方法

プラグイン有効後、例えば「指定したフォルダ内のテキストファイルの名前を「NewName_元のファイル名.txt」という形式に変更したい」といったプロンプトをCopilotに入力すると、下図のようにプラグインによってPower Automate for desktop経由で処理が行われようとするので、「Windows Copilot による Power Automate フローの実行を許可しますか?」ダイアログの指示に従って処理を続行します。

指定した指示が行われることが確認できます。

実行画面

下記ポストが実行画面になります。

プラグインの実体

Copilotで処理が行われている間、「PAD.WindowsCopilot.Plugin.exe」(C:\Program Files\WindowsApps\Microsoft.PowerAutomateDesktop_11.2402.223.0_x64__8wekyb3d8bbwe\PAD.WindowsCopilot.Plugin.exe)というプロセスが動いていました。名前からして、恐らくこれがプラグインの実体だと思われます。

Power Automate plug-in for Windows Copilotの仕組み

Copilotで処理が行われている間のファイルの動きを監視してみると、「C:\Users\(ユーザー名)\AppData\Local\Microsoft\Power Automate Desktop\Console\Workspace\」フォルダー以下に新しくフォルダーが作成され、その中にフローの実体であるrobinファイル含めて必要なファイルが生成されていました。

生成されたrobinファイルの一部をデザイナーに貼り付けたのが下図で、「ファイルの名前を変更する」アクションでファイル名が変更されるようになっていることが分かります。

Power Automate plug-in for Windows Copilotでは、Copilotによってフローが自動的に作成され、フローを実行する PAD.Robot.exe に作成したフローを渡すことで、処理を実行しているようです。

使用した感想

以上、簡単にPower Automate plug-in for Windows Copilotを触ってみましたが、中々面白い機能でした。

ただ、例えばファイル名の先頭に現在の日付を付け加えるため、「指定したフォルダ内のテキストファイルの名前を「Year-Month-Day_元のファイル名.txt」という形式に変更してほしい」、「現在の日付を「YYYYMMDD」形式で変数%YMD%として取得し、指定したフォルダ内のテキストファイルの名前を「%YMD%_元のファイル名.txt」という形式に変更してほしい」といったプロンプトを指定しても、文字通りファイル名が「Year-Month-Day_元のファイル名.txt」や「%YMD%_元のファイル名.txt」となり、意図した通りに処理が実行されないことが多々ありました。

もしかしたらプロンプトを改善すれば意図した通りに処理が行われるようになるかもしれないので、引き続き検証を進めていこうと思います。

2024/3/5 追記：
ここ数日使用した感想を追記します。

色々試した結果、現時点で実行が確認できたのはMicrosoft Learnの資料にある通りのシナリオでした。

  • Excelファイルの作成、セルへの書き込み

  • メールの作成

  • PDFファイルの分割と結合

  • ファイル名の変更

  • ファイルの移動

例えばExcelファイルの操作に関して、「Excelで新規ファイルを作成してセルA1に「Hello world」と書き込んでほしい」というプロンプトでは問題なく動作しましたが、「Excelで新規ファイルを作成してセルA1に「Hello world」と書き込み、指定したフォルダに保存してほしい」というプロンプトでは“すみません、WriteToExcelのパラメータが不足しています。データという必須のパラメータがありません。データはExcelに書き込む内容を指定するものです。データを教えていただけますか？”といった結果が返されました。

「WriteToExcel」はPower Automate for desktopでは「Excel ワークシートに書き込む」アクションにあたります。プロンプトで保存先を指定しても動作しなかったため、恐らく現時点では「Excel の起動」アクションと、この「Excel ワークシートに書き込む」アクションの範囲程度でしか処理ができないのではないかと推測します。

また、日本語の扱いも致命的で、例えば「Excelで新規ファイルを作成してセルA1に「こんにちは」と書き込んでほしい」というプロンプトでセルに書き込まれた値は下図のように文字化けしていました。

まだまだ課題が多く、多くの方が期待されている『自然言語でAIに指示をしたらその通りに操作を行ってくれる』レベルからは遠いというのが正直な第一印象ですが(どちらかというと「UFO」(参考記事)の方がそれに近しいように思います)、あくまでも現時点での印象なので、今後のバージョンアップに大きく期待したいところです。

2024/3/6 追記：
Power Automate plug-in for Windows Copilotが使えるようになってから色々な操作を試しましたが、個人的に一番気に入っているのはメール作成です。

Copilotでメールの作成をお願いすると既定のメーラーを使ってあっという間にメールの作成が完了、これはかなり便利で実用的だと思います。

ただ、日本語でプロンプトを入力すると、本文の文面のみ出力されメール作成まで行われないことも多々あるため、現時点ではやはりプロンプトは英語で入力した方が安定して処理が行われるようです。

いいなと思ったら応援しよう！