Power Automate Desktopとこれから

はじめまして。アイシーティーリンク 中屋と申します。
昨年11月の企業合併からICTLINKの一員となりました。
どうぞよろしくお願いいたします！

会社が融合して少し経ち、社内の業務効率化として
Power Automate Desktopにデータ作成のフローを設定する
というミッションに携わらせてもらうこととなりました。

Power Automate Desktopはご存じの方も多いと思いますが
Microsoft提供のWindows用RPAです。
Power Automate Desktop・・・長いのでPADと呼びます。

社内では設定等熟知されている方もいるようですが、
私はまだまだよそよそしい間柄です。

さて、設定の中で今回は、Webの画面上に［・・・］と
表示されているボタンをクリックしてほしいと指示する場面がありました。

【ブラウザ自動化】＞【Webフォーム入力】＞
【Webページのボタンを押します】のアクションを選んで、
UI要素ピッカーで画面に複数ある［・・・］のうち、指定したい［・・・］ボタンにマウスを動かし、赤枠で囲まれた時に
「Ctrl＋左クリック」で「このボタンやで！」と指定しました。

そして、いざここまでのフローを実行すると
「画面で画像が見つかりません」とエラー表示され止まってしまいました。

実際にPADの中ではどう認識されているのでしょうか？
［・・・］という要素はHTMLで決められたルールに沿って名称と番号が
ふられており
「このボタンやで！」と指定したときの番号と、
再度Webを開きなおしたときの番号が異なっていました。
PADからすると
「この番号で指示されたけど、同じ番号見つからへんから
どれかわからへん」
となっていたのです。

番号の指定を外すと、［・・・］だらけなので
さらにどれかわからなくなるらしく
結局は、【マウスとキーボード】＞【マウスを画像に移動】で
「この画面のこの画像ね！」「画像の真ん中をちゃんとクリックしてね！」とやさしくお伝えしなおして、やっと意思が通じたのでした。

人じゃないですものね。こまかーい指定がないと動けないですよね。
PADさん。。

まとまった時間で対話ができるといいのですが。。。
まだまだ知り合ったばかり。
ボールを投げて投げて投げまくり、対話を増やしていきます。

彼の”ロボとなり”を理解できるまで。
早く仲良くなりたい。。