見出し画像

PADでスクレイピング 備忘録コメント行方不明事件 kintoneミステリー

46u

Twitterで、@AkemiKayo さんと #kinoneミステリ なるものをときどきやってます。で、ちょっとTwitterではおさまらなくなったのでnoteへ出張してきました。興味ある方は以下Twitterをみてからnoteの続きを読んでもらえたら嬉しいです！

PADでスクレイピング

kintoneのコメント欄は、CSV出力できないのがネックです。そこでRPAでできないかやってみました。

実際の動画はこんな感じ。

今回はPADを利用しました。フローはこんな感じ。

結果、kintoneのコメントを自動的に抜き出すことができました！

動画のものより若干修正しています。

ざっくり解説

kintoneの仕様として、以下URLで任意のアプリの任意のレコードにアクセスすることが可能です。

https://piyo2.cybozu.com/k/アプリNo/show#record=レコードNo

ので、特定のスクレイピング箇所(要素)が決まればあとは上記URLの該当アプリNoとレコードNoをループの添え字を使って変えていくことで、アクセス権のあるすべてのアプリ、すべてのレコードのコメントを取得することが可能です。アプリNoとレコードNoは、kintoneで利用している最大値を指定します（わからなければ十分な大きさの値）

WebページをCSVファイル化する方法は、@PoodleMaster さんのQiitaを参考にしました。ありがとうございます。

このフロー、仕上がりはホントに粗々でアプリやコメントが削除されている場合の対応や（一応エラーは無視するという方法で動くようにはしています）、１レコードにたくさんのコメントがある場合の対応も実装できていません。なにより一番の懸念はすべてのアプリ、すべてのレコードを総なめで処理するという所。kintoneへの不要な負荷や処理時間を考えたら常識の範囲を超えますね。

スクレイピングは相手Webサーバーに想定外の負荷をかける場合もありますしサイトによってはスクレイピングを禁止している場合もありますので注意が必要です。

とはいえ便利な技術は上手に活用していきましょう！何かの参考になればうれしいです。

まあ今回はTwitter用のネタと思ってもらえたら幸いです。^^;

kintoneミステリーバックナンバー

過去のkintoneミステリーのTwitterリンク貼っておきます。興味ある方はどうぞ。ゆるっとやってますので多少つじつまの合わないところやレスがあちこち枝分かれしてたりしますが、大目にみてください。

消えたレコード

誰がためにポータルは表示す

謎のアラーム

いいなと思ったら応援しよう！