
PADでスクレイピング 備忘録コメント行方不明事件 kintoneミステリー
Twitterで、@AkemiKayo さんと #kinoneミステリ なるものをときどきやってます。で、ちょっとTwitterではおさまらなくなったのでnoteへ出張してきました。興味ある方は以下Twitterをみてからnoteの続きを読んでもらえたら嬉しいです!
#kintoneミステリ
— 嘉陽 暁美@kintone保育業務改善 (@AkemiKayo) October 25, 2022
〔備忘録コメント行方不明事件〕
ドアノック音がした。事件の依頼だ。
「どうぞ」kintone探偵は顔をドアに向けた。
社員は青い顔で部屋に入って来た。
「アプリを使っていてコメントに備忘録を書いていたのですが、どのアプリのどのレコードにコメントしたか忘れてしまったのです」
PADでスクレイピング
kintoneのコメント欄は、CSV出力できないのがネックです。そこでRPAでできないかやってみました。
実際の動画はこんな感じ。
今回はPADを利用しました。フローはこんな感じ。

結果、kintoneのコメントを自動的に抜き出すことができました!

動画のものより若干修正しています。
ざっくり解説
kintoneの仕様として、以下URLで任意のアプリの任意のレコードにアクセスすることが可能です。
https://piyo2.cybozu.com/k/アプリNo/show#record=レコードNo
ので、特定のスクレイピング箇所(要素)が決まればあとは上記URLの該当アプリNoとレコードNoをループの添え字を使って変えていくことで、アクセス権のあるすべてのアプリ、すべてのレコードのコメントを取得することが可能です。アプリNoとレコードNoは、kintoneで利用している最大値を指定します(わからなければ十分な大きさの値)
WebページをCSVファイル化する方法は、@PoodleMaster さんのQiitaを参考にしました。ありがとうございます。
このフロー、仕上がりはホントに粗々でアプリやコメントが削除されている場合の対応や(一応エラーは無視するという方法で動くようにはしています)、1レコードにたくさんのコメントがある場合の対応も実装できていません。なにより一番の懸念はすべてのアプリ、すべてのレコードを総なめで処理するという所。kintoneへの不要な負荷や処理時間を考えたら常識の範囲を超えますね。
スクレイピングは相手Webサーバーに想定外の負荷をかける場合もありますしサイトによってはスクレイピングを禁止している場合もありますので注意が必要です。
とはいえ便利な技術は上手に活用していきましょう!何かの参考になればうれしいです。
まあ今回はTwitter用のネタと思ってもらえたら幸いです。^^;
kintoneミステリーバックナンバー
過去のkintoneミステリーのTwitterリンク貼っておきます。興味ある方はどうぞ。ゆるっとやってますので多少つじつまの合わないところやレスがあちこち枝分かれしてたりしますが、大目にみてください。
消えたレコード
「 #kintone を使って保育業務改善に取り組んでいる」と言うと、必ずみんな口を揃えて「一体何を目指してるの?」と私に聞くけど、私がずっと目指しているのは、松本清張のような社会派ミステリー作家ですけど何か。全ての道は創作作品につながる。時刻表ミステリーならぬkintoneミステリー書きたい。
— 嘉陽 暁美@kintone保育業務改善 (@AkemiKayo) July 26, 2022
誰がためにポータルは表示す
#kintone ミステリーなるもの
— 嘉陽 暁美@kintone保育業務改善 (@AkemiKayo) August 3, 2022
「誰がためにポータルは表示す」
ある日、見慣れたポータル画面が消えて、奇妙な文字列だけが一面に並んでいた。
主人公は、誰のアカウントで更新されたかよりも、その奇妙な文字列そのものに惹かれた。
それはどうやら「シーザー暗号」で書かれていたようだった。
謎のアラーム
保育園の玄関に新型コロナ対策でCO2モニターを置いている。
— 嘉陽 暁美@kintone保育業務改善 (@AkemiKayo) October 4, 2022
玄関は普段450ppmで外気程度なのだが、午後2時頃、誰もいない玄関で突然モニターのアラームが鳴った。1000ppmを超えている。
幽霊でも集まったのかと思い、私は「どうぞお帰りください」頭を下げると、いつもの数値に戻った。
何だったのか。
園児たちが午睡で寝静まった午後2時。
— 嘉陽 暁美@kintone保育業務改善 (@AkemiKayo) October 4, 2022
来客も無かった時間帯でありました。
手指消毒のアルコールとの距離は3メートル以上離れており、またアルコールを使用した者も1人もいない。
消去法で考えれば、👻…
保育園の運動会がもうすぐなので、「夜は墓場で運動会」の方々のリハーサルだったのか…💦