データ取得の自動化フロー比較(プラットフォーム別)

今回は改めてデータの取得の自動化に焦点を当てたいと思います。

なぜかというと、業務でデータの取得をある特定の人物に依存して取得している状況の中、本人が病欠となってしまい、データの更新作業が一時的に途絶えたという話を聞いたからです。

セミナーでは、そこが自社のDX化の起点となったと話していました！

なので、いま一度そういったリスクを回避できる取得の自動化方法についてまとめておきたいと思いました。
今回はプラットフォーム別にまとめます。

人が介入しない構成とは？

その前に基本的な構成をおさらいしておきましょうか？

データをGASやRPAで取得し、フォルダに格納します。 以前はこの部分で手動で都度作業していた方も多いと思いますが、現在の技術では最初にコードを書いたり、ノーコードで設定しておけば、自動でデータの取得が可能です。

データ入力 → データ保存 → 自動処理 → データ可視化

データ取得フロー

よく利用されるであろう、Microsoft、Googleともツールが揃っています。

またクラウド上にコードを書いて自動化することも可能です。こちらは代表的な言語としてpythonがあります。
（データの集計、整形もライブラリで可能）

各種プラットホームの構成

Google
GASでAPI （データ取得）→ スプレッドシート → GAS（データの整形）→ Looker Studio

Microsoft
Power Automate （データ取得）⇀ Excel Online → SharePoint → Power BI

Python
Selenium（データ取得）→ Pandas（データの整形）→ クラウドストレージ ⇀ Looker Studio

※基本は最小最安構成

メリットデメリット（主観）

Google
・外部データの取得にRPAで行うことができない
（GoogleにもAppsheetがあるようですが、限定的な認識）
・クラウド上にデータが既にあるなら最も効率がよい気がします。
・料金は無料でも構成できる

Microsoft
・使い慣れた方も多いExcelベースのデータの取得方法。RPAも無料でできる範囲が広い（デスクトップ）
・LookerStudioがExcelデータを接続できるようになったので、可視化ツールを変更する手も出てきました。（powerBI⇀LookerStudio）

Python
・技術的難易度が他より上がりますが、一度構築出来てしまえば、他のプロジェクトにも応用が利きます
・クラウドの料金は従量課金制なので、無料枠を超えると料金がかかるイメージ。データ量が多くない場合は、かなり人の手を離れるためこちらも検討する価値がある。

以上に簡単にまとめましたが、構成に関しては無数の選択肢があると思います。ぜひこちらを参考にしていただければと思います。

また改めて、データの取得～レポートの更新作業は人の手がかからない方法を構築することが、重要だなと気づきを得ました。
自社にあった方法をぜひ探してみてください！

今後はデータ取得にAIアプリを組み込んでいく実装も増えていくと思います。
また、知識が増えましたらデータ取得に関する記事をお送りいたします。