Google Cloud環境でWebスクレイピング&データ可視化
Google Cloudを使ってWebスクレイピングとデータ可視化の環境を作りました。下図のような構成です。
この記事では、この構成に至った背景を解説します。Google Cloud初学者の方に参考になれば嬉しいです。なお、構築手順の詳細には触れず全体像を紹介します。
▍やりたいこと(要件)毎日1回、指定された複数のWebページからそれぞれ特定のデータを取得し、結果をデータとして保存する
保存したデータをBIツールを用いて視覚化し、ユーザーが対話的に分析できるようにする