QuickSight
今回はAWSのQuickSightのデータパイプラインについて書いていこうかなと思います。
データ収集から可視化までの一連の流れをAWSで挑戦してみます！
はじめに
今回はどういった流れで収集したデータを可視化するのか、といった内容で書く記事になるので、本記事に登場するAWSサービスについては別途で今後の記事として書き上げます。
基本的な流れ
1.収集 データの収集
2.保存 収集したデータの保存
3.処置 保存したデータを分析するための加工処理
4.分析 処理されたデータの分析
5.可視化 結果を可視化
※様々な面で最適な加工処理をして分析できるように、収集データはそのまま分析してしまうのではなく、収集データとして保存しておきます。
■収集
分析するにはまずデータがないといけません。
データ収集に関しては、AWSIoTで収集したり、Kinesis StreamsやKinesis Firehoseで次々と送られる大量のデータをリアルタイムに収集します。
これは別途StreamsやFirehoseを具体的に詳しく説明できるようになった時記事にしていきます。
■保存
AmazonS3(大容量ストレージ)やDynamoDBへデータを保存
■処理
AmazonGlue (抽出、変換、ロード)などのサービスにてデータを処理し、変換データターゲットとしてRedShiftなどにデータをロード
■分析
AmazonRedShiftで、大量のデータを高速で読み出し分析
■可視化
AmazonQuickSightでデータ分析、どういった分析をしたいのかを指定することも可能で、様々なフィルタや条件に基づき可視化する
AmazonQuickSightはtutorialを見ながら触り方を勉強していましたが、少し慣れてマスターしてしまえば大量の情報を簡単に動かし、分析した結果を可視化して共有できてしまうのでこれは1人辺りの生産性もバリバリ高まるよなあと思いながら勉強してました。