AWS Data Pipeline
○AWS Data Pipeline
データ処理を自動化し、異なるデータソースやデータストア間でのデータ移動、変換、処理を容易にします。
○ユースケース
1.データのバッチ処理
データウェアハウスやデータレイクにおいて、定期的なバッチ処理を実行する場合にData Pipelineを使用します。例えば、定期的にデータを抽出して変換し、別のデータストアにロードするなどの処理を自動化します。
2.データの移動と同期
異なるデータソースやデータストア間でデータを移動・同期する場合にData Pipelineを使用します。例えば、オンプレミスデータベースからAWSのデータストアへのデータ移行や、異なるAWSリージョン間のデータ同期などを自動化します。
3.データの変換と処理
データの変換やETL（抽出、変換、ロード）処理を行う場合にData Pipelineを使用します。データのクレンジング、統合、集約、変換などの処理を自動化し、データ品質の向上やビジネス分析の準備を支援します。
4.ワークフローのオーケストレーション
複数のステップやアクティビティを組み合わせてワークフローを作成し、データ処理のオーケストレーションを行う場合にData Pipelineを使用します。データ処理の依存関係やスケジュールを定義し、データパイプライン全体の実行を自動化します。
5.イベント駆動型のデータ処理
特定のイベントに応じてデータ処理をトリガーする場合にData Pipelineを使用します。例えば、新しいデータファイルがS3にアップロードされた時にそれをトリガーとしてデータ処理を開始するなど、イベント駆動型のデータ処理を実現します。