Amazon Kinesis
○Amazon Kinesisって
リアルタイムのデータストリームを処理するためのAWSのマネージドサービス
○主なサービス
1.Amazon Kinesis Data Streams
リアルタイムなデータストリームの受信と処理を可能にするサービス
ユースケース
・リアルタイムデータ処理
・ストリーミングデータ分析
・レコードストリームの保存
・リアルタイムダッシュボード
・レコードのリプレイおよびリトライ
2.Amazon Kinesis Data Firehose
リアルタイムデータストリームを異なるデータストレージや分析サービスに自動的に送信するサービス
データ配信先
・Amazon S3
・Amazon Redshift
・Amazon OpenSearchサービス
・Splunk
・HTTP エンドポイント
3.Amazon Kinesis Data Analytics
リアルタイムデータストリームの分析とクエリを行うためのサービス
○StreamsとData Firehoseを併用する場合のユースケース
リアルタイムなデータ処理とデータの永続性の両方を必要とする場合
Amazon Kinesis Data Streams：リアルタイム性を重視するか
Amazon Kinesis Data Firehose：データの永続性を重視するか
○Lamda関数との組み合わせ
1.Amazon Kinesis Data StreamsとLambda関数
・ストリームデータのリアルタイムな処理とトリガー処理
・ストリームデータの加工、変換、フィルタリング
・外部システムへのデータの送信やアクションの実行
2.Amazon Kinesis Data FirehoseとLambda関数
・データの受け取り、変換、保存
・データの加工やフォーマット変更
・データのバッチ処理やリアルタイムの配信トリガー
3.Amazon Kinesis Data AnalyticsとLambda関数
・ストリームデータのリアルタイムな分析とクエリ処理
・データの集計や集約
・特定の条件に基づいたアクションのトリガー
※StreamsとFirehoseの加工の違い
Streams
・データそのものを変えることができる
・必要な情報の抽出や不要な情報の削除ができる
・リアルタイムでデータを処理できる
Firehose
・データの流れ自体を変えることができる
・異なるストレージや分析サービスに対応できる
※Amazon Kinesis Data Firehose単体,Amazon Kinesis Data FirehoseとLambda関数でS3に保存する場合の違い
Firehose単体：データの転送と保存のみ
Lambda関数を併用：データの変換や追加処理が可能