AWSソリューションアーキテクト取得に向けて～Kinesis～

AWS ソリューションアーキテクト　アソシエイト取得に向けて学習した内容を備忘的に記載します。

今回はKinesis。

Kinesisとは

ストリームデータを収集・処理するためのフルマネージド型サービス。主に以下の３つのサービスで構成

■Amazon Kinesis Streams
■Amazon Kinesis Firehose
■Amazon Kinesis Analytics

Amazon Kinesis Steams

ストリーミング処理をシャードに分けて分散させて実行するため高速処理が可能。
データの提供側、利用側に様々なサービスが利用可能。

Amazon Kinesis Streamsは以下の関連機能を活用してストリーミング処理アプリケーションを構築。

■Amazon Kinesis Agent
　 Kinesisサービスにデータを簡単に収集して取り込むOSSのスタンドアロンJavaアプリケーション
 ■Amazon Kinesis Producer Library(KPL)
　Kinesis Streams にデータを送信するOSSの補助ライブラリ
■Fluent plugin for Amazon Kinesis
 　Kinesis Streams とKinesis Firehoseにイベントを送信するOSSのFluent出力プラグイン
■Amazon Kinesis Data Generator(KDG)
　Kinesis Data Generator を利用してKinesis StreamsまたはKinesis Firehoseにテストデータを簡単に送信
■Amazon Kinesis Client Library(KCL)
　KCLを利用してKinesisアプリケーションを作成。OSSのクライアントライブラリでEC2インスタンスなどにデプロイして利用。

Amazon Kinesis FIrehose

各種DBに配信・蓄積するためのストリーム処理を実施。Lambdaと連携するとETLとしても機能する。

Amazon Kinesis Analytics

ストリームデータを標準的なSQLクエリでリアルタイムに分析