見出し画像

AWS QuickSightでELBログを可視化する

前提条件

ELBのログがS3に保存されている前提条件。

Athenaでソースデータを作成する

CREATE EXTERNAL TABLE テーブル名たとえばelb_log_tbl (
         type string,
         request_timestamp string,
         elb_name string,
         client_addrport string,
         client_ip string,
         client_port int,
         target_addrport string,
         target_ip string,
         target_port int,
         request_processing_time double,
         target_processing_time double,
         response_processing_time double,
         elb_status_code string,
         target_status_code string,
         received_bytes int,
         sent_bytes int,
         request string,
         user_agent string,
         ssl_cipher string,
         ssl_protocol string,
         target_group_arn string,
         trace_id string,
         domain_name string,
         chosen_cert_arn string,
         matched_rule_priority string,
         request_creation_time string,
         actions_executed string,
         redirect_url string 
) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
         'serialization.format' = '1', 'input.regex'='([^ ]*) ([^ ]*) ([^ ]*) (([^ ]*):([^ ]*)|-) (([^ ]*):([^ ]*)|-) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) \"([^\\\"]*)\" \"([^\\\"]*)\" ([^ ]*) ([^ ]*) ([^ ]*) \"([^\\\"]*)[ ]*\" \"([^ ]*)\" \"([^ ]*)\" ([^ ]*) ([^ ]*) \"([^ ]*)\" \"([^\\\"]*)\".*$' )
         LOCATION 's3://ホニャララELBの保存先ホニャララ/2019/01/'

これでelb_log_tblというテーブルが作成された。

今度はViewの作成。

CREATE OR REPLACE VIEW ビュー名たとえばelb_log_view AS 
SELECT *
FROM
  elb_log_tbl

これでelb_log_viewというビューが作成された。

いいなと思ったら応援しよう!

すー
あなたにサポートができるのか・・・!