AWS QuickSightでELBログを可視化する
前提条件
ELBのログがS3に保存されている前提条件。
Athenaでソースデータを作成する
CREATE EXTERNAL TABLE テーブル名たとえばelb_log_tbl (
type string,
request_timestamp string,
elb_name string,
client_addrport string,
client_ip string,
client_port int,
target_addrport string,
target_ip string,
target_port int,
request_processing_time double,
target_processing_time double,
response_processing_time double,
elb_status_code string,
target_status_code string,
received_bytes int,
sent_bytes int,
request string,
user_agent string,
ssl_cipher string,
ssl_protocol string,
target_group_arn string,
trace_id string,
domain_name string,
chosen_cert_arn string,
matched_rule_priority string,
request_creation_time string,
actions_executed string,
redirect_url string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1', 'input.regex'='([^ ]*) ([^ ]*) ([^ ]*) (([^ ]*):([^ ]*)|-) (([^ ]*):([^ ]*)|-) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) \"([^\\\"]*)\" \"([^\\\"]*)\" ([^ ]*) ([^ ]*) ([^ ]*) \"([^\\\"]*)[ ]*\" \"([^ ]*)\" \"([^ ]*)\" ([^ ]*) ([^ ]*) \"([^ ]*)\" \"([^\\\"]*)\".*$' )
LOCATION 's3://ホニャララELBの保存先ホニャララ/2019/01/'
これでelb_log_tblというテーブルが作成された。
今度はViewの作成。
CREATE OR REPLACE VIEW ビュー名たとえばelb_log_view AS
SELECT *
FROM
elb_log_tbl
これでelb_log_viewというビューが作成された。
いいなと思ったら応援しよう!
あなたにサポートができるのか・・・!