BigQuery を利用した視聴データのリアルタイム ダッシュボード構築〜Google Cloud Next'19 in Tokyo〜

Google Cloud Next'19 in Tokyoまとめはこちら（その他のGCN19のセッションへのリンクもこちらの記事から飛べます）

【このnoteで言っていること】
・テレビ局がインターネットに接続されたテレビデバイスのどんなデータを取ってどう活用しているか
・無料だが、かゆいところに手が届きにくいGoogleデータポータルを如何に使うか
・ダッシュボードを使われるようにするためには

このセッションを選んだ理由

・テレビとインターネットは、広告業界の立ち位置的にはライバル的な印象があるが、Googleというネット広告の王者がどういった形でボーダレスな価値を提供しているのか興味があった。
・業務でGoogleデータポータルでダッシュボードを作成しているため、他の人がどのようにダッシュボードを作成しているのかに興味があった

真のセッションタイトル

「Google Cloud Platformのソリューションを活用したらエンジニア１人１人月で保守性が高くスケーラブルで日本一速い(当社感想)テレビ視聴ログのリアルタイムダッシュボードを作れた話!と苦労話」

テレビ局が持つデータとは

データ戦略：全ての部署がいかに視聴者に番組を見てもらうか考える
「編成・制作」視聴者の特性や好みを把握して番組の質の向上
「宣伝・営業」CM出稿最適化
「サービス」放送とデジタルメディアを組み合わせた新しい視聴者サービスの開発

テレビがインターネットに接続される時代(テレビ端末のインターネット決戦率は関東圏で33.6%〜36.5%程度)である現在、視聴率以外のデータが放送局で取れる。
視聴時刻・テレビ端末ID・IPアドレス・郵便番号etc

今まではこれらをバッチ(非リアルタイム)で処理していた。
⇒これからはリアルタイムで視聴データを解析して、それをソーシャルとかで活用したい

Googleデータポータルについて

・Googleが提供している無料で使用可能なBIツール
・GoogleスプレッドシートやBigQueryをデータソースとして、ダッシュボードを作成可能
・Connected sheetsという新機能
→Google スプレッドシートからBigQueryに対してクエリを投げ、結果をグラフ化できるスプレッドシート。数クリックするだけでBigQueryのデータをスプレッドシート上のダッシュボードとして可視化できる。
・かゆいところに手が届かないことが多い
①分単位でグラフの横軸を指定したいが、Date,Timestampのフィールドだと分をグラフのディメンションとして指定できない
⇒MMDDhhmm形式でTextフィールドを用意して並びで軸でディメンションとして調整。
②データポータルのデータ更新頻度が最短で1時間。Chrome拡張機能「Data Studio Auto Refresh」を使っても最短1分。
⇒秒単位で指定して再読み込み可能なChromeプラグインを開発した。

その他の障壁
・テレビデバイスのUAに紐づく端末情報（○○というUAは△△社製のXXインチetc）は世の中に存在しない
⇒スプレッドシートで手動メンテ

紆余曲折を経てリリース完了

荒削りでも良いので、迅速にプロダクト化し、フィードバック→改善 のループを素早く回していくことが大事。

データの民主化や浸透は重要。そのためには研修やハンズオンよりも、データを使って結果を出してもらうことが一番大事
そのためにデータ活用のハードルを徹底的に下げることが重要

まとめ

・テレビ局にもデータサイエンティスト的なエンジニアがおり、インターネットに接続されたテレビの情報を解析している
・荒削りでも良いので迅速にプロダクト化してみてから、フィードバック→改善のループを素早く回していくことが重要
・手動でやったり、ないもの作っちゃえ精神でコミットすることも時には重要
・データ活用の文化形成にはユーザ自らがデータ活用して結果を出すという体験をさせることが大事

このセッション動画はGoogle Cloud Japanが公式に動画をアップロードしているので、興味を持たれた方は是非ご覧ください。

おまけ

登壇した段野氏的にテレビ東京の印象は上記で合っているとのことです。笑