【イベントレポ】2024/12/04 イオン、東京ガス、データ・ワンが語る！大規模データを支える基盤とその活用
今回は大規模なデータを持っている3社について、大規模だからこそ見据えている戦略知れると思い参加しました。大規模ならではの観点をまとめていこうと思います。
イベント概要
本イベントは、データ基盤の技術選定に関する知見を提供することを目的としています。実際のプロジェクトに基づくデータ処理基盤やツールの選定ポイントやアプローチを通して、効率的なデータ管理や運用・保守の重要性について理解を深め、自社のデータ基盤構築に対する新たな視点を得ることを目指します。
今回は、株式会社データ・ワン、東京ガス株式会社、イオン株式会社・イオンスマートテクノロジー株式会社から３名にご登壇いただき、「１億人」や「１千万件」規模のデータを処理する基盤構築とその活用戦略についてお話しいただきます。
データエンジニアやデータサイエンティストの方はもちろん、身近なサービスの裏側を知りたい方々にご覧いただける内容です。
1億人のdポイントクラブ会員データと、1日1500万件のファミリーマート購買データの広告配信への活用。それを実現するデータ基盤
登壇者
曽根高幹大
株式会社データ・ワン
ソフトウェアエンジニア
新卒でWEB広告代理店に入社。広告やマーケティングのシステム開発を行う。入社2年目からはフィリピンセブ島に駐在。 その後、データ・ワンにエンジニアとしては一人目の正社員として入社し開発内製化に携わる。
データワンについて
購買行動に基づいて広告効果を計測できる。
広告配信のターゲットを絞ることができる。
データ基盤のアーキテクチャ
データの利活用方法
広告配信のターゲットの絞り込み
広告配信後のレポート
総括表
配信の結果どんな人が買ってくれたのかなどのレポート。
FamiliMartVision
購買データを活用することで、サイネージが設置されている店舗についてレポートを出すことができる。
課題
データワンの取り組むリテールメディアは新しいビジネスで明確な標準が存在しない。
クライアントに提出するレポートも様々。
結果としてアナリストによる手動での抽出になるため、営業担当者とのやり取りも困難
対応
必要なデータを早く参照できる状態を目指すために
過去案件を元に共通部分を型にする
データ抽出を可能な限り自動化
営業が自然言語でセルフ分析
レポート出力の自動化
管理画面から条件を指定すると裏でdigdagが動いてデータ生成を実行。Tablueauで見る。
Databricks Genieの活用
日本語で質問すれば、SQLを生成・実行、簡易的な視覚化もしてくれるサービス。
「例：2024年10月にファミチキを買ったの性別年代ごとの人数を出して。」
BIツールだと目的のダッシュボードを探す手間が増える。
全営業社員に対してアカウントを発行し、導入から3か月で8割。
QA
Ｑ.ID突合何％くらいできるのか
A.具体的な数字は出せない。現金で決済される人もいるので、数10%くらい。
Q.Databricks Genieを展開していく上での躓いた点など
A.利用開始時は、アナリストに依頼していた部分をどう代替できるか、使い方を展開していった。
Q.社内のデータ基盤の浸透について
A.データ活用の浸透という意味で言うと、広告配信してお客様にデータを出すところ。そもそもデータを活用することは会社として前提であった。実際Tableauを導入する、ツールを使うという意味だと、営業からの質問に対してツールを丁寧に紹介するのが方法。
東京ガスのデータ戦略 ～1千万件データの分析基盤 現在と未来～
登壇者
新卒で東京ガスへ入社。全社のデータ分析基盤を構築するプロジェクトに携わり、旧基盤の廃統合と運用拡大も担当。 現在は、データ分析基盤の活用部門にて、データに基づいた意思決定と戦略の立案を支援。 Tableau DATA Saberの資格を有し、データの視覚化や示唆抽出も得意領域。
会社概要
電気とガスの販売件数がNo1
脱炭素に注力
エネルギーだけでなく、ハウスクリーニングや不動産の買い取りなど
データ活用について
修理点検で行くときに資源配分最適化
電力で市場が安い時に買って、高い時に売る。そのために、機械学習を用いて取引判断
LNGの船を持っている。リソース最適化
データを活用して、売却可能性が高い売主に不動産をアプローチ
組織体制について
DX推進部のデータ活用統括グループでデータ分析基盤の整備。全社最適。
リビング戦略部のデータドリブン実装グループで、カンパニー内向けのデータ整備。個別最適。
データ分析基盤
変遷
初期
BtoCで電気ガスを営業するときに、エクセルでは足りないので基盤を構築。
「小さく速やかに始めて、使いながら育てる」をモットーに
中期
全社向けのデータ分析基盤に着手。
機密レベルに応じたデータの保管、認証認可のしくみ
現在
人材育成もあり、浸透
次世代のデータ分析基盤
アーキテクチャー
データマートを数100テーブル管理している。
データマート整備
目的として、非分析専門ユーザーでも容易に分析できるようにした。
そのために、テーブルを結合しなくても見れるようにした。
時系列で見たいものについても用意。
具体的には、顧客基本台帳で困ったらこれを見る。施策の効果検証をしたい時は過去に行った施策と反応を蓄えた。
また、AI予測でターゲティングなどに利用できる推定情報を追加。
大量のテーブルを管理するために、ダッシュボードを合わせて管理した。どんなデータがあるのか一目瞭然にした。また、アクセス状況を見ながら定期的に古いデータマートを削除した。
メタデータ管理
目的は、必要なデータを探す手間を省き、分析のスピードを上げること。データに対するドメイン知識の個人差を埋めること。
管理項目として、一般的なものに加えて、テーブル用途には、どんな利用に適しているテーブルなのか、データ利用上の注意などの説明を例示。
めんどくさいが、一番データをよく知っている人が書くこと目的が達成できる。
今後の取り組み
中央集権型から分散型へ。
なぜなら、課題としてリアルタイム性やサービスレベルに対応できないことがあった。
分散型の疎結合にすることで様々な業務要件に自由度高く対応できるようになった。
最新技術も積極活用。
QA
Q.使われていないマートの整備の管理体制は？
A.使ってもらう方の体制もある。データドリブン実装グループで勉強会を実施して、データマートの紹介をする。削除の方も同グループでやっている。ビジネスニーズが変わってくると使われなくなるので削除している。
Q.ビジネスメタを書いてもらうための工夫
A.初めは大変だった。メインになるデータマートから書いていく。そのほかは使ったときに書き足そうかなというのが工夫点。
Q.データメッシュを構成する上でメタデータ管理は重要だた、基盤ソリューションで重視した点はあるか？
A.Databricks、Snowflakeなどを見ながら選定をしている。一番実現したいものはリアルタイム性やサービスレベルを上げるところだったため、それに対応できるサービスかつ一番いいとされるもの。
イオンで立ち上げた巨大データ基盤を活用した新しい価値創造
登壇者
山﨑 賢
イオン株式会社 イオンスマートテクノロジー株式会社
イオン株式会社 CTO 兼 イオンスマートテクノロジー株式会社 CTO
新卒で大手SIerに入社。その後、Yahoo! JAPANへ転職し数々の新規サービスの立ち上げに携わる。リクルートに入社。大規模サービスの開発責任者を兼任。ゼネラルマネージャーとして組織マネジメントを実施。 その後、複数のベンチャー企業CTOを経て2023年より現職。イオングループ全体を統括するイオン株式会社のCTOとして従事。
データ基盤
イオンは約300グループある。それぞれの子会社に顧客やサービスがある。
それに対してiAEONを作って統合。IDを統合するという観点で、イオングループでお客様の行動を横で分析できるようにした。
同じように、データもアプリごとに分散していたため、データ基盤・会員基盤システムをローンチした。
アーキテクチャー
POS、会員、商品、店舗などが統合されて行っている。
おそらく日本で企業が持っているデータとしては一番
CDP(Customer Data Platform)
ウェブベースのアプリケーション。ほぼフルスクラッチ。
iAEONのお客様情報を横串に検索できる。年齢、家族構成、好みなど推察を含めて追加されていく。
分析したい観点をクロスで分析することで、そこに対してキャンペーンシナリオを作っていくことで、プッシュの自動配信やABテストをしている。
今まではマスに対していたものを、よりお客様一人ひとりに対して届けれるようになった。
stoNavi(Store Navigation)
店員が持っているアンドロイド端末。
バーコードをスキャンすると、その商品が今何個売れているのか、在庫が何個あるのか、いつ発注しなければいけないのかがリアルタイムで可視化される。
小売業界では人時がある。生産性の指標。
仮にバックヤードに行かずとも手元で在庫数を確認出来たら？それが1日5回、往復3分かかるとしたら、、、、年間284億円のコスト削減。もしくは生産性の向上。
1分1秒の削減が億円単位で戻ってくるので、注力している。
イノベーション
店舗担当者がABテストを実行できる文化になる。
良い事例を横展開していくことで、他の店舗に広がっていく。
CDPやstoNaviだけではなく、事業会社の人が自らSilverデータへアクセスを求めるようになる。
未来へ
進化
Streaming処理を強化し、リアルタイムなデータ基盤へ
データカタログ/リネージを精査して、AIによる楽手を強化
Connect
データ基盤を自社の利益のためだけではなく、お客様の企業、生産者、社会利用に昇華させていきたい
AI
stoNaviへAIエージェントを導入し、従業員一人ひとりのエージェント育成を導入したい。
QA
Q.体制
A.開発は内製、運用は一部外注。イオンの中にはいろんな機能会社がある。POS側の会社や利用側の会社が一体となって守っている。
Q.データサイエンティストは何名体制？
A.正確には測れないが、データイノベーションセンターに30人くらい。各事業会社に独自に学んでいる方もいる。
まとめ
大規模になればなるほど、少しの削減が前者では大きな生産性向上につながる事、横串での分析の強化をしていくこと、個別の要件については分散型も目指していくこと。そのために生成AIの適用がはまっていると感じました！