データドリブン経営の推進⑥：データ基盤の構築・整備
本日のテーマはデータ基盤です。
前回はデータマネジメントをテーマに取り上げ、データ基盤との密接な関係があることをお伝えしました。
ここでは、データ基盤を構築する技術的な要素というよりは、なぜデータ基盤の構築・整備が必要になったのか、全社的なデータ活用を推進する観点から、また、データマネジメントと連動させ、どの様な環境を目指して整備を進めているかをお伝えします。あくまでも一例として読んで頂ければ幸いです。
１．既存データ基盤のユーザビリティ課題
今までもデータを集約・蓄積するデータ基盤（DWH：Data Ware House）を利用してきました。また、集約したデータを活用するための活用側のプラットフォーム（3rdPartyデータ、ETLツール、BI基盤などをプラットフォーム化したもの）やAI・機械学習モデルを作る活用環境もありました。
通信事業を営む当社にとって、情報セキュリティの確保は非常に大切な要素です。過去の様々な課題から、情報を取り扱う多様な業務に携わる社員がオペレーションミスを起こしても、二重・三重のチェック機能が働き、セキュリティ事故が発生しないような社内ルールが整備されています。
一方で情報セキュリティを最重要視したシステム整備・運用・ルール整備を行ってきたことで、業務運営そのものが煩雑になったり、各種システムが使いやすいものになっていないことも発生していました。
特にデータを集約するデータ基盤は、セキュリティをガッチリ固めた作りになっていたことで、ユーザビリティが悪く、使いにくいという声が多く寄せられていました。
課題①：データ基盤（DWH）の使い勝手の悪さが顕在化
社内データが集約されるデータ基盤のDWHは、顧客データを始めとする社内の各システムのデータが連携されています。社員はデータを抽出する際には、個人PC端末からDWHに接続できず、データ抽出可能なガラス張りの部屋で上長（情報取扱い責任権限を持つ管理者）とともに入室し、承認を経てセキュリティ機能付きのUSB端末に抽出するという運用になっていました。
社内ネットワークが、個人PCを接続するネットワークと業務システムを接続するネットワークとで分離されていたための運用です。
もちろん、社員からは使いにくいという声は以前から上がっていましたが、近年、リモートワークの働き方なども進み、出社しないとデータが抽出できないなどその声は大きく切実なものになってきました。
また、業務システムが1つ増える（又は更改・改修がある）都度、DWH側の相応のデータベース開発が必要となり、システム戦略の面からもボトルネックになっていました。
課題②：BI基盤などの活用システムが散在
活用側のシステムは、分析ニーズに応じて最適なものを活用する必要があります。
一方で、データ活用が進むと組織共通で使える活用システムがあると、スキル育成などを組織横断的に進めることができ、また、データそのものやデータマートの共有、ユースケースの水平展開がしやすくなります。
社内で共通的に使われて始めている活用側のシステムとしてTableau（セルフサービスBI基盤）がありますが、TableauのBI基盤（TableauサーバやTableauCloud）は各組織で契約し運用しており、社内に様々な環境が散在している状況でした。これは一部現在も続いています。
BI基盤が散在することで、ライセンスの重複が起こり、１人の社員が複数のBI基盤にライセンス（Viewerライセンス）を持っている状況なども発生していました。また、各組織で環境の運用管理を行っているので、TCOの観点でもムダがあると考えていました。
何より、BI基盤が散在することで、データ基盤（DWH）側とのデータ連携やデータパイプラインが作られておらず、データ活用する際には、DWH等から上長承認のもとcsvやExcelでデータを抽出し、自らのPC上（TableauDesktopなど）で分析しパブリッシュするという使われ方になってしまっていました。これでは、データやダッシュボードも共有化・有効活用されません。
課題③：データパイプライン整備が進まない（①②課題に関連）
一番の課題はデータパイプラインの整備が進まないことでした。これは上述のデータ基盤やデータ活用側システムの課題の帰結として発生しているものです。
データ活用側システムまで含めたデータパイプラインが作れていないと、csvやExcelでデータを抜き出し加工・活用するので、その後のデータがどこでどう使われているかも把握・管理できません。情報セキュリティの重要性を述べましたが、抽出された後のデータは管理簿等の手運用で管理していくため、再利用されてしまうリスクや適切に廃棄されているかなど、システム的なガバナンスが利かない領域に入ってしまいます。
何より、データが使いやすい状態になっていないことで、データ活用者がデータ分析を始めるまでの時間や手間がかかりすぎて、結果としてデータ活用が進まない、データドリブン文化が根付かない大きな要因となります。
何故このような状態になっていたのかについては、データマネジメントの取り組みに着手した際の課題と同様に、これまで各組織が自分の持っている業務データを分析するだけだとこの様なシステム環境、運用で何とか回っていたということかと思います。
組織横断で持つデータを掛け合わせた活用が始まるにつれ、課題が大きくなってきた側面があると思います。正にデータ基盤もデータマネジメント同様に企業や組織のデータ活用の成熟度とともに整備を進めていかなければいけない領域と言えます。
２．データ基盤の整備方針の検討
上述の課題から、データ基盤を整備するプロジェクトを立ち上げ検討していくことにしました。当時のDWHなどはEoLがまだ先にあったことから、何をどういう順番で整備していくのか、どういうものを作っていくと良いのかが全く整理・共通認識化できていませんでした。
潤沢な機能の巨大なデータ基盤のシステムを作った結果、社内にあまり使われないものになっていまうといったことは避けたいと考えました。
課題起点で効果を出しつつ、未来のあるべき姿を描いて着実にそれに向けた整備を進めて行くというアプローチを取るため、オンプレ型で機動力のないシステム構成ではなく、機能やスケーラビリティの拡張性・柔軟性が担保できるクラウドベースの技術を用いたモダンデータスタックの考え方を採用し、様々な社内のデータサイエンティストが活用できる基盤としていくことを意識しました。
検討①：散在するセルフサービスBI基盤の統合
先ず課題が明確化し効果が出せるところから実施していく必要があると考えました。全体的なデータ基盤のアーキテクチャに影響を及ぼさない範囲でTableauのBI基盤の統合プロジェクトを進めました。
統合することによるライセンスやTCOの最適化。加えて、Tableau基盤内でデータやダッシュボードの共有化が図りデータ活用の効果を早期に出していけると考えました。基盤統合によりDWHなどのデータ基盤側とのデータ連携も進み、データパイプラインを整備しやすくする狙いもありました。
検討②：データ基盤の全体像（グランドデザイン）の見直し
上記と並行して、データ基盤を将来を見据えてどのようなあるべき姿に持っていくか、そのグランドデザインをロードマップとともに検討しました。
本検討は、先に述べたデータマネジメントとも連動して進めました。データ基盤の整備で実現したいこと、データマネジメントの取り組みの狙いがデータ活用におけるUXを高めるという点で非常に近い領域であることから、バラバラに検討するものではなく、整合性を取るべきだと考えたからです。
検討③：ユースケースと連動したデータ基盤の刷新
データマネジメントの取り組みでも、Small Start ＆Quick Winのアプローチを取りましたが、データ基盤の将来のグランドデザインを描くにあたっても、整備段階に応じてデータ活用における効果を出していくことを意識し、課題起点とあるべき姿の両輪で検討を進めました。
特に、データ基盤の機能改善の検討では、その機能改善によりどの様なユースケースでどんな効果創出ができるのかを意識し、PoCとして効果検証を行いながら進めました。
選定したユースケースは、経営課題となっているCX向上やEX向上につながる、又は経営インパクトのある売上増・コスト削減効果が見込めるものを選定しました。
技術ドリブンで基盤整備を進めてしまうと、開発側が入れたい機能などが優先されてしまいますが、ユースケースドリブンで進めたことで、結果として、使われる機能を優先的に具備する検討が進められたと考えます。
もちろん、このユースケース選定が肝だったわけですが、良いユースケースを選定できると、自ずと今までのデータ活用のユースケースにはない、新たな技術要素やデータを用いることとなり、実現するための基盤機能へブレイクダウンされていくという流れで進めることができました。
３．データ基盤の整備によって目指す姿
データ基盤の整備は、一言で言うと『データ活用をするデータ活用者のUXを高める』ことであり、『セキュリティなどのガバナンスを利かせながら』、『今まで以上にデータ活用を進めやすくする』ことが目的になります。
これは、データ基盤やデータ活用環境を用いて、データパイプラインを整備し、データそのものや分析ダッシュボードを分析ノウハウやナレッジとともに共有資産化することで、全社的なデータ活用を進めて行く事に他ならないと考えます。これらをセキュリティやデータマネジメントのガバナンスを利かせながら効率的・効果的に進めて行くプラットフォームになります。
データ基盤を構築・整備していくこと自体がゴールではなく、上記を目指してデータ活用状況に応じた改善と、確り効果を出していくための運用も立てつけていく必要があるということになります。
ですから、データマネジメントと密接な関わりがある取り組みで、双方の取り組みを連動させていく必要が出てくる訳です。
４．データ基盤構築のROI算出はできない
データ基盤の投資対効果（ROI）は明確には算出できません。
データ活用はデータを分析・活用して初めて価値が出るので、ITのようにシステム構築前から明確な効果は算出できないものです。
とは言え、概ねの会社にとって、データ基盤の整備は経営層の意思決定が必要となり、加えてステークホルダ（株主や監査役・社外取締役など）への説明も必要になるでしょう。
全社で活用する基盤でもあるため、データ基盤を整備していく効果・意義については、しっかりと社内にも明示していく必要があると考えます。
その為には、日ごろからデータ活用における各種活動や効果をできるだけ定量的に把握していくことが大事です。
例えば、データ活用の事例と、その案件でかかった社員稼働、創出した利益増効果などをいくつかでも定量化できていると、データ基盤の整備による効果・意義が示しやすくなります。
将来のデータ基盤整備による効果の明示は難しいですが、データ活用による創出効果のリアリティが増すのではないでしょうか。
５．データ基盤開発の意思決定
データドリブンの世界は、分析してみて初めて価値がどの程度出せるかわかるので、効果を示すことに苦労することが多いのは、いつも様々な企業のデータ活用推進者と話す際には話題になります。
データ基盤の整備については、これまでの活動で出した効果などをまとめ、定性的な根拠なども交えながら、社内の仲間づくりなどを進めたうえで、経営幹部の賛同を得て後押しをもらいながら意思決定をしていく事になると思います。
前述の通り、ROIを示すことは難しいので、定性的な効果・部分的な定量的な効果を織り交ぜて効果と意義を説明していく必要があります。
意思決定プロセスは各社各様でしょうが、必ずデータ活用は経営層にも応援者となって頂ける方はいると思いますので、仕事だからやるということではなく、情熱や想いを持って進めて頂けると良い結果につながるのだと思います。