開発コラム：データマートの作り方と活用事例
段々と暑さが収まり、秋の涼しさを感じる朝晩が多くなってきました。
秋は、大気が乾燥することにより、不調が出やすい時期と言われています。
水分補給や適度な運動を行い、体調に気を付けましょう！
さて、今回の開発コラムは「データマートの作り方と活用事例」です。
データ可視化、データ利活用などを担当している、デジタルビジネス開発部のNです。
今回は「データマートの作り方と活用事例」についてご紹介します！
※本記事は2024年10月時点の情報です。
はじめに
企業では日々の業務活動に伴い、膨大なデータが蓄積されています。
蓄積された大量のデータを活用することで、現状を把握し、課題を抽出し、今後の業務改善に繋げることは、企業活動において非常に重要なこととなっています。
ただし、大量のデータを使って実際にデータの分析・可視化を試みると、
・必要としていないデータが大量にある
・パフォーマンスが悪い
などの課題が発生することが多々あります。
これらの課題を解決するため、データの貯蔵庫であるデータウェアハウスから、「特定の目的に特化したデータ」を抽出した「データマート」を作成することで、効率的に分析・可視化が実現できます。
データマートとは
データマートの定義
企業などで情報システムに記録・蓄積されたデータから、利用部門や用途、目的などに応じて必要なものだけを抽出し、集計し、利用しやすい形に格納したデータベースのこと。「マート」(mart)は「小売店」の意。
データウェアハウスとデータマートの違い
データマートに似た言葉として「データウェアハウス（DWH）」があります。データウェアハウスとデータマートの違いを見てみましょう。
データマートを利用する目的
データを可視化・分析する上で、データマートは必ず作成しなければならないというわけではありません。
生データのままでは分析は難しいですが、データウェアハウスまで作成されていれば十分なケースも多々あります。
ここでは、データマートを作成する目的について以下の観点で解説します。
利用者の観点
○ データの構造がわからないと・・・
BIツールを使ってデータを分析しようとデータウェアハウスへ接続してみたものの、データの構造が分からないため、目的のデータを得ることができない。
せっかくBIツールでデータを抽出したのに意図したデータではない。データの構造が分からないと、テーブルの結合や適切な絞り込みができません。利用者に適切なデータを提供するためには、目的に応じたテーブルの結合や絞り込みで作成されたデータマートを公開することが有効です。
○ BIツールだけでは目的の指標が作成できない
BIツールで計算項目を作成できることは知っているが、計算が複雑で目的の指標が作成できない。
複雑なデータ加工を要する場合、BIツールだけで実現するには限界があります。データウェアハウスから分析の目的に応じて事前に加工したデータマートを用意することで、利用者側の分析ニーズに応えることができます。
パフォーマンスの観点
○ ダッシュボードの表示に時間がかかって業務に使えない・・・
毎回ダッシュボードの表示に時間がかかって、これだと業務に使えない！！
ダッシュボードに表示されるデータは少ないのに何でこんなに時間がかかるの？
ダッシュボードの表示に時間がかかる原因として「複雑な結合が発生している」「検索対象のテーブルにおけるデータ件数が多い」といったことが考えられます。そのようなパフォーマンス改善の解決策としてもデータマートの作成が有効です。
複雑な結合が発生しているのであれば、結合によるパフォーマンス劣化を回避するために結合済みのデータを作成したり、データ件数が問題なのであれば、予め適切な粒度に集約したデータをいくつか作成しておくことが考えられます。
代表的なデータ構造
スタースキーマ
スタースキーマとは、データベース内のデータを整理することで理解・分析しやすくなったデータモデルで、データウェアハウスやデータマートに適用できます。
主要な数値データを格納する「ファクトテーブル」とファクトテーブルに関連する詳細な情報を格納する「ディメンションテーブル」の二つで構成されます。
ファクトを中心にディメンションがファクトを取り囲むように配置されているため、そのデータモデルの形が星形に見えることから名付けられています。
スタースキーマのメリット
結合を減らすことでクエリのパフォーマンス向上が期待できる
シンプルで直感的なデータ構造となっているので比較的分析に取り組みやすい
新たなディメンションテーブル（分析軸）の追加が容易で拡張性がある
大福帳
大福帳とは、主要な数値と集計・分析する際に必要となる属性情報がすべて用意されているデータ項目が横一列に並ぶフラットなデータモデルのことです。
分析軸となる属性情報も階層化させて複数項目持つようなデータにしておくことが推奨されます。
大福帳のメリット
結合が発生しないため、クエリのパフォーマンス向上が期待できる
1つのテーブルに必要な情報がすべて用意されているので分析に取り組みやすい
データ発生時点の属性情報で分析することができる
データマートの作成方法
基本的に、データマートはデータウェアハウスからデータを抽出して作成することになりますが、作成方法として以下が挙げられます。
VIEWで実装
最も簡単な方法は、データベースにVIEWを作成することです。
例えば、利用者にデータの構造を意識させずに分析していただきたい時など、目的に応じて予めテーブルを結合し、必要な項目だけを抽出したデータをVIEWとして提供することができます。
注意点として、加工したデータそのものを保持しているわけではなく、常に最新の属性情報が取得されるため、データ発生時点の属性情報で分析することはできません。
プログラムを開発
複雑なデータ加工が発生する場合、VIEWで実装することは困難なため、プログラムで加工処理を行い、テーブルに加工済みデータを格納します。
この方式であれば、データの更新要件にもよりますが、データ発生時点の属性情報を保持して分析に活用することもできます。
データマートの活用事例
下図はデータウェアハウスにあるデータを元にデータマートを作成して業務改善へ繋げるフロー図です。
① データウェアハウスからデータマートへ
例えば、特定製品の分析が目的の場合、データが大量に格納されているデータウェアハウスから直接データを参照すると不要なデータが多く非効率です。
そのような場合には、データウェアハウスから特定製品のデータだけを抽出し、目的別のデータに加工整形して、利用しやすいデータの形式であるデータマートを作成します。
データマートには適切な参照権限を設定するなどの考慮が必要になります。
② BIツールでデータマートのデータを分析・可視化
BIツールとは、企業が持つ様々なデータを分析・見える化して経営や業務に役立てるソフトウェアのことを指します。
データマートのデータをそのまま見るのではなくBIツールを利用して集計やグラフ化することで、現状の課題や業務の傾向を把握しやすくなります。
③ 業務へ適用
BIツールで分析したデータを理解して業務改善へ繋げます。
おわりに
今回の記事では、データウェアハウスを直接利用してデータの分析・可視化を試みると発生する課題を解決するため、データマートの作成方法と活用事例について紹介しました。
特定の部門や目的に合ったデータだけを格納した利用しやすいコンパクトなデータマートを作成することで、効率的にデータを分析・可視化することができるようになります。
ぜひデータマートを作成して有効に活用しましょう。
キヤノンITソリューションズでは、AIツールやBIツールを活用した、お客さまの状況やニーズに適したデータ活用や分析の支援を行っております。最適なツールの導入やカスタマイズ等も行っておりますので、なにかお困りごとがございましたら、お気軽にご相談ください。
※本記事に記載されている会社名、製品名は、それぞれの会社の商標または登録商標です。
★―☆。.:*:・゜――――――――――――――――――――――――
キヤノンITソリューションズ 公式Webサイト
キヤノンITソリューションズ BI製品ページ
開発コラムのマガジンはこちら