「データストレージとオペレーション」データマネジメント知識体系(DMBOK)第6章の解説
はじめに
表題的にはデータベースの運用のことかなと思いきや、データをどのようなシステムに蓄積するのかを考えることからが対象。
データベースシステムの企画→設計→実装→運用まで。を指しており実務的にはDWHを構築するために、BiqQueryとかRedshiftとかもしくはTeradataとか何を使うのかを選定し、データを蓄積して使える状態に保つことを行う。
この章はDMBOKの中でもシステムを知っている人じゃないと理解できない難しいところ。ベンダーとやり取りするときに丸投げにしないためにもこの章くらいは理解できるようにしておくとよい。
DMBOKの各章の要約・解説
他の章も興味ある人はこちらからどうぞ。
今すぐわかるデータマネジメントの進め方
著者のDMBOKを用いてCDO室を立ち上げデータマネジメントを推進した経験を基にデータマネジメントの進め方をまとめたkindle本を執筆しました。
データマネジメント知識体系(DMBOK)第6章「データストレージとオペレーション」について
データストレージとオペレーションとは
データストレージとオペレーションとは、格納されるデータを設計、実装しサポートすることである。データのライフサイクル全体の価値の最大化を目的としている。
データを利活用するための運用性とかコスト効率とか速度とか考えてデータベースシステムを導入して、利用に合わせてモニタリングとチューニングをすること。
これらの業務はデータベース管理者(DBA:Data Base Administrators)が行う業務であり、データマネジメントの中で最も確立されている業務である。
この章はデータベース設計の考え方であったり、設計を実現するために選択すべき技術などが書かれているが、細かい話かつ一般的な話になるので内容は割愛する。
DBAの業務
データライフサイクル全体にわたってデータの正確性と一貫性を維持し、保証する。そのためにデータを保存し、処理し、取得するすべてのシステムを設計し、実装し、利用する。DBAはこれら全ての責任を負う。
DBAの役割
ひとえにDBAと言っても範囲は広く、組織によってはそれぞれの専門的な役割を定めて、異なるIT組織に属することもある。
ありそうなのはアプリ側のDBAは開発部門へ、DB側のDBAは運用部門にわかれるということがありそう。
本番環境を担当するDBA
パフォーマンスチューニング、管理、エラー等のデータオペレーション。
データ消失に備えたバックアップとリカバリー策の実施。
サービスレベルアグリーメントに従ったデータベースの可用性の確保。
DB目線で管理・運用を行う人。
アプリケーションを担当するDBA
アプリケーションが使うすべての環境内で稼働するデータベースの担当する役割。アプリを保守するために必要なDBを維持・管理するという考え方。
アプリケーション目線でDBの管理・運用を行う人。
手続き型ロジックを担当するDBA
手続き型データベースオブジェクトのレビューと管理を主導する役割。
ストアドプロシージャ、トリガー、ユーザー定義関数という手続き型のロジック開発とサポートを行う。
ネットワーク上のストレージ管理者(NSA)
ネットワーク上のストレージの管理者、NASとかの管理をする人だと思われるが、あえて、NSAというネットワーク上のストレージ管理者を命名しているが、なぜそうしているのかは不明。
サービスレベルの設定
システムの性能、データの可用性と復旧、運用チームによる障害対応力に対する期待度は、以下の図の関係にある。
何を言っているのかというと、ビジネス的な要件はデータを管理しているビジネス系部門と、ITを管理している部門と認識を合わせてSLAを決める。
ITを管理している部門とDBを管理している部門と認識を合わせてシステム要件に対するSLAを決めるということ。
「データストレージとオペレーション」のゴール
データの価値を最大化するために必要な、ストレージを設計し、実装し、サポートされていること。
1.データライフサイクル全体にわたるデータの可用性が管理されている
2.データ資産の完全性が保証されている
3.データ処理の性能が管理されている
「データストレージとオペレーション」の進め方
データベース技術の管理
利用可能なデータベース技術を調査し、業務要件と照らし合わせてどの技術が組織のニーズを満たすのか調査する。
製品の費用がデータから生まれる価値を超えてはならない。コストを把握するために、事前にパイロットプロジェクトやPOCを行い、実際にかかるコストを把握するとよい。
ストレージ要件を定める
ストレージの要件は以下の観点でまとめる
ストレージ容量は運用開始年の初期容量見積もり、そして増加予測を行い必要な要件をまとめる
データ保存期間はデータ保存に関する規制を考慮して行う
データへのアクセス手段とツールは企業のニーズを把握し、利用者が適切なものを選択できるようにする
事業継続性の計画
災害や故障などで、データの消失や破損が起きた場合に事業が継続できるように復旧計画をたてる。
具体的にはバックアップ作成とリカバリ手順について定めておく。
データベースの実装
要件定義を行ったデータベースを実装する。
データベース性能の管理
データベースの性能を可用性と速度で管理する。SLAで定めた性能を満たせない場合は修復を試みる。
DBAは性能を監視し、劣化傾向を特定し、継続的に問題を分析できるように記録しなければならない。
テスト用データセットの管理
効率的なテストには高品質のテストデータが求められており、テストデータを管理する必要がある。
「データストレージとオペレーション」の成果物
成果物はエンジニアリング領域の文書が中心となっている。
データベース技術の評価尺度
データベース環境
移行/レプリケーション/バージョン管理されたデータ
事業継続性の計画
データベース性能オペレーションレベルアグリーメント
データストレージとオペレーションの解説動画
AI事務員宮西さんでおなじみの宮西さんと松田さんの解説動画となります。
データストレージとオペレーションについて解説しているので、動画で学びたい人は是非ご覧ください。
おわりに
自分の知識をまとめるためと今後誰かがデータマネジメントをやってみたいと思った時のきっかけとなるためにnoteを書くことにしました。
モチベーションのために役にたったという人はぜひ、フォロー&スキをお願いします。
ツイッターでもデータマネジメントに係る情報をつぶやいてますので、よろしくお願いします。
データマネジメントを学ぶ人が抑えておきたい本
今すぐわかるデータマネジメントの進め方
著者のDMBOKを用いてCDO室を立ち上げデータマネジメントを推進した経験を基にデータマネジメントの進め方をまとめたkindle本を執筆しました。
データ組織立ち上げ編 AI事務員宮西さん
著者のデータ組織の立ち上げ経験をマンガ+コメントでまとめてみました。立ち上げ編は組織を立ち上げてやることが決まるまでのストーリーです。
無料公開のため0円となります。
データ組織の立ち上げに関係する方は是非読んでみてください。
DXを成功に導くデータマネジメント
DXを成し遂げるために必要なデータをどうマネジメントしていけばよいかが書かれている。
データ環境より、セキュリティの観点であったり、プライバシーの観点であったりといった非技術者向けの内容が多く書かれている。
データマネージメントに興味を持った人はまずは読んでみるとデータマネジメントでなすべき概要が理解できる。
実践的データ基盤への処方箋
データ利活用を行うために必要なデータ基盤の考え方と、利活用するためにはデータをどのようにマネジメントしていけば良いかを具体的な例を用いて説明されている。
技術が中心になるので現在データ技術に係る人がデータマネージメントに興味を持った時には、まず手に取ることをおすすめする。
個人データ戦略活用 ステップでわかる改正個人情報保護法実務ガイドブック
個人情報保護法を順守するための基本的な考え方が実務ベースで書かれている。2022年4月に施工される改正個人情報保護法で新たに追加される概念も同様に記載されている。
政府の出しているガイドラインよりも俯瞰的に読めるためデータプライバシーにかかわる人、データを使ったビジネスを推進する人は読んでおくとスムーズに業務が進められる。
データマネジメント知識体系ガイド(DMBOK)
自分も要約・解説記事を書いているDMBOK。データマネジメントに興味を持った人がまず手に取ると挫折することは間違いないほどのボリュームがある。
読めば読むほど味が出てくるので、データマネジメントを進めようとしている人は各家庭に1冊は是非買っておきたい。
データマネジメントが30分でわかる本
著者もDMBOKを読むためには非常にボリュームが多く読み解くには苦労するので、かみ砕いた解説書をまとめたと書いてある通り、DMBOKを独自解釈してわかりやすく書かれている。
DMBOKを技術者目線で読み解いた内容になっているので、実践的データ基盤への処方箋と同様データ技術に係る人におすすめする。