見出し画像

datatech-jp Casual Talks #6 レポート

よしむら＠データマネジメント担当

datatech-jp Casual Talks #6 レポート

恒例のdatatech-jpのLTシリーズです。今回もレポート書きます。

過去のdatatech-jp Casual Talksレポートはコチラからどうぞ

なぜfreeeはハブ・アンド・スポーク型のデータメッシュアーキテクチャにチャレンジするのか？

発表者

城谷 信一郎

発表資料

概要

freeeの説明から。Saas型の会計アプリケーション。
データを横軸で統合する事で業務の効率化を目指している。
経営からはデータやAIに対する成果の期待値は高い。

プロダクトの拡大、データ分析にとどまらず、ダイレクトマーケティング、業務利用に使いたいというニーズが増えてきた。

従来のデータ基盤では近年のデータ量の増加、ニーズの変化に対応しきれなくなってきた。機会損失が増えてきた。

データ基盤をデータメッシュにし、データ組織をトポロジー型組織に変えることで課題解決を試みた。

freeeのデータメッシュアーキテクチャ図

データアーキテクチャを刷新することで、今までできなかったニーズに対して対応できるようになった。

感想

セキュリティを最優先にするのか、ビジネスとのバランスを取るのかは時代と状況によって変わっていくので、どうしても行ったり来たりしちゃうんだろうなと。

アーキテクチャはある程度の期間がたてば、ある程度大規模に刷新していった方がいいのだと思うのだけど、短期間過ぎると一生構築作業をしているだけになってしまうので、そのバランスは難しいなと思っている。

経営から投資を引き出すためには成果を示すのが重要なので、そこはちゃんとやりましょうという事で、同意ですね。

なお、城谷さんとは、先週くらいに会った気がした。

dbtで家計簿アプリ作ってみた

発表者

ゲンシュン

発表資料

概要

自己学習としてのデータエンジニアリング力の上げ方。

dbt＋terraform+BigQueryみたいな技術スタックを使って家計簿アプリから出力したCSVを可視化してみたらしい。

ついでにクレンジングして家計を分析して、MLを使って来月の出費を予測して見たりして、それっぽいものを作った。

最近はいろんなツールも出ていて、使ってみてわかることもいっぱいあるので、せっかくなので使ってみると面白いよ！！！

エンジニアは日曜プログラミングが盛んだけど、データエンジニアもできるから、みんなやってみようぜ！

感想

アプリケーションエンジニアが日曜日にアプリ開発というのは、よくある話かと思うが、データエンジニアはどうやって勉強するのかというので、テーマを作るのが面白い。

自分は昔JRAのデータを使って、競馬の予測をしてみたことがあって親しみを感じた。

データエンジニア目指す人はこういうテーマがあるんだってことを覚えておくと面白そうであり、転職に役立ちそう（笑）

仕事だといろんな制約があってできないことも多いので、無駄に技術を使って趣味として使ってみるのは面白いってのはめっちゃ同意。

みんな、趣味として技術ネタやろうぜ！というのは自分も賛成で、みんなnoteとか本とか書こうぜ！

データ基盤におけるIaCの重要性とその運用

発表者

六車 光貴

発表資料

概要

ナウキャストはデータのクレンジング＆仲介をしている会社。

データ基盤の運用を効率化するためにはIaCの導入が重要であり、重要性を整理したい。

データ基盤は多様なシステムと連携してデータを取得し、データの量も大きいためスケーラビリティのあるシステムである。
データが集まっている特性上ガバナンス、セキュリティ、アクセス権等の守りの施策も重要。

そういう特性を持つデータ基盤にはIaCの利用が合っている。

データ基盤を触る人は、データエンジニアだけじゃなくて、サイエンティスト、アナリストもいるのでAtlantisやtfcmtを使うなどハードルを下げることは重要。

感想

プラットフォームの保守性を高くすることは重要、というのは自分もすごく実感していて、プラットフォームチームがベースを整備して、利用者がそのルールに則って利用すれば保守性が高くなるというのは良いね。

エンジニア以外にもAtlantisを使えば利用のハードルを下げられるというのは持って帰ろう。

知られざるDMMデータエンジニアの生態〜かつてツチノコと呼ばれし者〜

発表者

高橋 慶

発表資料

概要

DMMのデータ基盤には金融以外のデータが入っている。
データエンジニアの技術スタック

DMMのデータエンジニアの技術スタック

Slackに情報が流れてくるようにしていて、固定のナレッジはコンフルエンスを使うという感じで業務フローを作っている。

説明を聞く感じはそんなに変わったことは無いのだけど、実際入ってみたら盛り上がりは感じられそう。

感想

冒頭、コミュニティにコミットすると、人と情報が集まってくるということを言っていたのだけど、自分も同じような動きをしているので実感している。

Gatherってバーチャルオフィスツールを使っているらしいのたけど、面白いのかな。ちょっと興味ある。

データキャリアパス参考例 -がっつり系BIアナリストがなんか色々あってデータマネジメントコンサルタントになった理由

発表者

ぼー/データ頑張リスト

発表資料

＜見つけたら追加する＞

概要

アナリストからデータマネジメントに進んだというあまりなさそうなキャリアパスについて説明。

アナリスト→アナリティクスエンジニア→データマネジメント
というキャリアを進んでいる。

最初はTableauを使ったデータアナリストをやっていた。
整えられたデータを使って、BIツールを使って可視化、分析をしていた。

この時はダッシュボードのデザインにはまっていた。
が、デザイン以前の問題（＝データ品質）に躓くことが多かった。

その解決のために、ローコードETLツールを使って、GUIベースでデータ加工を身に着けた。パズル感覚で楽しくやっていた。
が、処理が重くて大容量のデータを処理できないという事に躓いた。

最後はデータ基盤側でSQLを使って加工するようになった。
やっているとハマるタイプなのかもしれない。

このような流れでやっていて、技術力は身についていったがデータは汚く本質的な問題解決ができていると思えなかった。

データカタログに手を出した。
が、ビジネス的な課題は解決されなかった。

テクノロジー起点で考えてきて、テクノロジーを正しく使えば解決できることはわかるが上手くいかず、人が起点という事に気が付いてきた。

そんなこんなで、データ戦略の仕事に転職し、テクノロジーからより問題の根幹である人・組織の問題に切り込んでいっている。

悲しみの連鎖を断ち切る活動を目指して動いています。

感想

テクノロジーの人が人・組織の世界に飛び込むともどかしくてしょうがなくなりそう。

だって、テクノロジーは命令通り動くけど人は命令通り全く動かないので、辛抱強さや作戦が大事になってくるから。

自分はそういう人や状況によって作戦を考えて、全体最適化を考えて動くのが好きなので、データマネジメント担当というのは性に合っているなという気はした。

ぼーさんとは確か2023年の夏コミで会った気がした。

15分でわかるデータ分析者のためのディメンショナルモデリング

発表者

ゆずたそ

発表資料

概要

ディメンショナルモデリングを説明する前に、ビジネスにおけるデータ分析とは何か？
という事を話して、そのためにはディメンショナルモデリングが必要だよねって話をします。

ディメンショナルモデリングを勉強したい人には必読なので、興味ある人は読んでね。

意思決定するためには定量化して、比較するという行為を行う。
ビジネスでも同じで、KPIに対して何が不足しているのかを定量指標で見て、施策を検討していくのは通常の流れ。

そして、例えば売上という指標を何を、いつ、どこでという軸で分解していくことで詳細を比較できる。

ディメンショナルモデリングとは、集計対象に対してどういう分析軸で整理するのかを行う技術の事を指す。

このプロセスを整理する手法そのものが「データ分析の要件定義」にあたる。
それをデータベースのテーブルまで作ることをディメンショナルモデリングという。

データベースのテーブルまで作ると、簡単なSQLで対象を抽出することができるようになる。

ディメンショナルモデリングという考え方を知っていると、データ分析の要件定義とそして、テーブル設計の材料となる。

ゆずたそさんが紹介している本はこちら。

感想

頭の回転に口が付いていかない感じがゆずたそさんっぽくて好き。

データモデリングから話すのではなくて、大上段から話すので話が入っていきやすい。

内容に対して時間が足らなさすぎるので、とりあえず本を読もうという気になったので、LTとしては成功だと思った（笑）

上にも載せているが、スライドは充実しているのであとでしっかり読もう。

ゆずたそさんとは2年前くらいに会った気がした。

おわりに

自分の知識をまとめるためと今後誰かがデータマネジメントをやってみたいと思った時のきっかけとなるためにnoteを書くことにしました。
モチベーションのために役にたったという人はぜひ、フォロー＆スキをお願いします。
ツイッターでもデータマネジメントに係る情報をつぶやいてますので、よろしくお願いします。

データマネジメントを学ぶ人が抑えておきたい本

今すぐわかるデータマネジメントの進め方
著者のDMBOKを用いてCDO室を立ち上げデータマネジメントを推進した経験を基にデータマネジメントの進め方をまとめたkindle本を執筆しました。

データ組織立ち上げ編 ＡＩ事務員宮西さん
著者のデータ組織の立ち上げ経験をマンガ＋コメントでまとめてみました。立ち上げ編は組織を立ち上げてやることが決まるまでのストーリーです。
無料公開のため0円となります。
データ組織の立ち上げに関係する方は是非読んでみてください。

DXを成功に導くデータマネジメント
DXを成し遂げるために必要なデータをどうマネジメントしていけばよいかが書かれている。
データ環境より、セキュリティの観点であったり、プライバシーの観点であったりといった非技術者向けの内容が多く書かれている。
データマネージメントに興味を持った人はまずは読んでみるとデータマネジメントでなすべき概要が理解できる。

実践的データ基盤への処方箋
データ利活用を行うために必要なデータ基盤の考え方と、利活用するためにはデータをどのようにマネジメントしていけば良いかを具体的な例を用いて説明されている。
技術が中心になるので現在データ技術に係る人がデータマネージメントに興味を持った時には、まず手に取ることをおすすめする。

個人データ戦略活用 ステップでわかる改正個人情報保護法実務ガイドブック
個人情報保護法を順守するための基本的な考え方が実務ベースで書かれている。2022年4月に施工される改正個人情報保護法で新たに追加される概念も同様に記載されている。
政府の出しているガイドラインよりも俯瞰的に読めるためデータプライバシーにかかわる人、データを使ったビジネスを推進する人は読んでおくとスムーズに業務が進められる。

データマネジメント知識体系ガイド（DMBOK）
自分も要約・解説記事を書いているDMBOK。データマネジメントに興味を持った人がまず手に取ると挫折することは間違いないほどのボリュームがある。
読めば読むほど味が出てくるので、データマネジメントを進めようとしている人は各家庭に1冊は是非買っておきたい。

データマネジメントが30分でわかる本
著者もDMBOKを読むためには非常にボリュームが多く読み解くには苦労するので、かみ砕いた解説書をまとめたと書いてある通り、DMBOKを独自解釈してわかりやすく書かれている。
DMBOKを技術者目線で読み解いた内容になっているので、実践的データ基盤への処方箋と同様データ技術に係る人におすすめする。

いいなと思ったら応援しよう！