合同勉強会の開催レポート - タイミー × マネーフォワード -
こんにちは。マネーフォワード 分析推進室の yuu_kimy です。
先日の10/24(火)、タイミーさんと合同勉強会を開催しましたので、そのあらましをレポートしたいと思います。
きっかけ
前回のRettyさんとの合同勉強会のことをタイミーの土川さんにお話したところ、僕らも一緒に勉強会をしませんか〜と自然に会話が進み、こうして合同勉強会が実現しました！！
普段の業務では、社外の方と接点が少ないので、こうした繋がりは本当にありがたいです。
データ界隈で頻繁に登壇されている土川さんに合同勉強会の話を頂けて、本当に感謝しています。
勉強会当日の流れ
当日は、タイミーさんとマネーフォワード(以下MF)のデータ系チームが参加するクローズな形式としました。時間の調整の都合もあり、今回はオンライン形式としました。
今回の勉強会では、dbtの活用に関して、現状の取組みや悩み等々を発表して、その後に、フリーディスカッションする流れで実施しました。
それでは、当日のダイジェストをお伝えしたいと思います。
自己紹介ワンシーン
恒例の自己紹介タイムを設けていたのですが、X(旧Twitter)では、既に繋がりがあるものの、リアルでは初対面の方も多く、とても楽しかったです。笑
発表1: タイミー 大越さんの発表
タイトルは「データアナリストがdbtを触ってみた」で発表頂きました。
大越さん自身は、dbtでの開発経験はないとのことでしたが、社内の有識者に聞いたり、ドキュメントを読み込んだりして、dbtを活用したデータモデリング開発を実践されているようでした。dbtによるモデリングをしっかりと行い、Lookerからそのテーブルを接続するような環境を提供されているのは流石と感じた次第です。
発表2: MF 奥野さんの発表
タイトルは「マルチテナント分析基盤について」での発表でした。
MFでは、従来、部門横断組織である分析推進室が分析環境(特にデータマート整備)を担ってきましたが、関わるビジネス部門やプロダクトが多く、その全てに対して、分析環境を開発・整備するのは厳しくなってきました。
その対応案として、モノリシックな分析基盤ではなく、マルチテナントな分析基盤へのシフトを検討しています。
MFにおけるモノリシックな分析環境による課題、マルチテナントな分析環境の導入に関する課題の両方から発表頂きました。
発表3: タイミー 大河戸さんの発表
タイトルは「dbtジョブ分割実行について色々考えた話」で発表頂きました。
タイミーさんが運用しているdbt Cloudで発生しているタイムアウトの問題と対応案についての発表でした。
MFでは、dbt Cloudをまだ導入していないので、タイムアウト発生という事象そのものが新鮮でした。タイムアウトを解消するために、dbtのジョブをビジネス要件を踏まえて、どう実行していくかのアイデアを共有頂き、データの上流〜下流のモデルをどう定常更新していくのかのアプローチはとても勉強になりました。
発表4: MF 木宮の発表
タイトルは「dbtをAirflowで動かす道のりは続く」で発表しました。
最後は、私のほうからdbtをAirflow上で実行させる方法について発表しました。MFでは、マート更新の実行基盤としてAirflow(Cloud Composer)を利用してきたのですが、マートの開発の視点から見ると、機能のTooMuch感があったり、開発し辛い側面がありました。
一方で、定常更新のオペレーションがある程度以上確立されているため、両方の良いところ取りが何とかできないものか？という背景で、今年にリリースされたCosmosというパッケージを利用したdbt Core on Airflowについて共有しました。
参考までに発表資料をSpeakerDeckにアップしています。
https://speakerdeck.com/yuukimiya/dbtwoairflowdedong-kasudao-norihasok-ku-dot-dot-dot
※ Cosmos は、Astronomer社が提供しているOSSであり、Airflow上でdbt Coreを動かすことを可能とするものです。
振り返ってみて
今回の合同勉強会を通じて、タイミーさんでは、dbtによるデータモデリングを確実に実践し、データ活用の土台をしっかり築いていらっしゃるな、ということを強く感じました。
MFでも、最近は、データモデリングの取組みを進めていますが、タイミーさんのほうがより進んでいる、と正直感じました。
これをきっかけに、データモデリングや分析環境の整備開発に邁進していけたらと思った次第です。
今回の合同勉強会のきっかけを作って頂き、企画や事前準備を進めて頂いたタイミーの土川さん、発表頂いた皆様にはとても感謝しております。
本当にありがとうございました。
おわりに
今回は、オンライン形式の合同勉強会でしたが、とても有意義な時間となりました。
普段の業務から離れて、各社の取組みの話を聞くことで知見を頂きつつ、自社の現状・立ち位置を改めて認識できるなと思った次第です。
MFのデータ活用、基盤整備は、まだまだ課題も多くこれからですが、各社の課題感や悩み等々を共有・議論できたらとても嬉しいので、合同勉強会に興味のある方は、お気軽にお声掛け頂けたら嬉しいです。
参考
Example Usage — Astronomer Cosmos documentation
現在、MFでは、データアナリストのポジションを募集しております。
少しでもご興味が湧いた方は、ぜひ、カジュアルにお話させてください。