データエンジニアがクラシルでやりたいこととその理由
はじめまして。dely株式会社でデータエンジニアとして働いているharry(@gappy50)です。
現在、弊社プロダクトの「クラシルリワード」を中心として日々データエンジニアリングをしています。
社外では、Snowflake Data SuperheroesとしてSnowflakeだけでなく、データエンジニア関連のコニュニティ活動やデータエンジニアリング関連の勉強会などにも参加しています。また、Tech関連の社外発信をたまに行っています。
今回はじめてnoteで記事を書こうと思ったのは、「○○という機能でこんなデータエンジニアリングができるようになったよ」といった話や、「データエンジニアとしてこういうことが成果として出せました」といったTech関連のお話をするためではありません。
現在、弊社のデータ関連の話題が非常にHotであり、今後数年間でかなり面白い状況になってきます。私は、とある企業のデータエンジニアとしてではなくdely株式会社、クラシルプロダクトのデータやデータエンジニアリングに魅力を感じている一社員として皆さんにその魅力をどうにかわかってほしいと思い、この記事を書きました。
この記事を通して「データエンジニアがクラシルでやりたいこととその理由」を少しでもお伝えできればと思います。
クラシルでデータエンジニアをすべき理由
結論からお話すると、以下の3つがクラシルでデータエンジニアリングをすべき理由です。
月間5000万人以上のユーザー基盤をベースとした1st Partyデータを活用し、世の中をより良くするためのデータエンジニアリングを推進できるから
複数のプロダクトの急成長により全社データ基盤としてのデータ戦略の立案、「Data Platform」の再整備、データ利活用までの垂直立ち上げを体現できるフェーズだから
delyのビジョン/ミッションを達成するために全員がデータを見て意思決定し続けられる基盤を作ることが必須だから
近年、大企業からスタートアップ企業、BToBやBToC、インターネット企業から製造業に至るまでデータ利活用は隆盛を極めています。
そしてその裏ではデータエンジニアが血と汗と涙にまみれた愚直で泥臭くデータに向き合い続けています。
名著「データエンジニアリングの基礎 - データプロジェクトで失敗しないために」ではデータエンジニアリングを以下のように定義をしています。
データエンジニアリングとは、生データを取り込み、下流の分析や機械学習などで利用しやすい高品質で一貫性のある情報を生成するシステムとプロセスの開発、実装、維持管理を意味する。データエンジニアリングには、セキュリティ、データ管理、DataOps、データアーキテクチャ、オーケストレーション、ソフトウェアエンジニアリングすべてが関与する。データエンジニアは、データエンジニアリングライフサイクルを管理する。データエンジニアリングライフサイクルは、ソースシステムからのデータ取得に始まり、分析や機械学習などへのデータ提供に終わる。
データエンジニアは、様々なスキルを発揮しながらデータエンジニアリングライフサイクルを管理するという終わりのない旅を続けています。
一方で、これまでデータエンジニアが越境して部署や組織やビジネスそのものに直接関与することは今後ますます重要になるでしょう。
特にLLMの登場により、自社のデータからインサイトを得るためのコストも大幅に削減できることが期待されるだけでなく、それらのデータからビジネス価値を生み出すことも今まで以上に重要になってくると考えています。
そして、培ってきたデータエンジニアのスキルやデータエンジニアリングライフサイクルの管理をエンドツーエンドで実践している我々データエンジニアこそが自らデータ活用戦略をビジネス戦略に結び付けられる存在として求められます。
データ活用のアジリティをもっと高められることが、近未来で起こるべきことですし、私もそれを求めています。
ただ、その近未来を実現するために何をすべきかと考えたとき、私たちデータエンジニアは、LLMにデータの詳細を教えてあげる必要があると思います。LLMへの教育がなければ、返ってくるデータは何の使い道もありません。
delyがまさに今その時です。データエンジニアだからこそ、より大きい仕事ができると考えています。
以降の章で、それぞれの背景について説明をさせていただきながら、これらの理由をお伝えしていきます。
delyおよびクラシル関連プロダクトの現在
私が所属しているdely株式会社を代表するレシピ動画サービスの「クラシル」はおかげさまで、月間5000万人以上にご利用いただくサービスとして日々様々なユーザーの皆様にご利用いただいています。
一方、2年前にリリースされた「クラシルリワード」というお買い物サポートアプリも非常に高い成長率で成長しており、こちらも様々なユーザーの皆様にご利用をいただいています。
「クラシルリワード」では移動や歩数によってポイントが付与されるだけでなく、クレジットカードへの申し込みやアプリのインストール、ECサイトでのお買い物でポイントが付与され、ユーザーの皆さんの生活の中でお得な生活ができるような機能が充実しています。(よかったら利用してみてください！)
その中でも所謂「レシチャレ」と呼ばれる機能はクラシル関連のプロダクトならではの機能です。
「レシチャレ」は、指定の商品を購入したレシートを撮影すると、クラシルリワードのポイントが還元される機能です。
クラシルプロダクトの戦略におけるデータの重要性
この機能が何故クラシル関連のプロダクトならではなのか。
それは、レシチャレの購買データとクラシルの行動データを掛け合わせると、クラシルのレシピ閲覧による認知・関心からレシチャレでの購買、その後のトライアルリピートまでの一連の行動をデータとして表現できるようになるからです。
これらのデータ利活用が進めば進むほど、料理をする皆さんの「今日は何を作ろう？」という悩みを解消をし、本当に必要な商品の購買をお得に行うことができ、その結果、ユーザーの生活を豊かにすることができます。
また、クラシルの利用者数は月間5000万人以上なので、そのデータ規模の1st Party Dataを活用し、ToCサービスとしてユーザーの課題解決に繋げられるのは日本でもとても少ないと思います。
これらの話は一例に過ぎませんが、delyが今何を考えているのかの詳細は弊社CEOの堀江さんが出演されたPIVOTの動画にこれらの全容は紹介されておりますので、気になる方は是非ご視聴してみてください！
これがクラシルでデータエンジニアリングをすべき1つ目の理由です。
「月間5000万人以上のユーザー基盤をベースとした1st Partyデータをベースにして、世の中をより良くするためのデータエンジニアリングを推進」することは、我々の今後のビジネス戦略として非常に重要であり、ビジネス戦略とデータエンジニアリングの推進は必要十分なものであります。そして、それらを達成すれば、ユーザーに対しても非常に価値のあるものになると考えています。
ただし、現時点ではまだまだやることが多くあります。それらは、データ戦略の立案から「Data Platform」の再整備、データ利活用までのE2Eに対して泥臭く向き合う必要がある理由でもあります。
delyのデータ基盤やデータ利活用のこれまで
delyでは創業当時からデータ、数字を基にしたプロダクト開発を推進してきており、データを基にした意思決定によりプロダクトの改善をし続けてきておりました。
また、データからプロダクトの良し悪しを測定し、意思決定を行うだけでなく、クラシルではデータ自体をユーザーへの価値へ繋げるためのデータ基盤の刷新や技術選定、ツール導入を進めて最速での価値提供に向けて集中をしてきました。
一方で、クラシルリワードなどの新規プロダクトも最速で立ち上げを行い、それらのプロダクトもデータに基づいた意思決定を続けています。
delyのカルチャーとして、データに基づいた意思決定は定着しています。
特に新規プロダクトの場合、初期段階からデータエンジニアが100％コミットをして、データパイプラインの品質からデータ利活用までの対応を工数や時間を用いて整備し始めることは得策ではないこともあります。
そもそもPMF(プロダクトマーケットフィット)していない状態では撤退リスクもあり、データエンジニアがフルスペックで立ち上げを行うことは費用対効果の説明としても乏しく、データエンジニアなしでもデータからの意思決定はフルマネージドサービスなどを用いればデータからの意思決定は可能です。
新規事業では、とにかく数字を最速で見られる状況を作り、改善に繋げられるだけのQuick Winが必要です。
delyが抱えたデータマネジメントの課題
しかし、最速での立ち上がりや意思決定を行っていくためには会社全体での全体最適ではなく各プロダクトの個別最適が優先されることも多く、データのサイロ化やデータのカオスなどを一定受け入れる必要があります。
また、ある程度大きい規模まで成長すると、それらのサイロ化やカオスを正しい形にするまでにはかなりの工数を要します。
特にデータ品質も含めたデータ管理(データマネジメント)を誰かが責任をもって適切に行えていないことで、品質の悪い意思決定を行う可能性も秘めています。
これらは所謂Garbage In, Garbate Outの典型であり、間違ったデータから間違った意思決定をし続けることでデータインフォームド・データドリブンな意思決定を諦めて、勘・経験・度胸で意思決定をするようになってしまっては我々のカルチャーの否定にも繋がりかねません。
https://image.itmedia.co.jp/l/im/ait/articles/2010/21/l_di-01.gif より引用
クラシル、そして急成長するクラシルリワードのデータ活用戦略の推進はもちろん重要です。しかし、いきなりデータ活用にたどり着くことはありません。
そこにたどり着くには、これまでのデータカオスやデータのサイロ化を解消し、正しくデータマネジメントをできる状態でなければ、1つ目の理由である「月間5000万人以上のユーザー基盤をベースとした1st Partyデータをベースにして、世の中をより良くするためのデータエンジニアリング」も推進できませんし、無理に推進してもGarbage In, Garbage Outによって良い結果を生むことはないでしょう。
そして、真の意味での「データドリブンな組織」になるために、弊社はこれまで以上にデータマネジメントに真剣に向き合うフェーズに入りました。それに伴い弊社ではデータマネジメントチームが発足しました。
なぜ、データマネジメントが必要だという判断に至ったのでしょうか？それは我々が抱えていた課題はデータマネジメントを正しく実践することでしか解決できないと考えているからです。
delyの考えるデータマネジメントとは？
我々は「データマネジメント」を端的に「データライフサイクルを通して最高品質のデータから最大の価値を創出する組織を作る活動」として定義をしました。
データマネジメントでよく出されるDAMAホイール図じゃなくてごめんなさい。
これらの活動を全てのプロダクト、組織、チームで回せる状態を担保できる状態を最速で作り、実践することこそがビジネス戦略を実現するためのデータ活用戦略の要だと考えています。
データマネジメントチームが発足時に目指すべきゴールを「delyのデータの資産価値を高めるサイクルを全員で回して発明力を強くする」と定義しました。
そして、そのためにまずは経営指標や各プロダクトの重要指標など、意思決定に関わる数値やデータについて、データライフサイクルを回せる状態をMVPとし、そこからデータ活用戦略としてドリルダウンをしていく戦術で進めようとしています。
これらを順次実践していくだけでは、時間軸で言ったら数年単位にも見えてしまいますが、それらを完遂できないと価値が出せないとなればただのコストセンターとして認識されてしまう可能性は大いにあります。
データエンジニアやデータ人材がよく陥る罠として、データ活用戦略やデータマネジメント戦略がないことにより芯の食ったデータエンジニアリングができず、使われないダッシュボードや意味のないデータが量産され、コストだけが高くなるといったことが頻繁に起こります。
だからこそ、経営視点で最も重要な数値をデータライフサイクルの一貫で利用をできる状態を最速で作り、そこからPCDAサイクル=質の高い意思決定の回数を増やすことが我々の発明力の強化にとってとても重要だと考えています。
これが2つ目の理由です。
「複数のプロダクトの急成長により全社データ基盤としてのデータ戦略の立案、「Data Platform」の再整備、データ利活用までの垂直立ち上げ」を経営と密着させながら最速で実践するデータ戦略を描き実践していくことが、今後の我々のビジネスとデータエンジニアリングの必要十分のための手段であり、データエンジニアがいなければこのラストワンマイルを実現することは不可能です。
これらの活動と実践、実現は我々のビジネスを支えるだけでなく、「世界を照らす発明を続ける」というdelyのミッションを体現するものだと思っています。
delyにおけるビジョン・ミッションを支えるデータマネジメント
delyは「BE THE SUN」をビジョンとし、「世界を照らす発明を続ける」というミッションの実現のために社員一人ひとりがこの日々挑戦をしています。
私は、この一見抽象度の高いビジョンやミッションの達成が、Dataという何かの事実をデジタル化した文字列を、Information(情報)に昇華し、それらからInsight(洞察)を得てIntelligence(知識や意思決定に必要なもの)として次に活かすかを実践できることでこそ成し得ると考えています。
なぜならば、それぞれの役割や職能、立場によって主語は様々異なりますが、データからニーズを探り、仮説を立てて、挑戦し、そこからまた新たにどうすべきかを考えて、新たに挑戦し続ける生産活動こそが「発明」だと考えてるからです。
だからこそ、データマネジメントをし続けること、それらの管理からデータの資産価値を高められる活動、PDCAを最速で回し続け基盤としてdelyの発明体力を向上させることが最も重要なのです。
これが最後の理由です。
「delyのビジョン/ミッションを達成するために全員がデータを見て意思決定し続けられる基盤を作ることが必須だから」こそ、できるだけ早く、それらを実践できる基盤やカルチャーを再定義、再生成し、全員でデータを基にした意思決定、発明のためのPCDAサイクルを実践する必要があります。
そこに至るまでデータエンジニアがやり抜かなければ、その先のユーザーの皆様が我々のプロダクトを通して豊かな人生を過ごせるところにも早くたどり着けないでしょう。
重要なのは、その過程でデータから得た経験や知識を次に活かすことです。そして、私たちの発明が世界を照らし、人々の生活をより良くする一助となることを信じています。
さいごに
改めてですが、以下の理由を踏まえて今こそクラシルでデータエンジニアとして働くのは本当に面白いフェーズだと考えています。
月間5000万人以上のユーザー基盤をベースとした1st Partyデータを活用し、世の中をより良くするためのデータエンジニアリングを推進できるから
複数のプロダクトの急成長により全社データ基盤としてのデータ戦略の立案、「Data Platform」の再整備、データ利活用までの垂直立ち上げを体現できるフェーズだから
delyのビジョン/ミッションを達成するために全員がデータを見て意思決定し続けられる基盤を作ることが必須だから
私はdelyは真のデータドリブンな企業に昇華できるだけのカルチャーと度量は備わっていると思っていますし、今回お話したことを最後までやりきる、皆さんと一緒にできればdelyという会社に対してだけでなく世の中にとっても本当に大きい仕事ができると信じています。
この1st Party Dataちょっとおもしろそうし、自分のスキルがあればこのくらいのことなら実現できそうなんだけどな
これまでデータマネジメント推進したことあるから、このフェーズだったら自分の経験をうまく使って推進できそう
DataOpsを通して、自分のデータエンジニアリングスキルをちゃんと価値のあるものとして提供し続けられるようにしたい
このおじさん、変だし面白そうだな。一緒に働いてみたいかも
「本気でクラシルのデータマネジメントに向き合う時は来た！それだけだ」
なんでもよいので、今回の記事で少しでも気になるようでしたらカジュアル面談にご応募いただいても構いませんし、X(@gappy50) から軽くお話させていただくでも構いません！是非お話させてください！
P.S.
採用文脈での記事ではありますが、近年のデータエンジニアリングの繁栄によってデータ管理やデータガバナンスの重要性が増しているように感じます。私と同じようにこのような問題をどう解決すべきか、会社や組織に対してどのようなアプローチを取るべきか悩んでいるデータ人材の方に少しでも寄り添える記事になっていれば幸いです。