ミドルステージのスタートアップでデータチームを作る：ある物語（2/2）
Part1はこちら
9月2日
この時点であなたのデータチームは6人になりました。そのうちの1人は、データウェアハウス関連のインフラ整備で大忙し。残りの5人は、それぞれのチームに割り当てます。
・1人はオンボーディングプロダクトチームに
・2人目はサプライチェーンチームに
・3人目は、チェックアウトチームに割り当てられます
・すでにマーケティングチームのデータサイエンティストがマーケティングを担当しています
・最後の1人は、CEOのサポートと投資家や役員のデッキ作成を担当します
大勢の人にメールでこの変更の概要を伝え、データを必要とする人が誰と一緒に仕事をすべきかを明確にします。今後、人材を採用する際には、社内のさまざまなチームに配属することを計画しています。主に製品/エンジニアリングチームですが、場合によっては他のチームもあります。
1月3日
一日の始まりは、イライラするようなメールで始まります。データサイエンティストの一人が退職することになりました。「AcmeCorp社の新しい機械学習チームに参加するために行きます」と書かれています。あなたは、彼を説得しようとは思わない。率直に言って、彼はしばらくの間、特に幸せそうではなかったし、あなたには彼が興奮するような仕事はあまり持っていません。
あなたのチームには新しい人たちがたくさんいて、彼らはもっと喜んでいます。彼らのほとんどは、ソフトウェアエンジニアリングやSQLを少し知っている人たちですが、最も重要なのは、データの中から面白い洞察を見つけたいという深い願望を持っていることです。彼らは、データの中から「スクープ」を見つけることを目標としているので、「データジャーナリスト」とあなたは呼んでいます。
あなたのチームのあるメンバーは、オンボーディングチームと直接仕事をしています。彼女は毎日のようにプロダクトマネージャーと話をしていますが、彼女が発見したインサイトをチームはとても気に入っています。例えば、オンボーディングのフローでは、お客様の住所が必要ないにもかかわらず求められるという、大きな摩擦ポイントがありました。このステップを削除すると、その後のA/Bテストでコンバージョン率が21%向上しました。というのも、データベースのデータモデルが非常に複雑で、データをクエリしやすいテーブルに「フラット化」するために一連のETLジョブを構築しなければならなかったからです。しかし、たくさんのPythonのジョブを連鎖させることで、うまくいきました。
その日のうちに、起こったすべての主要プロジェクトの四半期レビューが行われました。CEOも同席し、大事です。彼女は、起こっているすべての進歩に興奮しています。
成長戦略の話になると、リードするPMは、ランディングページのデザインを一新したことを発表しました。PMは、20人のエンジニアで構成されたチームが納期に間に合わせるために残業し、それをやり遂げたことを何度も指摘します。彼女は、デザイナーが行った素晴らしい仕事を皆に紹介します。美しいですね。CMOは、デザイン変更の一環としてダイレクトメールに大きな賭けをしたので、この製品にとても深く関わっていた。みんなは意見を聞くためにCEOに注目します。
彼女はしばらく黙っていましたが、口を開きました。「これまでの評価指標は？顧客獲得コストは下がったの？」。あなたはこの質問を期待していたので、思わずにんまりしました。
このスライドをまとめたPMは、実際にA/Bテストを行ったと言い、プレゼンテーションの付録には数字が載っています。その結論ははっきりしません。上がった指標もあれば、下がった指標もあります。有意な結果を示す結果はありません。顧客獲得コストの初期値をまとめた表がありますが、かなり悪い数字に見えます。CMOは、この数字は「まだ始まったばかり」であり、この種のキャンペーンではユーザーが取引をするまでに何ヶ月もかかることがあると強調します。
あなたは、データチームの誰かにSlackメッセージを送り、次回はこのようなものの代わりにコホートプロットを行うべきだと伝えました。
何が起こっているのでしょうか？
良いニュースは、製品チームがA/Bテストの実験を始めていることです。悪いニュースは、結果を無視していることと、プロジェクトのほとんどがマイルストーンや人工的な締め切りに追われているように見えることです。良いニュースは、CEOがデータを真実として使うようにチームに働きかけていることです。
もっとデータを活用すべきだという組織的な圧力が生じたら、データチームが他のチームと連携する方法を加速させるチャンスです。特に、最高レベルの人々はメトリクスをより重視し始めるでしょうし、データチームが彼らと協力してそれに取り組むことはあなたの責任です。簡単なことですが、すべてのチームと協力して、彼らが気にしているメトリクスのトップセットを備えた独自のダッシュボードを持つようにすることが、大きな効果をもたらします。
図4：組織の異なる層に異なるサービスを提供することで、最も大きな成果が得られる
4月1日
データチームが行ってきた古い機械学習の作業は、1つの例外を除いてほとんどすべてが成果を出していません。インベントリ製品チームで働くデータサイエンティストの一人が、レコメンデーションに関する以前の作業にとても興味を持ちました。彼女は、あなたが採用した新しいチームメンバーの一人で、もう少しジェネラリスト的なバックグラウンドを持っています。彼女は、レコメンデーションシステムの仕事のノートを拾い、それを小さなFlaskアプリにして社内に展開しました。
インベントリーチームのプロダクトマネージャーは、それを見て大喜びします。「どうやって出荷しようか」と聞いてきます。チームが追跡している指標のひとつに平均注文額があり、これが大きな改善の原動力になると考えているのです。
スケールさせるには多くの作業が必要なことは明らかでしたが、そのデータサイエンティストにはアイデアがありました。彼女は言います「顧客の1%にだけ適用したらどうでしょうか？このシステムは単純なcronジョブで動作させ、すべてのレコメンデーションをあらかじめデータベースに生成しておきます。これなら、数日で完成させることができると思います」。みんなが興奮しているので、彼女はすぐに始めました。
あなたはサプライチェーンチームともう少し時間を過ごし、様々なビジネスクリティカルなことに使われている巨大なSQLクエリをたくさん発見しました。それらはよく壊れますが、あなたのチームはその多くをコードで実行される適切なパイプラインに書き換えています。サプライチェーンの責任者は、あなたのチームにもっと参加してほしいと言っています。「あなたが関わり始めてから、私のビジネスアナリストチームの仕事が格段に増えました。私をサポートするデータサイエンティストをもっと雇うためなら、何でもしますよ！」
さて、ここで何が起こっているのでしょうか？
まず第一に、クールな機械学習の仕事に希望の光が差し込んでいます。製品チームは、小規模なテストとしてレコメンデーションシステムを立ち上げることにようやく前向きになったようです。これまでは、製品エンジニアリングチームが作業を見積もれず、コミットしたくなかったために立ち往生していましたが、データチームには、それを製品化する作業がより具体的になるように持っていくための実践的なソフトウェアスキルがありませんでした。
これを解決したのは、データチームがさらに一歩進んで、実際にデモを作ったことです。本番に近づけるだけでなく、その可能性をより明確に示すことができました。
このようなプロジェクトが頓挫すると、データチームは敗北感に苛まれがちです。「AIというクールな仕事をするために雇われたのに、幹部のサポートがなくなってしまった」と。実際には、プロジェクトの価値を高め、出荷しやすい状態にするための努力をしなかったことの方が多いのではないでしょうか。
もう1つは、サプライチェーンチームで起きていることです。その道のりは大まかに次の通りです：
1. このチームは、最初は（データチーム以外の）独自の「ビジネスアナリスト」を抱えていましたが、データを得るためにデータチームがクエリを実行する必要があった
2. そのビジネスアナリストがデータチームの助けを借りて自分でクエリを実行し始めた
3. データチームとの間に「影の技術的負債」（ここではモンスターSQLクエリ）が発生し、それが原因でデータチームとの間に大きな摩擦が生じる
4. データチームがチームに溶け込み、チームがより良い場所に行けるようにサポートし始める
5. その結果、ビジネスアナリストの必要性が減り、データサイエンティストの必要性が高まる
本番データベースのテーブルをそのままデータウェアハウスに投入したことで、多くの「技術的負債」を背負うことになったことに注意してください。下流のデータ利用者は、SQLクエリが頻繁に壊れます。そのうちに、本番データベースから生データを取り出して、より安定していて問い合わせがしやすい様々な派生データセットに変換するような、ある種のレイヤーを間に追加する必要が出てくるでしょう。この作業を正しく行うには、かなりの労力が必要です。また、セキュリティ上の理由から、本番データから多くの個人情報を取り除く必要があるでしょう。
7月1日
今日は第3四半期の計画会議です。これまでの会議では、次の数四半期に向けて会社がどのような「賭け」をするのか、大きな議論になることが多かった。今回は、まず会社のハイレベルな主要業績を確認することから始めます。各チームは、トップレベルの指標をより詳細に分析するためのサブ指標を持っています。
製品管理チームへの働きかけが功を奏したことは明らかです。製品管理チームは、テストを実施してわかったことや、データから発見したことを話して、さまざまなプロジェクトへの投資を正当化することがよくあります。
例えば、チェックアウトチームのデータサイエンティストが、確認ページでユーザーが戻るボタンを押すと、カートオブジェクトが不正な状態になるという重大なバグを発見しました。このバグを修正したところ、コンバージョン率が劇的に向上しました。
もうひとつの発見は、異なる広告キャンペーンからのトラフィックがサイトに到着すると、コンバージョンプロファイルが非常に異なることでした。あるキャンペーンでは、クリック単価は安かったものの、コンバージョン率は非常に低かったのです。他のキャンペーンでは、クリック単価が非常に高かったのですが、そのユーザーのコンバージョンは非常に高かったのです。
今ではUTMパラメータを追跡し、アカウント作成に結びつけているので、広告のクリックから購入までのコンバージョン率を測定できるようになりました。これは、すべてのデータを同じデータウェアハウスに取り込み、簡単に照会できるように正規化する前は不可能でした。マーケティングチームと協力して、主なKPIをクリック単価ではなくエンドツーエンドの顧客獲得コストにしました。
もう一つの嬉しいニュースは、1％のレコメンデーションシステムのテストが非常にうまくいったことです。これを100％のユーザーに拡大するには非常に大きなプロジェクトとなりますが、CEOはこのプロジェクトにゴーサインを出しました。
もちろん、すべての結果がポジティブなものではありません。うまくいかなかったテストもたくさんありました。最初のスライドでは、送料を別途請求するのではなく、価格に組み込む実験について説明しています。
しばらく部屋は静まり返っていましたが、CEOが話し始めました。「このテストから何を学びましたか」と彼女は尋ねます。その結果、何が起こったのかを究明するために、一連のフォローアップ実験を行うことになりました。
その夜、あなたは家に帰ってシャンパンを開けました。
何が起こったの？
あなたは成功しました。あなたは組織を真の意味でのデータネイティブに変革しました。データチームは、多くの異なるステークホルダーと機能横断的に仕事をしています。データとインサイトは計画に使用されます。データはビジネスの価値を高めるために使われており、目標が不明確な独立した研究室ではありません。ウォーターフォール型の計画ではなく、データを活用したフィードバックサイクルを用いて反復的に作業を行っている。測定基準は、ビジネス価値を生み出すことに責任を感じられるように定義されています。データ文化は、上から（CEOが後押しする）と下から（現場の人々）の両方で推進されている。少なくともそこから何かを学んだのであれば、失敗しても構いません。
おめでとう、あなたにはシャンパンを飲む資格があります。
🥂
🚀🚀🚀
原文：Building a data team at a mid-stage startup: a short story
著者：Erik Bernhardsson
免責事項
当該和訳は、英文を翻訳したものであり、和訳はあくまでも便宜的なものとして利用し、適宜、英文の原文を参照して頂くようお願い致します。当記事で掲載している情報の著作権等は各権利所有者に帰属致します。権利を侵害する目的ではございません。
あなたのおすすめの海外記事を教えて下さい！翻訳して皆さんに共有させて頂きます💁♂️➡️➡️Twitterへ