【事例紹介】データウェアハウス構築～データ連携と一元管理による分析への活用を実現～
はじめに
デジタルマーケティングを中心とした事業を展開するCREFIL株式会社です。
弊社はSalesforce / Google / AWSを主軸としたシステム開発やコンサルティングを手掛けております。
またMAツールの構築支援やデータサイエンスといった分野での事業展開も行っております。
今回は弊社実績のご紹介として、データの一元化から有効利用までのシステム導入の事例をインタビュー形式にてご紹介します。
弊社の概要についてはこちらをご覧ください。
【インタビュー対象者】Consultant 伊藤
開発経験と、わからない箇所があれば必ず聞く粘り強さを武器に活躍
ボルダリングが趣味
【インタビュアー】Senior Consultant 佐藤
プロジェクトリーダーとして本案件を担当
気配り上手で、着実丁寧にタスクをこなす努力家
クライアントと課題
佐藤：今回のプロジェクトのクライアントはどのようなお客様だったのでしょうか？
伊藤：アプリで手軽に家電や美容グッズといった製品のレンタル出品を行うサービスを提供しているクライアント様です。
Salesforce 社が出資されている企業様から、CREFILが関わったプロジェクトで着実に結果を残し、社内・社外問わずコミュニケーションをとっている、といった部分を評価していただき、本プロジェクト をご紹介していただきました。
佐藤：ありがとうございます。これまでの仕事の姿勢が評価されて紹介に至ったということですね。
では、プロジェクトの概要について質問させてください。
どのような課題を解決するプロジェクトだったのでしょうか？
伊藤：蓄積されているデータを統合的に管理・有効活用したい、ということがクライアント様 からの要望でした。
クライアント様 は、それまではデータ管理にニフティクラウドを使用していましたが、運用にはスプレッドシートを使用されていました。
販売管理システムのデータベースからデータを抽出してエクセルなどで加工すれば分析することはできますが、データの抽出や加工に時間がかかり、分析結果を得られるまで時間を要してしまいます。
こういったタイムリーな判断や改善活動が困難なことが課題でした。
佐藤：クライアント様の課題解決をするために、どのようなシステム構築を行ったのでしょうか？
伊藤：SalesforceとBigQuery（DataWareHouse（※以下DWH））の導入をいたしました。
構築システムについて
佐藤：CREFILではBigQueryを使用することはありますが、どのようなことが可能になりますか？
伊藤：BigQueryはデータの蓄積や分析、APIの連携などが可能で、「数十億行のデータの処理を超高速（数秒〜数十秒）で処理」できるビッグデータ解析サービスです。
佐藤：ありがとうございます。
SalesforceとBigQueryの導入にあたり、どのような開発を行いましたか？
伊藤：DWHで複数種類の情報やデータを一カ所にまとめ（一元管理化）、営業→商談→レンタルする商品…これらの情報の管理といった業務の流れをシームレスにしました。
また、全く異なる形式のデータも一つのサブジェクトとして集約できるため、将来的にBI（ビジネスインテリジェンス）ツールを使用して、分析に役立てることが出来るようにしました。
佐藤：なるほど。データの一元化、利用のためのシステムを導入されたんですね。
プロジェクトではどういった領域を担当されましたか？
伊藤：私が担当した領域は主に『DWH構築（BigQuery）』『データ連携（trocco）』の2つになります。
前段でDWHはデータを一元管理すると述べましたが、そのために必要なデータを集積するためのデータ連携にはtroccoを使用しました。
troccoはETL(Extract/Transform/Load)ツールの一つで、
・デジタルデータを抽出・収集（Extract）し、
・用途に応じて変換・加工（Transform）したうえ、
・その先にある格納先に有用な情報として配信・送出（Load）
してくれるツールとなります。
また、troccoにはBigQueryを始めRedshiftといったDWHサービスに対して、SQLを用いてテーブルを作成できる機能があります。
実際に私はBigQuery内でSQLを作成することはほとんどなく、trocco内で作成していました。
佐藤：とても便利なツールですね。
担当されていたデータ連携の全体像はどのようなものでしたか？
伊藤：データ連携は、
・他社様がニフティクラウドのデータをGoogle Cloud Storageに登録
・そのデータをCREFILがtroccoを用いてBigQueryに連携
・連携されたデータをSalesforceに連携
という流れでした。
また、一方向ではなく双方向の連携だったため、SalesforceからBigQueryへの連携も行えるようにしました。
佐藤：複数システム間で相互連携が行えるようにデータ連携を構築されたんですね。
構築されたDWHやtroccoは、どのような方が使用されるシステムですか？
伊藤：バックエンドのシステムですので、開発者が使用するものになります。
プロジェクトについて
佐藤：プロジェクトの全体像についても聞かせてください。
開発期間はどのくらいの期間でしたか？
伊藤：データ連携チームは4か月半ほどプロジェクトに関わっていました。Marketing Cloud チームは3か月半ほどで、リリースまで推進していました。
佐藤：短期間での開発だったのですね。
短期間で参画されている方々とどのようにコミュニケーションをとられていましたか？
伊藤：個人的に、途中からアサインされた協力会社の方と特に多くコミュニケーションをとる機会が多かったです。
案件の途中からtroccoのETLプログラミングを開発する必要が出てきたため、その領域を担当していた企業様がアサインされました。
その際、主に私がtroccoの仕様の説明をしたので必然的に機会が増えた、という流れです。
説明する際はオンラインで画面を共有しながら、実際に動作検証を行ってその場で疑義解消を行うといった形が多かったです。
佐藤：社内だけではなく社外の方ともコミュニケーションをとられてたんですね。
佐藤：CREFILのチーム編成としてはどのような体制でしたか？
伊藤：作業者はデータ連携チームが私を含め２名、Marketing Cloud チームが２名でした。両チームの管理者 兼 作業者が１名という体制でした。
案件推進の取り組み
佐藤：案件を推進する上で何か工夫をされましたか？
伊藤：データ連携の領域の担当がIT業界に入ってから初めての経験でしたので、業務理解や使用するツールのキャッチアップに尽力し、積極的に理解を深めました。
佐藤：では、このプロジェクトで苦労したエピソードは何かありましたか？
伊藤：プロジェクトの途中で私と同じデータ連携領域の進捗が一部停止したことです。
開発フェーズだったため、作業の分担と業務推進方法についてプロジェクト全体が大きく左右されました。
CREFILがその領域の一部を担当することになり、その時期は非常に忙しかったです。
佐藤：そういった状況のなかでデータ連携チームの業務を推進されたことは非常に大きな経験かと思います。
佐藤：逆に一番成功を感じたエピソードをぜひ聞かせてください。
伊藤：未経験の領域で、初めて触るデータ統合ツールのtroccoを自力で覚え、チームメンバーや外部の方に使い方を説明するといった形でテックリードできたことです。
ツールのレクチャーのために一人でパートナー先のオフィスで会議に参加したことは大きな経験でした。
初めての経験であり、呼んでいただいた方はCREFILと同じようなベンチャー企業のCEOの方だったので、声をかけていただいた時は嬉しかったです。
CREFILの評価
佐藤：自力で努力した結果が次に繋がると嬉しいですね！
クライアント様とのやり取りの中で印象深いエピソードなどありますか？
伊藤：データ連携領域の一部進捗が停止した際に、タスクの一部をCREFILが引き受けました。毎回事前に準備をして MTGに参加していたことで、担当した領域は円滑に業務が進み、PMや他の協力会社から評価を得ることができたことは印象深かったです。
佐藤：イレギュラーなことが起きた時の対応力も、CREFILの強みの一つですね。担当外だった領域でも評価されることは素晴らしいですね。
佐藤：最後に、伊藤さんの仕事のやりがいをお聞かせください。
伊藤：CREFILでは主力のプラットフォームですが、前職では使う機会のなかった、Salesforceなど比較的新しい技術を積極的に取り入れることがCREFILの魅力の一つだと思います。
出来ないことが出来るようになる、出来るようにすることが私にとって一番のやりがいです。
また、仕事が出来てモチベーションの高いメンバーと日々働けることも仕事のやりがいです。
佐藤：ありがとうございます。CREFILには向上心の高いメンバーが多く、刺激になりますよね。
インタビューにご協力いただきありがとうございました！