2019-08-01 Google Cloud Next ’19 Day2 #GoogleNext19
2019/08/01 に開催された Google Cloud Next ’19 Day2 のイベントレポートです。
■Day1の様子
■基調講演
阿部 伸一さん [Google Cloud]
ジョン ジェスターさん [Google Cloud]
●顧客体験を支える柱
・プロフェッショナルサービス
・エンタープライズサポート
・ラーニング
・カスタマーサクセス
・カスタマー&パートナーエクスペリエンス
-> お客様に成功体験を提供する
■基調講演: ファミリーマート
澤田 貴司さん [株式会社ファミリーマート]
●ファミペイ
・300万ダウンロード突破
●現場第一主義
・実態把握
ブレスト 2,000回+
課題を徹底的に競技して改善
●4大改革
・店舗オペレーション
わからないので年齢性別キー廃止
GSuiteで1分動画
・商品/マーケティング
ファミチキ先輩
・社内意識
服装自由化
自ら考えて行動する
企業文化創造へ
本社移転
サンシャイン -> 田町
フロアを集約
変われ と言っても変わらない
見えるものを変えると変わっていく
・コミュニケーション
GSuiteを活用
Googleフォームで加盟店アンケート
3ヶ月に一回
Sawastagram
社長がどこで何をしているか、すぐに共有
●目指すこと
・地域密着
地方に行くほど、地域のことをよく知っている
淡路島
スーパーバイザは神戸にいた
毎日通っていた -> 淡路島に引越し
引越しから1ヶ月ですぐに売上UP
Googleさん 一緒に全国に広げましょう!
エイミー ローキーさん [Google Cloud]
小林 直史さん [Google Cloud]
●GSuite
・15億人+
・500万社+
・事例
フロントとバックで協調
現場の課題を本社で解決
全社でノウハウを共有
●新機能
・3rd Party Connectivity Cloud Search
SAP, Salesforce
・Chat in Gmail
・Voice
日本でサービス開始予定
●DEMO
・コミュニケーションがすれ違うのは会話でもアプリでも同じ
-> 統合されたアプリで解決
Gmail -> GCal
Gmail -> Hangout
社外メンバーの追加できる
ラベルで注意換気も
Hangout -> Drive
権限付与
動的メール
Slide でコメント -> 動的メール
動的メールで返信 -> Slideコメント反映
■基調講演: 日本商工会議所
岩本 敏男さん [日本商工会議所, 株式会社 NTT データ]
●日本商工会議所
・創立者 渋沢栄一
・企業数 1,250,000
・会議所数 515
●中小企業の割合 99.7%
・日本でも世界でも同じ割合
・サプリチェーンを担っているのは中小企業
●少子高齢化による人手不足問題
・海外から来てもらったりもしている
・IoT, AIで解消していきたい
●中小企業に適したIT
・低コスト
・専門知識不要
・高いセキュリティ
・使いやすさ
-> クラウドが最適
CPU, Storage, Network の成長
GSuiteで日本全体をひとつに
●中小企業への取り組み
・NTTと連携、実践塾
・全国中小企業クラウド実践大賞
・Grow with Google
ウルス ヘルツルさん [Google Cloud]
●グローバルインフラの構築
・5兆円以上の投資
セキュリティの信用がなければ利用してもらえない
●セキュリティ
・お客様のデータはお客様のもの
管理者アクセスも透明化
・包括的なセキュリティをデフォルトで実装
Data Loss Prevention
VPC Service Controls
Anomaly Detection ★NEW
・可視化とコントロール
Cloud Security Command Center
Event Threat Detection
Chronicle Backstory ★NEW
●関連プロダクト
・ChromeBook
ハードウェアからセキュリティを考慮
・GSuite + FIDOセキュリティ
アカウント不正利用 発生なし
Titanセキュリティーキー
アンドロイド端末にも
・Advanced Protection Program
ベータ版提供開始
・構成例
Chromebook
-> ID Aware Proxy
B2B App
-> Apigee
-> Anthos
ジュリー プライスさん [Google Cloud]
菅野 信さん [Google Cloud]
●スマートアナリティクス
・BigQuery
東京、大阪リージョンで利用可能
・DWHのモダナイゼーション
・Hadoop、Sparkの実行
・ストリーミングアナリティクス
●DEMO
・Cloud Data Fusion
ベータ版開始
様々なシステムからデータを収集
・構成
Cloud Data Fusion
オンプレ mysql
変換、BigQueryへの投入
Visual Editor
batch, realtimeのパイプライン
DataPortal
BigQueryのデータを可視化
更に分析
-> 数億行のデータはspread sheetでは無理
・Connected sheets
β版近日公開
ワークシート関数をBigQueryに適用
・AutoML Tables
誰もが容易に最先端のモデルを開発
画面から学習モデルを作成
BigQueryから読みだしたデータ構造を選択
予測結果をBigQueryへ戻す
・BigQuery -> DataPortal で可視化
■基調講演: アサヒ
知久 龍人さん [アサヒグループホールディングス株式会社]
●アサヒ
・ミッション
期待を超えるおいしさ
新しい生活文化の創造
・期待を超える価値
市場ニーズ・変化よりも早く答えにたどり着く
様々なデータを活用
・課題
オンプレの運用コスト
投資できるお金がない
・目的
メーカーとして売ることに注力したい
キーワードはスピード
●Category Management
・自社開発
・小売向けに最適な店売りを提案
・BigQuery
10TBのRAWデータなら数分〜数十分
・GKE
処理をすべてマイクロサービス化
市場ニーズ・変化に柔軟に対応
コンテナひとつで新しい技術に乗り換え
●SoRの再定義
・SoEへの投資にシフトしていきたい
・SoRの領域をクラウドネイティブに
■基調講演: D.A.C
徳久 昭彦さん [博報堂DYホールディングス, デジタル・アドバタイジング・コンソーシアム株式会社]
●D.A.C
・行動ターゲティング広告などを開発
・博報堂DYグループのDXを担当
●AudienceOne
・DMP
オンラインのデータが中心
・課題
オンライン/オフライン、人のデータが分断している
-> 生活者データドリブンマーケティング
●Market One
・オーディエンスデータの分析でGCPを利用
・エンジニアなし、プランナーだけ
●DialogOne
・メッセージング管理ソリューション
●デジタル広告とGCP
・トラフィックが大量
-> クラウドがマッチ
・元号発表時などにスパイク
-> k8sキャパシティプランニング
●展望
・安全で健全なマーケティング施策
ラジェン シェスさん [Google Cloud]
●AIをすべての人に
・企業の意思決定者
Document Understanding AI
Recommendations AI
Contact Center AI
・開発者
Cloud AI Platform
AI Hub
Auto ML Tables
AutoML Video Intelligence
Cloud Vision API
OCR 200ヶ国語
・あらゆる企業で機械学習の事例が出てきている
データを活用することでCXを向上
■基調講演: SOMPOホールディングス
楢﨑 浩一さん [SOMPOホールディングス株式会社]
●保険業界のデジタルディスラプション
・preventiveでproactiveに価値が変わってくる
・自動差保険
MaaS
・火災保険
Smart xyz
・生命・医療保険
Digital Health
・他業界
Cyber Security
Drone Insurance
●SOMPO Digital Lab
・スクラムチーム
2週間スプリント
・Digital Sandbox
ハイブリッドクラウドの開発環境
・文字認識 -> 保険証券の自動解析
Cloud Vision
・センサー情報 -> クラウド -> 介護士へ可視化
Firebase と Cloud Run
アミット ザベリーさん [Google Cloud]
ハナン ユーセフさん [Google Cloud]
●基幹システムのモダナイズ
・マイグレーション
・モダナイゼーション
・パフォーマンス
●Migrate for Compute Engine
・AWSからVMsへの移行
・AzureからVMsへの移行
β版提供開始
・vSphereをGCPで動かせるように
●Traffic Director
・AnthosでGA
・サービスメッシュ
・マルチクラウド
●Layer 7 Internal Load Balance
・Traffic Director / envoy
●Xeonスケーラブルプロセッサ
●GCP上でSAPを稼働させる
・大きなメモリを持ったインスタンスが必要
-> 6TB, 12TBのVMs
・可用性
計画ダウンタイムをなくす LiveMigration
・セキュリティ
・柔軟性
移行先のシステム構成
確約利用割引を成長に合わせて適用
●DEMO
・SAP hana
・gcloudコマンドでlive Migration
VMの切り替えは1sec以内
・stackdriverで確認
・spectreの時などの脆弱性による再起動
自分でない誰かがビジネスを止めている状況
Live Migrationなら問題ない
阿部 伸一さん [Google Cloud]
●ビジョン
グローバル規模の分散インフラ
DXのプラットフォーム
DXの企業向けソリューション
かつてないクラウドを体験しよう
■hacci: リクルート各サービスログをリアルタイム処理・分析するためのデータ パイプライン
佐伯 嘉康さん [株式会社リクルートテクノロジーズ]
稲村 秀人さん [株式会社リクルートテクノロジーズ]
●hacci
・リクルート社内開発のパイプライン基盤
・ターゲットはログ
サーバサイド
プロセスが出力するログ
クライアントサイド
JSのビーコンログ
●入力インタフェース
・Cloud Functions
HTTP
クライアントログ
・Cloud Pub/Sub
fluentdなど
サーバサイドログ
・Cloud Storage
log rotate時に一括など
バッチインタフェース
uploadトリガーでpub/subへ
●Dataflow
・hacci形式に変換
Dataflow
・登録された宛先を参照
AppEngine
データのfrom/toを設定
Cloud Datastore
・hacci形式
Protocol Buffers
スキーマを外出し
ファイル形式はJSON/CSV/TSV
なぜ?
すべての人が容易にデータを参照できる世界
スキーマ定義とコードを分離
●出力インタフェース
・Cloud Pub/Sub
・BigQuery
●なぜこの構成?
・すべてのコンポーネントがマネージド
運用が楽
一人で始めたプロジェクト
・すべてのコンポーネントがスケーラブル
季節性などの波がある
●言語
・Terraform
・JavaScript
・Java
DataflowがApache Beamなので
・Golang
●監視
・Stackdriver Logging/Monitoring
複数メトリクスの監視・アラート制御
・Slack(Twitter経由)
Stackdriverが落ちた時の検知
Google Cloud Status Dashboard の情報
●Web API: Cloud Functions
・Cloud Functions
初期検証には最適
-> Firebase Hosting + Cloud Functions
カスタムドメインで内部を隠蔽
Cold Start
定期リクエストで上げられるが
スケール時は無理
PubSubの同期処理がネック
ブラウザから利用し始めたらボトルネックになった
-> GKE
パフォーマンスと自由度
成長に合わせて柔軟に
●CI/CD
・Argo Workflows
Application of Applications pattern
・Argo CD
Sealed Secrets
・GitOps
app: 一般的なCI + config repoへプルリ
config: manifest pushでk8sに反映
●IAP & SSO
・Cloud Armor -> Identity-Aware Proxy -> Argo Workflows
-> SSO -> Argo CD
・GCPの機能利用で低コストで構築できた
●Dataflow: Cloud Dataflow
・Dataflow Streaming Benchmark
指定したQPS、JSONスキーマでPub/Subにメッセージ送信
・Steaming Engineを有効化
スケール時のwatermark lagが改善
インスタンスサイズが小さくなる
設定だけで適用できる
■ビジネス ドリブンで使う機械学習 〜 Air レジのサポート効率化〜
近藤 恭平さん [株式会社リクルートライフスタイル]
近藤 慧さん [株式会社 リクルートライフスタイル]
●Airシリーズ
・商うを、自由に。
・regi, pay, reserve, wait
●データの活用レベル
・データがない環境、見ない
・データが散財、限られた人しか見ない
・DWH/BIが整備、アドホック分析、定量観点で判断する文化
・データサイエンス導入、データ活用の自動化
●前提
・toBサービス
導入する側の負荷にサポートが必要
初期設定のデータ登録など
電話、メール、マニュアル、チャットなど
・CSのタッチポイント
Tier1: ハイタッチ
対面
Tier2: ロータッチ
Tier3: テックタッチ
人を介さない
・問題
利用を始める店舗が急激に増加
サポートに必要なリソースが足りない
・対応
機械学習で、誰をサポートすべきかを判断
データはある
・制約
ビジネス部門が学ぶには時間がない
Cost/Delivery vs Outcomeのバランスが取れない
データサイエンティストのアサインも難しそう
●BQML
・BigQueryのデータを使って学習
・BigQueryにDataMartがあった
・デフォルトの設定で、精度が高めだった
属性でのセグメンテーションがねらいだったが
行動ログから判断できるように
●結果
・2人 + BQ管理者サポートで 1ヶ月でデリバリ
・優先順位づけを実現
・サポートを絞りながら、導入率はキープ
●自分たちでやることが重要
No PoC
No Communication Cost
Outcome Driven
■少人数で実現する GKE と Firebase を使ったモバイルアプリ開発手法
谷村 大樹さん [Google Cloud]
森下 真敬さん [株式会社Ginco]
●Ginco
・ブロックチェーンを、誰もが自由に。
・事業
ウォレット
ソリューション
マイニング
●ブロックチェーンとは
・価値や権利のやりとりを、管理者なしで実現
・Crypto Space内でやり取りされる 価値や権利の記録
Crypto Space
Crypto Assets
Crypto Currency
・国内市場への影響は 67兆円
by 経産省 2014
・2022までに1200億円まで成長
●これから
・生活者が、スマホアプリから様々な金融サービスへアクセス
・事業者が、従来サービスに、金融的な付加価値をつけていく
Game x Fintech
ゲーム内のアセットをユーザ同士が売買
SNS x Fintech
●暗号資産ウォレット事業
・ブロックチェーン上の資産を、安心・安全に管理
・Ginco
ダウンロード数 50,000DL+
入金金額 200億円+
・Ginco Enterprise Wallet
事業者向けウォレット
複数の承認が必要
●モバイルアプリの技術選定
・開発チーム
バックエンド 2人
iOS 2人
・開発期間
4ヶ月
・必要なもの
注力したいのは、鍵の管理とUI/UX
-> GKE x Firebase
●ブロックチェーンのノード運用
・可用性
・バージョンアップのしやすさ
・R&Dのしやすさ
-> k8s
●GKEの特徴
・Logging / Monigoringの設定が簡単
・workloadやserviceがGUIで確認できる
・Istioが使える
・Container Registryの接続が簡単
●構成
・1環境あたり24Pod(blockchain node)
dev/stg/prod
stg/prod はlive
で 60 blockchain node
・ヘルスチェックサービス
最新ブロックを動悸しできていない
-> LBから切り離す
-> 正常なノードを伝え、接続させる
●GitOpsライク
・config repoでhelm chartを管理
●ブロックエクスプローラ
・ブロックチェーンノード
データを検索したい
ノード自体に検索システムがない
高負荷に耐えられない
-> mustな存在
・OSSやpublicなものもある
それぞれでインタフェースが違う
リクエスト制限がかかっている
使いづらい
-> 内製が必要
ブロックチェーンの深い理解が必要
●開発初期
・GAE + Cloud Datastore
フロントとのすり合わせが大変
リアルタイムデータ取得で時間がかかる
-> Firebase
サーバレスで管理コストなし
CloudFunctionsで他サービスに連携
サーバ開発がなくなる
-> テスト工数ごっそり
●特徴
・スキーマレスなのでマイグレーションなし
・alter文がないので、バッチは自力で実装
●費用感
・全環境で10万程度
・デイリーで、Read 5万回、Write/Delete 2万回
●アクセスコントロール
・クライアント -> Cloud Firestore
Read / Write権限
バリデーション
●Firestore Local Emulator
・便利!
・Ruleが本番と違う動きをすることがある
●ポイント
・正規化
クエリ数とのトレードオフ
ユーザデータは更新頻度が高いから正規化
Twitterの鍵アカのような昨日はルールがかなり複雑
ユーザがそこしか見ないアプリなら向いている
・NOT NULL制約がない
null / undefined問題
・Collection Group Query
Blog -> Article -> Comment
-> Comment
でCommentかぶると、両方検索してしまう
名前をユニークに
・マイグレーション
スクリプトで頑張る
CollectionIDにバージョンプリフィックス
クライアント側にmigreロジックをもたせる
・管理画面の権限
カスタムクレームで管理者用ルールを設定
・クラッシュログ
Crashlytics -> Functions
・行動ログ
Analytics -> Functions
・強制アップデート
Remote config
OSごとの最低バージョン
・Firestoreのバックアップ
CloudStorage -> BigQuery
●Ginco Enterprise Wallet
・強力なセキュリティ
・2種類のウォレット
-> 暗号資産管理の総合APIサービス
鍵の管理に使える
●利用GCPサービス
・Pub/Sub
・GKE
・Spanner
なぜ?
モバイルウォレットよりも複雑なクエリ
一貫性が必要なので固いスキーマ
データ量が増えた
ORMはないのでゴリゴリ書く
クラスタのCPU管理は必要
・KeyManagementService
・Cloud HSM
秘密鍵を物理的に分離された場所に保存
フルマネージドで従量課金
-> ユーザの鍵とHSMの鍵でマルチシグ
GCPを金融領域で活用していきます!
■感想
Cloud Data Fusion / BigQuery / AutoML Tables / Data Portal / Connected sheets のdemoすてきでした!いつも使っているシステムに、こんな分析環境が後付けできると思うとワクワクしますね!
GKE + BigQuery の組み合わせは、今日もたくさん伺えました。
BigQueryにデータを蓄積するのであればBQMLで予測をはじめるのが簡単そうですね。
ライクも含めてGitOpsなCI/CDを採用しているところが、やはり多いですね。みなさんconfig repoと環境の紐付けどうしてるんでしょう?CDのしくみ次第だとは思いますが、ブランチで持つのか、ディレクトリで持つのか、もう一歩踏み込んだ話をすると、結構分かれそうかな、と想像しています。
2日間を通して、たくさんの学びを共感をいただきました!
登壇者の皆さん、運営の皆さん ありがとうございました!!
この記事が参加している募集
いつも応援していただいている皆さん支えられています。