Yahoo! JAPAN Tech Conference 2019 に参加したのでメモ
2019年1月26日(土)ヤフーのカンファレンスがあるって聞いて遊びに来ました。ちょっとメモがてらnoteに書きます。内容は個人的な感想も含まれたり間違いがあるかもですがご了承。
※ 書き終わってから気づきましたが、写真(スライド)取り過ぎてすごい量になってしまった。読むの(見るの)大変なのでご注意を!
アジェンダ
1. 基調講演 (13:00-13:45)
2. もう道に迷わない! Yahoo! MAPにおけるAR体験(14:00-14:45)
3. ライブクイズ「ワイキュー」を生み出した"内因的モチベーションドリブン"/ワイキューが目指した"楽しい時間を作るデザイン" (15:00-15:45)
4. ユーザーコミュニケーションの新たな武器、けんさくとえんじんの秘密(16:00-16:20)
5. Kubernetesで実現したYahoo! JAPANの次世代開発環境 ~ 100以上のクラスタを少人数で運用する秘訣 ~(17:00-17:45)
6. Yahoo! JAPANの巨大インフラの運用と展望 (18:00-18:45)
7. ネットワーキングパーティ(19:00)
こんな感じで参加いたします。
そもそもどんなイベント?
Yahoo! JAPAN Tech Conference 2019 は、「未来につづく話をしよう。」をテーマに、2019年1月26日、東京ミッドタウンホールにて開催します。
ということで、少し早くついてしまったミッドタウン内でうろうろするのもあれなので、カフェでくつろいでわくわくしてまってます。
12時半になり受付開始になったので入場しました
場内はフリー Wi-Fi 完備してました。
基調講演
藤門 千明 執行役員、CTO
仲原 英之 執行役員、CISO
YahooのCTOのふじもんさん登場!
Chiaki Fujimon (藤門 千明 執行役員、CTO)
ヤフーの会員数もきっとサービスも肩上がりなのでしょうか
ヤフーは、データとAIを長年取り入れてきたようです
だが、膨大なデータになるほど、コンピュータ演算が足りなくて、以前はそれが難しかったが、これからは十分使える環境がそろってきたようだ
それが、Kukai (空海)というスーパーコンピュータらしい
エンジニアとのいろいろがあったらしく
・データセンターに穴あけました!
・スパコンを水に浸しました!
常識を覆してる!がスパコンが本来の目的ではない。
データとAIがわれわれ野目的!
いよいよ準備ができた
スパコンを水に浸して冷却する
データセンターに穴をあけてしまって冷却する
次にセキュリティーのお話
仲原 英之さん
執行役員 テクノロジーグループシステム統括本部長
これはGoogleでは有名な話だが、ヤフーの100あるサービスでもお祭り騒ぎだったらしい。
2018年6月~ TSL1.2 利用に切り替え
SSL/TSL1.0/TSL1.1 利用停止!!
3%あるTSL1.2 に対応できないサービスを、お客様目線で安全を最優先にして、頑張ったって話らしい
・売上影響より、安全を優先
・全サービス TSL1.2 へ移行(TSL1.0/TSL1.1 廃止)
・早めに、広く 告知
あー、なんかどこかで見たことがある
未対応のデバイスやブラウザでの拒否反応
これはたすかに助かる話だとクリエイター側では称賛されていたのを思い出す。ヤフーが対応してないなら、うちの企業も対応除外しよう。そんな乗り
中の人も同じことを考えていたらしい。
大事な事ですよね、リードする企業が率先としたサービスの取り入れ
そしてこれからどうなる?
セキュア通信の「これから」
TSLの次は TSL 1.3 なのでしょう
次は TSL1.2 対応 ~ 第2次TSL祭り~
でしょうね!またお祭り差が魏になるのか(中の人が)
そして社内に配信してるという動画が流れて基調講演は終わり
カフェタイム
休憩時間が15分次の登壇まであるので休憩
かわいい、次の講演でもでてくる「けんさく」ちゃん
フリードリンクサービスもたくさんありました
コカ・コーラとなっちゃんが即効でなくなってました
ホットコーヒーサービスもあって、これはうれしいですね
ノベルティーグッズも無料で配ってました
ポテチを挟める大きいクリップ、これいいね
ステッカーも数枚頂きました。ありがとうございます
もう道に迷わない! Yahoo! MAPにおけるAR体験
A-114:00-14:45
> アプリ開発
もう道に迷わない! Yahoo! MAPにおけるAR体験
徳元 健太
メディアカンパニー 検索統括本部 ローカル検索本部
廣橋 孝紀
テクノロジーグループ データ&サイエンスソリューション統括本部 スマートデバイス本部
次の講演はこちら、ARマップのお話
今度は最前列に鎮座してみた
ナインがいいって足が前にどーんと出せる
Yahoo Map に組み込まれている iOSアプリのARKit のAR機能のお話で
なんと、たった3人で作ったらしい。そんな、開発とデザイナのお話でした
けんさくとゴールピンの実装の話
デザイナーの廣橋さん
廣橋 孝紀
テクノロジーグループ データ&サイエンスソリューション統括本部 スマートデバイス本部
今回デザインした画面
デザイナーのツール
・Prott ・・・ へぇ意外にもこれなんだ
・Flint ・・・ これはしらない
・Adobe After Effect ・・・ あー
・GitHub ・・・ だよね
2D と3D の違い、これはそうだな
まるで違うスキームっすね
はい、ということでまとめはこうだ
リアルタイムに更新してみたけど、全然頭に入ってこない
ついていけないのが分かったので、一旦この辺で
ライブクイズ「ワイキュー」を生み出した"内因的モチベーションドリブン"/ワイキューが目指した"楽しい時間を作るデザイン"
A-2 15:00-15:45
> 新規サービス | デザイン
ライブクイズ「ワイキュー」を生み出した"内因的モチベーションドリブン"/ワイキューが目指した"楽しい時間を作るデザイン"
善積 正伍 / 染矢 沙織
メディアカンパニー メディア統括本部 メディア本部
次はヤフーの「ワイキュー」のお話だけど、そもそも初めて知りました。ヤフーさんごめんなさい。へぇという新たな気持ちで眺めます。
ちなみに、事前投票?の結果で人気講演がわかるようで、満席になると思われるものは「満席」バッヂがついてるのでわかりやすい。さすがに立ち見は嫌だな。
Room B が会場が狭いので満席シールが4つもあった
さて次の講演はけんさくちゃんを見に行こう
ユーザーコミュニケーションの新たな武器、けんさくとえんじんの秘密
A-3 16:00-16:20
> デザイン
ユーザーコミュニケーションの新たな武器、けんさくとえんじんの秘密
武井 友里恵
コーポレートグループ SR推進統括本部 コーポレートコミュニケーション本部
実はごめんなさい。けんさくちゃんもエンジンちゃんも知りませんでした
見たことはあっても、認識してませんでした。
改めてみて、「かわええっす!」
この登壇者、武井さんによるとこの方のイラストはPhotoshopで下書きしてから最後に書き起こしはIllustrator らしいです。
ちゃんとデザインシステム的なレギュレーションあるんですね。
こういうの大事っす!
もともとヤフーには各サービスごとに来独自キャラクターが多数存在していたがこれが撤廃することになりました。
なるほどですね!
そしてうまれたのが、この「けんさく」と「えんじん」だったらしい。
そういえばキャラクターどこいったんだろうって今更
けんさくとえんじん爆誕
それに至るまでの話ですが
ヤフーらしさと、国民的なキャラにならないかと
ヤフージャパン。なので日本らしさということで
案が出されたのがこれら、ご当地感・・・。
ヤフーらしさ、その前に国民的なキャラになってほしいということできまったようだ。
応援よろしくね!
次はB Room に移動して・・・
Kubernetesで実現したYahoo! JAPANの次世代開発環境~ 100以上のクラスタを少人数で運用する秘訣 ~
B-5 17:00-17:45
> インフラストラクチャ
Kubernetesで実現したYahoo! JAPANの次世代開発環境
~ 100以上のクラスタを少人数で運用する秘訣 ~
稲津 和磨
ゼットラボ株式会社
勝田 広樹
テクノロジーグループ システム統括本部 プラットフォーム開発本部
耳にしたことはあったけど、全然しらない技術
コンテナのコントロールとかいろいろできる Kubernetes(クーバネティス)
発音が難しいから、クバネテス でいいかな?
どどーん。Bルームのほうがやや狭い。のに人気公演がこちらに集中してるのはなぜか、狭いから満席になってるだけか
Kubernetesで実現したYahoo! JAPANの次世代開発環境
~ 100以上のクラスタを少人数で運用する秘訣 ~
私が行ったときには席が全然なくて、スタッフにココあいてるよ!って見つけてくれましたので、遠慮なく座らせていただいた。親切にありがとうございます。
~ 100以上のクラスタを少人数で運用する秘訣 ~
とあるけど、規模感がイメージつかない・・・
稲津 和磨
ゼットラボ株式会社
勝田 広樹
テクノロジーグループ システム統括本部 プラットフォーム開発本部
このセッションについては
Yahoo! JAPAN を支えるインフラのご紹介いただけるそうです。
開発に集中できるプラットフォーム
開発外作業をいかに減らすか
・・・これはインフラじゃなくてもすべての職場、スキルでいえる事ではないでしょうかね。ディレクタやってるが、本来のクリエイティブに専念するのに無駄な作業多い、見習う事おおいな
Z Lab
クラウドネイティブなアプリケーション設計
マクロサービス
⇒ 高速なリリースサイクルの実現、したいですよね
そこで、コンテナ技術の導入
コンテナオーケストレーションの必要性
ここででてくるか Kubernetes(クバネティス)
でた!Kubernetes (クバネティス)
Kubernetes を調べてみた
Kubernetesは、コンテナ化したアプリケーションのデプロイ、スケーリング、および管理を行うための、オープンソースのコンテナオーケストレーションシステムである。元々Googleが設計したシステムであるが、現在はCloud Native Computing Foundationがメンテナンスを行っている。 ウィキペディア
マシンに障害が起きた場合、別のマシンでコンテナを起動し、必要数を維持するということをしてくれるのが、クバネティスらしい。
さらに、付加に応じてコンテナ数を水平スケールすることもできるそうです。すごいな!これがクバネティスであり、コンテナオーケストレーションらし!
マシンの障害(マシン本体)が起きた場合、別のマシンでコンテナを起動し、必要数を維持留守事も可能。この際も、「ひと」は何もしない。
Kubernetes as a Service
・簡単なクラスタの生成
・クラスタを構成するマシンの自動回復
・無停止でのクラスタアップグレード
無停止でのクラスタアップグレード
開発外作業をいかにへらすか
リリースまでの流れ
1. クラスタ作成
2. アプリケーション開発
3. デプロイ
クラスタ作成は1コマンドで作成可能
$ create cluster sample1
アプリケーション開発(例)
イメージのビルドとレジストリへのアップロード
デプロイ用のマニフェストを作成
デプロイも1コマンド
$ kubectl apply -f manifests/
以上でリリース完了
デプロイしたアプリケーションにアクセスする
「hello world!」が画面に表示されるだけのアプリの例
負荷状態はダッシュボードでの可視化
Grafana での可視化
リリース状態をスケール
脆弱性対応
これらを活用してるYahoo!JPAN
・利用サービス数:50以上
・クラスタ数:200以上
管理チームは実は10人程度らしい(兼任で)
状来の展望
まとめ
そして次は最後の講演
Yahoo! JAPANの巨大インフラの運用と展望
B-6 18:00-18:45
> インフラストラクチャ
Yahoo! JAPANの巨大インフラの運用と展望
奥村 司 / 神尾 皓 / 安藤 格也
テクノロジーグループ システム統括本部 サイトオペレーション本部
いよいよ最後はじまりました
ほぼ満席(先ほどみたいにがっちりじゃないけど)
奥村 司 / 神尾 皓 / 安藤 格也
テクノロジーグループ システム統括本部 サイトオペレーション本部
サイトオペレーション本部
Yahoo! JAPAN の提供するサービスはさまざま
サイトオペ本部の提供sるインフラはこのように
うち今回のお話(スコープ)はこの3つ
OpenStack(オープンスタック)
OpenStackは、クラウドコンピューティングのためのオープンソース・フリーソフトウェアであり、クラウドの分類のIaaSサービスとして仮想マシンやその他のリソースを提供する。 ウィキペディア
OSSのクラウド基盤のお話です
OpenStack のクラスタ数は 162 あるそうです。
ひとつのOpenStackは図の通り、が162
Yahoo! JAPAN のOpenStack は
稼働時期は、2013年から
クラスタ数162
HV数:10,000以上
VM数:140.000以上
もはや想像ができない
およそ1年半前はこのくらい
1年半での変化、指数関数的に増えてきている!?
クラウド利用目的の変化があった
ここで課題
クラウド環境の変化とともに課題が表面化されてきた
運用・構築作業の肥大化
障害の深刻化
ライフサイクル
それぞれの課題
・運用の自動化
・ワークフローの監視
・クラスタ間の移動
まず運用の自動化は・・・
実施した結果
ワークフローの監視は・・・
システム構成
実施した結果、それぞれの良し悪し
クラスタ間の移動
SWIFT(スイフト) を活用したシステムの構築
システム構成は
実施した悔過の良し悪し
まとめ・・・
改善の方向性を定めるにもサービス開発と同じようにユーザー(インフラ利用者)ファーストの視点がインフラ開発でも大事だ
奥村 司 / 神尾 皓 / 安藤 格也
テクノロジーグループ システム統括本部 サイトオペレーション本部
アジェンダ
プライベートうラウドについて
クライドストレージについて
オンぽーねんとの数だけ様々なストレージシステムが存在している
Software Defined Storage(SDS)への取り組みについて
私たちがほしいストレージ1
私たちがほしいストレージ2
Qubyte as Object Strage
Qubyte as Clinder (Block Storage)
Qubyte as Manila (File Storage)
Quobyte as Kubernetes Persistent
SDSを運用するうえでのチャレンジ
分散システムのネットワークについて
システム概要
Local NVMe vs Quobyte 1
右側がシーケンス、左側がランダムでの評価性能
Local NVMe vs Quobyte 2
Perfomance 1
Perfomance 2
再掲
これからのクラウドストレージについて1
これからのクラウドストレージについて2
SDSの柔軟性を生かしたストレージ設計、後世の最適化を行っていく
オペレーションコストの削減を図る
クライドストレージのまとめ
続いて最後
奥村 司 / 神尾 皓 / 安藤 格也
テクノロジーグループ システム統括本部 サイトオペレーション本部
安藤さん
ヤフーのネットワークの規模
オペレーションの種類いろいろ
運用自動化を目指す
ネットワーク概略図
以前はたてのトラフィックの需要から
現在はサーバー同士の通信が中心になった
自動化の戦略を考えると
内政ツール、抽象化の推進
抽象化されたライブラリを利用し、オペレーションごとに自動化へ
赤いところが自動化に成功した結果
Ansible + Cumulus + RFC5549
Vagrant + CumulusVX + Ansible
Ansible + Cumulus + RFC5549 + CI
Aqstra
Aqstra + ZTP
それぞれの良い点悪い点
まとめ
そして最後にそれぞれのセッションのまとめ
以上です。
巨大なインフラを支える
プロフェッショナル集団として
Yahoo!JAPAN のインフラを
UPDATE していく
以上ですべてのセッション(講演)が終わりました
おなかがすきすぎて・・・何がでるかな
そうです次はネットワーキングパーティー
ネットワーキングパーティ
すぐ隣の会場に行くとすでにいろいろと用意されてました
ウェルカムドリンクにビールを持って
食べ物は暖かいものもあるようです。まだラップしてある
そして乾杯があるようです
ヤフー株式会社 執行役員 CDO
佐々木 潔
CODじゃなくて、CDOを強調されてました
うまうまです。頭を使い過ぎてちょっと脳みそが疲弊してました
というか難しくて全く分からない内容が多くて脳みそがつかれた
ただただへぇ!すごい!
でもそれも勉強なのだろうね。知らないことを知る!そこ
なぜか、チキンが多かった!全部おいしかったです。
デザートかと思ったら違ったやつ
帰りに、アンケートに答えて、完了画面を引き換えに、
これがもらえました。オリジナル?のモバイルバッテリーでした
容量は、2200 mAh と書いてありました。大容量じゃないけど、ちょうどいい軽さです。(2人でいったので2個もらえました)
あとノベルティーでもらえたこのクリップ
メモ帳を止めるとかって言ってたけど、これポテチとか柿ピー止めにちょうどいい!!感激した。
編集後記
現地でリアルタイムに写真撮ってPC使ってメモを残してをこの note やってみたけど、ちょっと大変だった。写真がなきゃ全然楽、通常の議事録を取るような感じなので特に問題はない。けど写真もセットとなるとちょっと大変、もし現地にWi-Fiがなければ最悪だ。
あとnote 自体の使い方だが、気軽にマークダウンすらも必要ないという意味ではすごく便利。だけどオフラインでもやるとかとなると、マークダウンできるブログサービスのほうが軍配でしょうかね。書式に関してもnoteは限られてるから、それがいいのだけど、オフラインとなるときつい。
最後にテキスト流し込みではできないからね。テキストのみならまだしもそうすると書式が活かせないとなると、こういう現地記事はテキスト原稿を作って最後にアップするとかのほうがよさそうだ。けど私はnote使う。
Webのお仕事、元phpプログラマ、今主にWebディレクタ、たまにエンジニア、UXディレクタ、LTのネタ探ししてます。