2019-09-17 NoOps Meetup Tokyo #8 #NoOpsJP
2019/09/17 に開催された NoOps Meetup Tokyo #8 のイベントレポートです。
●イベント概要
NoOps Japan はちょうど1年前の 2018年9月12日に第1回Meetupを開催しました。今回は1周年ありがとうの会としてセッション2本とともに第1回登壇者によるLT、そして恒例になりつつある登壇者全員によるパネルQAを企画しています。
NoOps = No "Uncomfortable" Ops
NoOps Japanでは 「システム運用保守の"嬉しくないこと"をなくそう！」 をテーマに、 NoOpsを実現するための技術・設計手法・開発運用保守サイクル・ツールや考え方・事例などを共有していきたいと考えています。
※ NoOpsとは？：NoOps Definition
■オープニング
岡 大勝 さん [NoOps Japan 発起人]
photo by @dora_e_m
感謝 そして 乾杯！
第一回は台風で延期になるところからスタートでした
●前回のおさらい
・入門サービスメッシュ
・kubernetesのデータ管理どうする？主に永続化ストレージについて
・データドリヴンなサービス運営を目指して～機械学習インフラの設計思想と可能性～
●NoOps Japan Communityの活動
・知の共有 : Meetup
・ものづくり: OpenHack
●NoOps Japan Communityの行動指針
・オープン、フェア、フラット
・共感駆動のSRCAサイクル
どんな活動もぼっちから始まる
共感、尊重、貢献、感謝でまわりはじめる
共感をMeetupで
貢献をOpenHackで
●NoOpsの活動の分類
・Resiliency
・Observability
・Predictability
・Configurability
・Safety
・Less Toil
今日はアサヒスーパードライが無尽蔵に！
■Antifragileの世界
川島義隆 さん [ウルフチーフ]
●自己紹介
・今日はフォロワーを増やしに来ましたw
・運用設計の教科書 特典カバーデザインを担当
『運用でカバー』のブックカバーできました。 pic.twitter.com/LBqOq5k2VH
— :craftsman/kawasima (@kawasima) July 31, 2019
・流しのアーキテクト
・cookpadのマイクロサービスの話でインタビュアーしてきました
●わからないにはレベルがある
・Cynefin Framework
分からないことがない
Simple/Obvious
分からないことが分かっている
Comlicated
分からないことが分からない
Complex
何もわからない
Chaotic
・複雑には2種類ある
分からないことが分かっている
分からないことが分からない
・複雑と複雑系は違う
complex/chaotic
●レベルによって戦術が異なる
・Simple / Obvious
既知のベストプラクティスを適用
・Complicated
複数のソリューションから最善なものを適用する
・Complex
仮説検証、アジャイルなアプローチ
・Chaotic
Chaoticな状況の生存戦略
Antifragileは、Fragileの対義語がないのでつくられた
Robustは「注意するな」ではない
・イメージ
Fragile : ヤムチャ
Resilient : ピッコロ
Antifragile : サイヤ人
●世の中の出来事の非対称性
・食肉用に育てられる七面鳥から見た飼い主との関係
線形に伸びてきた信頼が一気に裏切られる
・予測ができない大きな変動 Black Swan
リーマンショック、バブル崩壊、3.11
後知恵バイアスがかかる
ありそうもないことだと過小評価しがち
・Black Swanが起きたら
予測できないことは仕方がない
予測ミスによる損失を最小化、利得をを最大化するには？
●Simple/Obvious が Chaotic に変わるとき
・ユーザはひどいもんだ
ユーザがいなければ、システムはもっとうまく動くのに
by Rlease It! 4章 安定性のアンチパターン
●ソフトウェアへの適用
・Tinkering
adobeのkickbox
googleの20%ルール
・Chos Engineeringの5原則
定常状態における振る舞いの仮説を立てる
実世界の事象は多様である
本番環境で検証を実行する
継続的に実行する検証の自動化
影響範囲を局所化する
・自動bug fix: DeepFix
DeepLearningを利用したパッチ自動生成
・AutoTuning
ランダムにJVMパラメータを決めて起動
負荷をかけて、モニタリング値を評価
評価値が最大のJVMパラメータを元に次を選出
・Property Based Testing
Example Based
Assertionに決まりがない
Property Based
期待した振る舞いか？を確認
Specに従ってパラメータを生成
・Noise除去
データに触れるほど、信号よりもノイズに触れる数が増える
●Antifragile Systemを支える技術
・Microservices
障害の局所化
Tinkerring環境
・亀裂の伝播を防ぐ
サーキットブレーカー、障壁など
全て Release It! 第2版 に書いてあります
・DevOpsとAntifragileの重なりは多い
DevとOpsの分離
Opsの無人化
OpsのAntifragile化
●まとめ
・置かれた状況がどこか知ることが最重要
・複雑さの推移はシステムとビジネスサイドで逆方向
■Observability: Mackerel による観測と Mackerel の観測
@ast_j さん [株式会社はてな]
●Mackerel
・はてなが提供しているサーバ監視のサービス
●監視
・Observability
システムの内部状態が取得できる状態
構成要素
metrics, logging, tracing
Mackerelはmetricsが主戦場
・可観測性 ≠ 観測
可観測性：システムが持つ性質
観測 ：システム外部の行動
・人間やシステムが観測している
アラート対応
グラフを見る
・メトリック監視
メトリックを収集する
集積する
見えるようにする
人かシステムが見る
・監視の分類
Observability
Observe impl.
Observation
photo by @okahiromasa
●Mackerelによる監視
・収集方法
Agent型
URL外形監視
AWS/Azureをポーリング
・Mackerelでの観測手段
プラグイン自作
出力が素朴だから、bashでもgoでも
HTTPでJSON形式をレスポンス
・即時対応のアラート
実際にシステムが稼働しているか？
外形監視、エラーレート
CPU 100%でも動いているならアラート不要
対応が必要なアラートが埋もれないように
●Mackerelの監視
・JVMアプリの観測
jstat, jolokia JVM内部構造
サーバーごとのレイテンシ
APM: NewRelic APM
ログ: fluentd -> kibana
Mackerlも今日で5周年！
■LT1: NoOps Japan Community 1st Anniversary 祝辞
真壁 徹 さん [Microsoft]
●1年前
・以前に Opsの味方 という記事を書いた
NoOps？よろしい、ならば戦争だ
-> 和解へ
・2019/09/17
NoOpsのGoogle検索結果を
NoOpsコミュニティで染めた！
●NoOpsへの挑戦 成熟度
・戦術的課題
ビジネスリーダー層の理解
1,2割
・戦略的課題
既存組織や資産でブレーキを踏まれる
・文化的課題
ビジネス的な妥当性がない で終わり
●戦術的、戦略的課題を抱える有志へできること
次の一年は、トップランナー以外にも
課題を抱えている人に話してほしい！
●文化的課題を抱える有志へできること
他人や組織のマインドやカルチャーを変えるのは難しい
機会が生まれたときの準備に！
NoOps GameDayやりましょう！
■LT2: From 2018/09/20 to 2019/09/17
塚 譲 さん [Mercari]
●yahoo
・良いチームと働かせてもらえた
・ベアメタルのk8sサービス
・Yahoo! File Manager
をmercariのスライドでw
●mercari
・microservices platform
一緒に働くやつは自分たちで決めるチーム
●大切にしていること
・Developer Productivity Engineering
・考えを変えないのはバカと死体だけ
・自分のできることで、喜んでもらえるところで働きたい
・継続的に刺激を受けることが大切
■前回の様子
■感想
・認知バイアスに挑み続ける姿勢
・分からないのレベルに合わせた戦術
・システムとビジネスで反対になる複雑さの推移
・監視の 集める、貯める、見せる、使う フロー
・NoOps GameDay
・考えを変えないのはバカと死体だけ
など、沢山の なるほど と 共感 をいただけました！
登壇者の皆さん、スポンサーの皆さん ありがとうございました！！
いいなと思ったら応援しよう！
