ポストモーテム読書会を開催しました！

こんにちは、SREの岩崎です。好きな食べ物はピザです🍕今回はSREの取り組みの一環として開催したポストモーテム読書会をご紹介したいと思います。

ポストモーテムとは「インシデントとそのインパクト、その緩和や解消のために行われたアクション、根本原因（群）、インシデントの再発を避けるためのフォローアップのアクションを記録するために書かれるもの」になります。換言すれば、ポストモーテムとは身内向けの、改善のための障害報告書であるといえるでしょう。

Googleにおけるポストモーテム文化

SRE本によれば、Googleではポストモーテムの文化が成熟しており、以下のような共通認識ができあがっているそうです。

"ポストモーテムで批判を行わないことは、SRE文化における信条"

"個人やチームの「間違った」行いに対する指弾と不名誉の文化が広がってしまえば、人々は処罰を恐れて問題を公表しようとしなくなります"

"人を「修正」することはできませんが、システムやプロセスを修正して、複雑なシステムの設計やメンテナンスを行う際に、人々が正しい選択をすることをうまく支援するようにはできます"

"定期的なポストモーテムの読書会を開催するチームで、興味深いポストモーテムや、影響の大きいポストモーテムを（美味しい軽食と共に）取り上げます"

"効果的なポストモーテムを書くことは報われることであり、賞賛されることであるようにする"

CAMPFIREにおけるポストモーテム読書会の試み

上記のポストモーテム読書会の雰囲気が素敵だなあと思ったので、関係者に相談してCAMPFIREでもやってみることにしました（結局ビールはなしでピザだけ頼んだ）

開催にあたって、事前にチームメンバー全員にポストモーテムを書いてもらうように依頼し、当日はそれら一つ一つについて振り返り、改善案についてディスカッションしました。

ポストモーテムのテンプレートは以下のものを使用しました。内容はSRE本の「付録D ポストモーテムの例」にならっています。

作成日:
作者:
ステータス:
サマリ: 
インパクト: 
根本原因: 
発生要因: 
対応: 
検出: 
アクションアイテム: 

教訓
うまくいったこと
うまくいかなかったこと
幸運だったこと

タイムライン

参考情報

真剣に議論するチームの様子

嬉しそうにピザを手に取る佐々木氏

Googleのポストモーテムと異なる点として、今回はインシデントの大小に関わらず全員に書いてもらうようにしました。そのほうが特定の人間を追求している雰囲気が出ず、より公平な場になると考えたからです。中には一般的な基準ではポストモーテムを書くまでもない事例もありましたが、結果として有意義なディスカッションができたと思います。

また開催にあたり、全員で以下の点を強く意識しました。

1. 非難は禁止
2. 前向きな改善について話し合う
3. 個人が頑張るのではなく仕組みで解決する

3についてはできるだけ「気をつける」とか「頑張る」という結論にならないように注意しました。例えば、一見担当者の不注意に見える事例であっても、背後にはシステムが複雑すぎてミスが起こりやすい環境になっていたり、属人化が原因だったりといったケースがありました。

この場合、いくら担当者が気をつけても、背後にある原因が解消されなければまた同じミスが発生する危険性があります。このように、個人の努力ではなく常に仕組みで解決する方向に議論が進むようにしました。

以下は議題に上がったポストモーテム事例と改善案の一部です。

事例1: 特定の決済方法を選択時、決済できないバグが発生していた
原因: プルリクエストの差分が大きすぎてバグの原因になっていた箇所を見落としていた
改善案: 頑張って確認するのではなく、常にプルリクエストの差分が小さくなるように、少しずつデプロイしていく文化を作る

事例2: 依頼されていたキャンセル処理を忘れてしまっていた
原因: キャンセルが必要な事実を把握していたのがその人間だけだった
改善案: 頑張って忘れないようにするのではなく、他の人も気づけるように情報を共有する

事例3: 特定の条件下で管理画面がエラーになるバグが発生していた
原因: 考慮しないといけない条件が多すぎる
改善案: 頑張って考慮するのではなく、なるべく考慮しなくていいように処理を切り分ける

最後に

今回ポストモーテム読書会を開催してみて良かったと思うのは、ミスやインシデントに対するオープンな雰囲気ができたことです。

特にミスについては人間の常として恥ずかしいもの、隠すべきものという意識になりがちですが、このように全体に共有することで良い経験則になりえます。

みなさんもぜひ一度美味しいピザとともにポストモーテム読書会を開いてみてははいかがでしょうか。