エンジニア組織の何を測定し、どんな示唆を得ているのか
はじめに
SkillnoteVPoEの安藤です。
前回プロダクト開発組織の生産性指標として、どのような背景でどのように可視化しているか、という点について記載しました。
今回は、主にFour Keysのデータを元に、どのようにデータを見てどのような示唆を得ているのか、結果どのようなアクションを取っているのか、といった点を深掘りしていきたいと思います。
データ測定の背景は何か
Skillnoteではプロダクト開発を効率的に進めるため、主に以下のSaaSサービスを利用しています。
JIRA（チケット駆動開発）
Confluence（ドキュメント管理）
Github（ソースコード管理）
さらに開発活動を可視化するため、Findy Team+ を活用しています。
なぜこのような見える化の取り組みを行ってきたか、詳細は前回記載の通りですが、ざっくり言って以下のポイントがあります。
プロダクト開発の生産性を測る基準としてロードマップしか見えるものがなかった
そのため、スケジュールのズレが発生した際、遅れた事実は分かりやすいがなぜ遅れたか開発内外に説明できていなかった
個人的には開発内外というのがポイントだと考えており、エンジニア自身でも見積と実績のズレについて検知が遅れたり、見えないが故に頑張ればできると思い込んでしまうことが良くも悪くも発生してしまっていたと考えています。
上記は一部側面ですが、このような課題への対応を行いつつ、自律型組織のゴールに向け定量的にもふり返りができるようにしていく一環として、開発活動の測定・見える化をスタートしました。
現在はこれらのサービスから可視化できる以下の2点を主に測定しています。
Four Keys
計画SP、実績SP
どのように運用定着に取り組んだか
開発プロセス自体も少しずつ不確実性へ対応できるプロセスへ改善を進め、スクラム開発や、ユーザーストーリーベースでのチケット化などに取り組んできました。
Findy Team+ を導入したのは2023年10月になりますが、このくらいの時期からある程度測定ができる土台はできていたと言えます。
そのため、大きく運用を変えなくてもサービス導入のみである程度見える化できたことは大きな一歩でした。
これを踏まえ、運用定着への取り組みとして以下の2点に集中的に取り組みました。
毎月のレポートを作成、発表
運用変更を少しずつ提案する
データが見える化できても各メンバーに見る癖がつかなければ意味がありません。最初は興味を持って見てくれる人もいると思いますが、PDCAを回し続けられる組織を目指す上で、一過性のことにしてしまっては効果がないため、まずは自分が慣れることも目的に各指標についてデータを見て分析するレポートを作るようにしました。
ここでは各自が自身の数字について意識を向けてもらうことを目的としていたため、Findy Team+の中でもメンバースタッツに着目して活動のレポートを行うようにしました。
Findy Team+ではプルリクエスト、リードタイム、レビュー、コード、イシューの観点で可視化できるため、これらに沿って各メンバー活動を見えるようにしていきました。
以下はレポートの一部で、仮説の提案や、実際に改善傾向が見えたり、運用変更の提案なども実施していることが見て取れます。
現在の運用状況
このような活動を通じて、各自が数字を見て仮説を立てて、改善すること、および他者がその活動を見て参考にすること、などが定着してきたと言えます。
例えば「自分がレビューに入るまでの時間」を大幅に改善したメンバーの工夫を聞いた他のメンバーがその日には同じことを試して自身の改善に活かす、といったことにつながりました。
（具体的にはChrome拡張を利用し、プルリクエストでレビューア指定されると通知が来るように設定したそうです。）
レポートと運用改善活動を半年ほど継続することで、一定の定着化が見られると判断し、今月からレポートを作成することを止めました。（レポートを作成し始めた際、止めることを目的＝定着とする、としていたためです。）
今後は各スクラムチームごとにデータも活用したふり返り文化を作っていくことを期待としています。
（ただ、完全に止めてしまうと自分の肌感覚がなくなってしまうので、こっそり見て誰かを褒めるために使いたいなとは考えています。）
以上は開発内へのレポートという観点でしたが、開発外へ向けてのレポートも並行して実施しています。
最初に記載した通り、開発内外に対して今まではロードマップの進行状況のみしかレポートできていませんでしたが、各種指標を使い、定性的な情報も定量根拠をもって説明できるようになりました。
現在は経営会議にて、四半期のまとまったふり返り、期中の状況について説明するようにしています。
なお経営会議に盛り込んでいる指標については以下のような項目です。（今後盛り込む指標も含んでいます。）
ロードマップの進行状況
Four Keys
アウトプットとしての消化SP、パフォーマンスとしての計画SP対比
SLO（稼働率、パフォーマンス、インシデント発生状況）
組織コンディション
まとめ
先日DORA Core model v2.0がリリースされました。
以前のv1.2.2との大きな違いはパフォーマンス項目にSLOが入ってきたことで、リサーチ結果としても「まだ見えづらい領域を可視化したい」という思いが入ってきているように思いました。
Core modelに見られるように、Four Keysだけでは見えづらいのがSREやQA領域と考えており、見える部分のPDCAを回すことを継続しつつ、見えない領域の可視化も継続的に取り組み、組織としてのパフォーマンスを最大化していきたいと考えています。
Skillnoteエンジニア組織の1つの大きなゴールは自律型組織としており、各メンバーが自身で意思決定しながらプロダクトをより良い方向へ、高速に改善していくこととしています。
このために、定性情報だけでは説明しづらい、見落としがちな情報を定量データで補足しながら、継続的に改善し、強い組織、プロダクトを作っていくことに繋げていきたいと考えています。