2023年の出来事や考えたこと
今までどんなことをしてきたかnoteに雑に残しておきたくなったので、2022年と2023年は年度単位、2024年はQ単位で雑に残しておく。
こういった雑な記事から切り取ったものを、いつかもっとしっかりした記事にしたい。
2023 1Q(1-3月)
1月
組織図上、QA GroupはEng Unitの一員となった。入社した頃は一つのSprintチームで全員が開発に携わっていたが、この頃は「ユニコーン」「ビーバー」「キャット」の3チームに分かれた。私はビーバーチームのQAを担当していた。
引き続き、E2Eのリファクタリングをしてたらしい。
2月
「私が理解できていないかもしれないと思うこと、本当に私だけ理解できていないこともあれば実は私だけではない場合もある。だからちゃんと踏み込んでいく」という趣旨のメモが残っている。何があったのかは覚えていない。
3月
「ナレッジワークQAのテスト設計プロセス」というnoteを書いた
この頃はマインドマップでテスト設計していた。
MTGの度に文字起こしを書きすぎて手が痛くなってきたのと、人の話を文字に起こししながらQAとしての指摘していくことが当時は脳のキャパ的にできなかったことが辛くなってきた。上司のokapiさんに相談し、いくつかのMTGの議事録担当から外れさせてもらった。議事録マシーン以外の、人でしかできな部分で価値を出して行けるように頑張ろうと決意した。
2023 2Q(4-6月)
4月
ナレッジAIチャット機能のQAを担当し、試行錯誤しながらテスト分析〜実行を行った。特にナレッジ領域のナレッジからのテキスト抽出のロジックなどは今まで理解しないまま雰囲気で進めていたが、理解して図で可視化し、それをもとにテストケースも作れた。
CTOのmayahさんのエスパー（不具合の原因を突き止めたりな謎のすごい力）の秘密に迫るMTGで「最尤」という言葉を初めて知ったらしい。
5月
Tettanが入社してQAが4人になった。
再現方法がちょっとマニアックなバグを見つけ起票し、のちにCSのメンバーがSlack経由でそのチケットを見つけてくれて何度も褒めてくれて嬉しいな、みたいなことが起こったらしい。
E2Eの定期実行結果の確認は今までは私がよしなに動いていたが、これを徐々に当番制にすべく動き始めたのがこの頃らしい。
GCPのいちばんビギナーな資格を取った。
6月
初めてWACATEに参加しBPP賞をもらう。
「テストしたいことを名詞までで止めてしまうと解釈がブレる」は今も頭に留めながら仕事している。
右手に傘と鍵、左手にゴミと私物スマホを持ち、ゴミ置き場で左手をパーにしてから出社してしまった。早めに出社していたのでダッシュで家に戻ってスマホを回収して事なきを得て、会社に水筒を忘れたことに気付いた。
2023 3Q(7-9月)
7月
初めてJaSST nanoで登壇した。
E2Eで確認すべきテストの方針を策定すべく動き始め、AIT（API Integration Test）とE2Eの現状をまとめたナレッジなどを作ったらしい。
確かこの時期はtettanと2人体制でKnowledge領域のQAをしていた。
8月
色々ややこしいテストをしていた。
9月
色々ややこしいテストをしていた。
この頃まではE2Eテストがかなりフレイキーだった。
2023年6月には一日一回の定期実行で20回Fail、回り切るまでに一時間程度かかっていた。落ちるとRetryが走るので、その分も回り切るまで時間がかかっていた。
そこで、特に落ちやすい数ファイルに絞って「これで安定するはず」というリファクタを実施した。2023年9月には定期実行で8回Fail（妥当に落ちたものも含む）、45分程度で回り切るようになった
2023 4Q(10-12月)
10月
Tommyが入社しQAが5人になった。
BPP行脚をたくさん行う。
VPoEとの1on1で、「E2E動いた！嬉しい！安定した！嬉しい！」だけではなく、経営戦略やDivisionの方針とリンクさせる形でE2Eがどうあるべきかを考えてほしい、といった趣旨のことをフィードバックいただく。
バグ分析のファシリを始めたが、組織拡大に対してバグ分析会の進化が追いつかなくなってしまった時期で、その進化を私がさせることはできなかった。
11月
前のQの方針に基づきE2Eテストをバリバリリファクタした。
TestDesignDocの記事が公開された。
「Encraft #9 QA Enablement - Practical Test Design -」開催。
初めてTestDesignDocの紹介をした。
PFDで新規開発機能に対するE2Eテストの実装プロセスを書いてチーム内で合意して運用を始めた。
Encraft Share Dayという社内のLT会の初回に登壇し、そのPFDを紹介した。
12月
WACATEに参加しBPPセッションを行った。
リファクタの成果が出て、E2Eの調子が良かった時期らしい。
2023/06 178ケース、Fail率66%、実行時間約90分
2023/08 193ケース、Fail率25%、実行時間約50分
2023/12 203ケース、Fail率29%※、実行時間約35分
※プロダクトが壊れたものを妥当に検知してくれたらしい。