・「どんなデータを使って、何を覚えさせたが」を聞く。
・「こう動くはず」と思っていることを聞く。
・「そう動くと思っていることが確かにそう動く」かの確認は必要。
　→この確認はテストの初歩であるので、忘れないこと！
・ AIも一つの機能なので、機能全体を考えていつものテスト観点も出る。

・精度の確認

実際のログを使った制度の確認は、教師データに使ったデータを使うのはアウトになる。
⇒「これが入ったらこうなる」とそのデータで覚えたのに、同じデータを使ったら同じ結果になるのは至極当然だから。
精度を見たいのなら違うデータで確認しないとダメ！

精度の代表的な計算例

①Precision(適合率)
該当の件数の内何件当たったか。

②Reciprocal Rank
該当のものの何番目に最初の当たりが出たかを分数にする。
条件を変えて計算した後、その平均を出したのがMRR(Mean RR)である。

③Average Precision(AP)
その順位までにおける正解率を、各正解データの部分に限定して平均を取ったもの。
条件を変えて計算した後、その平均を出したものがMAP(Mean AP)である。

・テスティングのやり方

AIみたいな期待結果がわからない時…、
「こう変更したらこうなるはず」と予測出来る関係を使って変なことが起っていないかを確認出来る方法がある。

メタモルフィック・テスティングと言う
「入力に対してある一定の変化を与えた時出力の変化が理論上、予測出来る」メタモルフィック関係を使ったテストのことである。

テスターちゃん８用

これはロジックにもよるため、開発者との連携が重要となってくるので注意する。

・ペルソナを使ったテスト

ここでのペルソナとは…。
ユーザーをグループやパターンで等で分けた時、それを代表するユーザー像のこと。

そのペルソナを想定してシナリオを、作成して確認していく。
→ペルソナを使ったテストの期待結果の一案について、例えば、4段階とかのアンケート形式で取るなど…。

・再学習が発生した場合

再学習をすることで、該当の箇所の精度は上がる。
しかし機械学習の怖いところは、その影響で他の箇所の精度が下がることもある。
それで全体のリグレッションテストが必要になることもあるので注意する。

■「Qiitaに書いてた記事をnoteに移行しよう」シリーズは終了です

「Qiitaに書いてた記事をnoteに移行しよう」シリーズについては、この記事が厳密な意味での最後となります。
「テスターちゃん」で学ぶソフトウェアテスト⑨と「現場の仕事がバリバリ進むソフトウェアテスト手法」を読んだメモ〜過去投稿編〜の続きにあたる記事については途中までしか書かれていない下書きの状態のため、次回からはほぼ新規記事として投稿する予定でいます。
また、JSTQBのFLのシラバスのまとめも書いていましたが、そちらは一旦破棄し、もしこれをテーマとした記事を投稿する場合は新規で書き直す予定です。

■テスターちゃんの書籍と今後について

この⑧の時点で、同人誌版では5巻までに該当し、また、その同人誌版5巻がまとまったのが現在一般流通している書籍版となります。

まつさん曰く、同人誌版5巻分で書籍版1巻分とのことです。

現在同人誌版は7巻まで発行されており、またブログの方も同人誌版8巻以降に収録されている話も投稿されています。

なので、「テスターちゃん」で学ぶソフトウェアテストシリーズの投稿については多分自分の性格上、気まぐれで更新すると思います。
と言うと語弊がありますが、同人誌版に収録されている分については投稿を続けますが、同人誌版が出るまでに追いついてしまった場合は、その時の気分で決めようと思います。
※同人誌版が出版されてからそれに収録されている話をベースにしたものを書く、と言う風に厳密に決めると出来ないと思うので。

それまでには、それ以外のシリーズ？も進められているといいなと思います。

週末一回は投稿する取り決めも難しい部分はありますが、今後ともへっぽこテスターのアウトプットにお付き合い頂ければ幸いです。

全力土下座でいますので、今後ともよろしくお願いいたします。

「テスターちゃん」で学ぶソフトウェアテスト⑧

■Archives

■テスト自動化

・テストの自動化って何？

・注意点

■AIが使われたオススメ機能のテストのやり方

・そもそもAIとは

・機能の確認