記事一覧
ALTA-E-8.2.1 (K4) テスト環境や SUTの一連の変更の後、統合や更新を行うべき場所を把握するために、テスト環境コンポーネント、ツール、サポート機能ライブラリなどの自動テストウェアを分析する
テスト自動化ソリューション(TAS)の分析テスト環境のコンポーネントの変更点の特定: テスト環境の各コンポーネント(テストソフトウェア、ライブラリ、OSなど)が、TASの動作にどのような影響を与えるか分析し、必要な変更や改善を特定する。
自動テストの効率化: TASの成熟に伴い、より効率的な実行方法を模索し、コア機能ライブラリの最適化や新しい技術の導入を行う。
機能の統合: 複数の機能を統合
ALTA-E-8.1.1 (K4) 導入したテスト自動化ソリューションの技術的側面を分析し、改善の推奨策を提供する
スクリプティングテストケースの重複を減らし、再利用可能な関数を作成することで保守性を向上させる。
エラー発生時の復旧処理を確立し、テストの安定性を高める。
待機処理の最適化を行い、テスト実行時間を短縮する。
テストウェアの品質向上のため、コーディング規約や静的解析を適用する。
テスト実行テストスイートを分割し、実行時間を短縮する。
テストカバレッジを分析し、重複を削除する。
検証標準
ALTA-E-7.2.1 (K3) 自動テストスクリプトやテストスイートの振る舞いの正当性を検証する
自動テストスイートの検証手順既知の合格/不合格テストの実行: テストケースが期待通りに動作するか、または意図した通りに失敗するかを確認することで、テストスイート全体の健全性を評価します。
テストスイートの確認: テストケースが全て正しく設定されており、フレームワークとの整合性が取れているかを確認します。
新機能に対するテストの検証: 新しい機能が追加された場合、その機能を正しくテストするため
ALTA-E-7.1.1 (K3) テストツールの設定を含む自動テスト環境の正当性を検証する
テストツールのインストールと設定TASの各コンポーネントが正しくインストールされ、設定されているか。
自動インストールスクリプトや手動でのファイル配置など、構成プロセスが適切か。
サービスパックやアドインなど、SUT環境との互換性が確保されているか。
セントラルリポジトリからの自動インストールで、異なるSUTでも同じバージョンのTASを使用できるか。
テストスクリプトの検証合格するはずの
ALTA-E-6.4.1 (K2) 確認テストを自動化する際に考慮する要素を説明する
確認テストを自動化する際に考慮する要素確認テストの目的と重要性
欠陥修正の検証: 報告された欠陥が修正されたことを確認するためのテストです。
再発防止: 欠陥が将来のリリースで再び発生する可能性を低減します。
自動化のメリット: テスト実行時間の短縮、既存の自動テストとの統合による効率化が期待できます。
自動化のタイミングと範囲
柔軟な実施: 欠陥の報告と再現手順の理解後、いつでも実施
ALTA-E-6.3.1 (K2) 新規のフィーチャーのテストを自動化する際に考慮する要素を説明する
新規のフィーチャーのテストを自動化する際に考慮する要素既存のテスト自動化システム(TAS)の評価: 新規機能に対応するために、既存のTASが適切か、または変更が必要か、あるいは新しいツールが必要かを判断します。
テストケースの開発: 新規機能の要件に基づいた新しいテストケースを開発し、既存のテストケースとの整合性を確認します。
テストウェアコンポーネントの更新: 新規機能の実装に合わせて、テ
ALTA-E-6.2.1 (K2) 回帰テストを自動化する際に考慮する要素を説明する
回帰テストを自動化する際に考慮する要素テスト実行の頻度: 頻繁に実行されるテストは自動化に適しており、実行時間を大幅に削減できます。
テスト実行の時間: テストの実行時間は自動化の価値を評価する上で重要です。時間のかかるテストから自動化を始めることで、テストの効率化が図れます。
機能の重複: 既存のテストケース間の機能重複を減らすことで、自動テストの実行時間をさらに短縮できます。
データ共
ALTA-E-6.1.2 (K2) 手動テストを自動テストに移行する要素を理解する
手動テストを自動テストに移行する要素テスト自動化のテスト環境で利用できるツール: テストツール選定、テスト環境構築、ツールの機能検証など、自動化に必要な環境を整備します。
テストデータとテストケースの正確性: 自動テストで正確な結果を得るために、手動テストのデータとケースが正確かつ完全であることを確認します。
テスト自動化作業の範囲: 全てを一気に自動化せず、まずは限定的な範囲から始め、徐々
ALTA-E-6.1.1 (K3) テスト自動化の合目的性を判断するための移行条件を適用する
テスト自動化の合目的性を判断するための移行条件使用頻度: 頻繁に実行されるテストほど自動化のメリットが大きい。特に回帰テストは自動化による効果が高い。
自動化の複雑度: システムが複雑であればあるほど、自動化による効率化効果は大きい。しかし、一部のテストは自動化が困難な場合もある。
ツールの適合性とサポート: テストツールと対象システムの適合性、およびツールのサポート体制が重要。
テストプ
6. 手動テストから自動化環境への移行
6.1 自動化の移行条件ALTA-E-6.1.1 (K3) テスト自動化の合目的性を判断するための移行条件を適用する
ALTA-E-6.1.2 (K2) 手動テストを自動テストに移行する要素を理解する
6.2 回帰テストを自動化する際に必要な手順の特定ALTA-E-6.2.1 (K2) 回帰テストを自動化する際に考慮する要素を説明する
6.3 新規のフィーチャーのテストを自動化する際に考慮
ALTA-E-5.4.1 (K2) テスト実行レポートの作成および公開の方法を説明する
テスト実行レポートの作成テスト実行レポートは、テストの実行結果を分かりやすくまとめ、関係者に共有するための重要な資料です。レポートには、以下の情報を含めることが一般的です。
実行概要: テスト対象のシステム、実行環境、テスト結果のサマリーなど、全体的な状況を把握するための情報です。
失敗の詳細: どのようなテストが失敗し、その原因は何だったのかを具体的に記載します。トラブルシューティングに役
ALTA-E-5.3.1 (K4) TASおよびSUTのテスト結果記録を分析する
TASのテスト結果記録テストケースに関する情報: 実行中・開始・終了時間、成功・失敗・エラーなどのステータス、タイミング情報、実行回数など
SUTに関する情報: メモリリークなどの動的情報、実行結果、サードパーティツールによる計測結果
テスト実行の詳細: テストケースのアクション、ランダムなパラメータ、スクリーンショット、クラッシュダンプなど
情報の可視化: 記録された情報の種類を色分けす
ALTA-E-5.2.1 (K3) 技術的およびマネジメント的な要件をサポートするメトリクス収集手法を実施する。テスト自動化のメトリクス測定をどのように実施できるかを説明する。
テストウェアの拡張自動化テストウェアに実行時間などの情報を記録する機能を追加。
抽象化されたテストウェアを活用することで、すべてのテストに拡張を適用可能。
測定とレポート生成テストツールが提供する機能を利用し、テスト実行前・中・後に情報を記録。
過去のテスト結果と比較し、傾向を分析。
テストの成功/失敗、失敗原因の詳細な情報をレポート。
予測される違いと予測されない違いを区別し、比較。
ALTA-E-5.1.1 (K2) テスト自動化戦略と有効性を監視するために使用できるメトリクスを分類する
外部メトリクスTASが他の作業、特にテスト活動に与える影響を測定します。
自動化のメリット: 時間やコストの削減、テストカバレッジの向上など、TASによって得られる具体的な利益を測定します。
構築/保守工数: 自動テストの作成と維持にかかるコストを測定します。
故障分析工数: 自動テストで検出された故障を分析するのにかかる時間を測定します。
故障と欠陥の比: 複数のテストが同じ欠陥を検出