テストケース管理ツール：後悔しないで正しい選択をする方法

Redmadrobot Ilya GorshkovのQA部門の責任者は、テストケースを操作するためのツールキットをどのように選んだかを語っています。



複雑なソフトウェアシステムで作業する過程で、多数のプロジェクトドキュメントが作成されます。 ほとんどの場合、その構造的構成はほとんど同じです。これらは、さまざまなレベルのシステム、アーキテクチャの説明、プログラムコード、QAチームのドキュメント、プロジェクト計画、レポートなどの要件です。



今日は、プロジェクト中に作業するRedmadrobot QAチームの成果物についてお話します。 これらは、テスト戦略、テスト計画、テスト実行とテストケース、トレーサビリティマトリックス、バグレポート、パフォーマンスと品質メトリック、テスト結果に関するさまざまなレポートなどです。 それらはすべて特定の階層を持ち、特定の順序で作成され、定期的な更新が必要です。



すべてのQAアーティファクトを処理する単一のシステムを作成する問題を解決するには、いくつかの方法があります。 たとえば、ExcelおよびGoogle Docsを選択するか、すべてをバグトラッカーに保存する（問題タイプとしてテストケースを使用する）か、会社のバグトラッカーに統合されたテストケース管理ツールの1つを使用します。 Redmadrobotでは、プロジェクトの詳細、タスクの範囲、QA文書の種類、使用するテストの種類、開発および実行される手動テストケースの数、および同時に機能するさまざまなプロジェクトに基づいて、3番目のオプションを選択しました。



次のステップは、適切なテストケース管理ツールの選択でした。 このようなツールを選択する際のエラーの価格は会社にとって非常に高いため、この選択を可能な限り責任を持って行うことが非常に重要です。 RedmadrobotのQAチームは、いくつかの段階で最終決定を下し、必要なツールが満たすべき基準を開発することから始めました。



導入した基準は次のとおりです。

• 会社のバグトラッカー（JIRA）との統合
• ストレージと、以前に作成したテストケースのインポートを含む、テストケースを編集する機能
• テストケース要件の簡単な追跡
• テスト実行/テストスイートの便利な構成と便利なユーザーインターフェイス
• テスト開発とテスト実行に関するすべての情報を1か所に保存し、QAチーム用の単一のスペースを作成する
• トレーサビリティマトリックスを作成する機能
• タスクを分散して特定のエンジニアに割り当てる機能
• レポート、メトリック、統計の容易さ
• インストール、実装、サポートの容易さ

何から選ぶか：



基準を作成した後、市場で最も期待されているいくつかのツールを調べました。 一部のツールは綿密な調査により破棄され、残りのツールについては評価ライセンスを発行し、調査を継続しました。 その結果、リストはパイロットプロジェクトが実施された3つの機関に縮小されました。



1. ゼファー

2. TestRail

3. メリオラ



パイロットの終わりに、各パイロットでの作業の能力と利便性の明確な理解、各ツールの機能、それらの適用性と使いやすさが明らかになりました。 各ツールの高レベルの特徴は次のとおりです。



Zephyr （1ユーザー-30ドル）-このツールの際立った機能は、アトラシアン製品であるということです。つまり、JIRAと完全に互換性がある必要がありますが、問題はJIRAサーバーに対して有効であるということです。パイロット段階で多くの問題がありました。 この欠点に加えて、Zephyrは使用するのに不便です。テストケースの追加は長く、それほど簡単ではないため、計画および実行を作成するときに多くの追加のアクションがあります。



Meliora （1ユーザー-25ドル）-JIRA Server +への移行も必要ですMeliora自体は、バグトラッカーを含む単純なタスクのほとんどを人為的に複雑にするかなり面倒なツールです。



TestRail （1ユーザー-20ドル）-シンプルで便利なツール。 主なプラス-カスタマイズはほとんどすべてで可能であり、すべてのアクションは直感的です。 テストケースをインポート/エクスポートすることが可能です。



パイロットの結果と各ツールのフィードバックを分析した後、TestRailに集中することにしました。

• テストスクリプトの作成/保存/編集、テスト計画の管理、テストサイクルの開始、テスト結果の記録。
• テストシナリオの明確な説明、レビュー、要件との相関、領域への分割-これらすべてにより、機能テストのカバレッジがどれだけ完全であるかを評価でき、プロジェクトチーム全体にとって必要な資料です。
• 完全に異なる基準に関するレポート：欠陥の概要、ケースの比較、プロジェクト/コンポーネント/マイルストーンのテスト結果など。
• 「ワーキングダッシュボード」を完全にカスタマイズする機会、およびさまざまな期間のQAチームのステータスを簡単に取得する機会（毎週/毎月のQAレポートの作成に役立ちます）。
• JIRAとの簡単な統合。
• リーズナブルな価格。
• 素晴らしいサポート。
• Excelからテストをインポートする簡単で便利な方法。

以前に作成したテストケースを簡単にインポートできることは、私たちにとって非常に重要な基準でした。 RedmadrobotでQAプラクティスの開発を始めたばかりのとき、テストケース管理ツールの話はまだありませんでしたが、Excelを使用してテストを処理しました。 しかし、Excelを将来の基盤として使用するという問題にすぐに取り組み、テストの明確なフォーマットを作成し、しばらくしてからそれらを「ツール」に「フィード」することに気付きました。 TestRailを商業運用に導入したとき、「現状のまま」数千のテストケースをエクスポートできたため、ツールを実装する労力が大幅に削減されました。



以下では、さまざまなQAアクティビティに対するTestRailの機能を詳細に調べます。



テスト開発：

• テスト計画/スーツ/テストケースの作成。
• 便利な保管、更新、整理。
• インポート/エクスポート編集機能;
• テスト属性の簡単にカスタマイズ可能なセット。
• 要件のトレーサビリティ。

テスト実行：

• マイルストーン（会社の品質基準による）;
• コンパイルテストの実行。
• テスト実行からの欠陥の確立;
• タスクの配布。
• JIRAとの便利な統合。

テスト管理：

• 活動管理;
• 役割の分布;
• タスクの割り当てと実装の制御。

報告：

• テストの進行。
• 既製のレポート形式のテスト結果。
• プロジェクト統計;
• さまざまなレポートオプション。
• チームのパフォーマンスメトリック。

結果は何ですか：



8月に最終選択を行いました。 9月に、QAプロジェクト活動のほとんどがTestRailに移されました。 私たちはそこですべての新しいプロジェクトを翻訳し続けています。 ずっと、彼らは選択を後悔していない。 選択の正確性と実装のプラスの効果に関する仮定を確認するいくつかのメトリックを収集しました。 エンジニアにツールを効果的に使用する方法をすばやく教えることができました。 近い将来、すべてのプロジェクトに要件トレーサビリティを実装する作業を終了し、TestRailをさらに使用し続けます。