CodedUIまたはRanorex？ .NETアプリケーションの機能テストの自動化

この記事の著者はタチアナ・クルノソワですが、彼女はキルギスタンの山々を征服しに行きました。 したがって、この投稿を公開する名誉は私に落ちました。



よく知られているデスクトップ 、 モバイル 、 オンラインアプリケーションに加えて、2GIS企業は多くの社内エンタープライズ製品を開発しています。 これらの製品はユーザーの目には見えませんが、2GISインフラストラクチャ全体にカートグラフィックデータと参照データを提供するために膨大な作業が行われています。 このデータの処理は手間がかかり、エラーのない計算が必要です。したがって、すべての製品を「採用」する前に徹底的にテストされます。



この記事では、ツールをどのように選択したか、それらの技術的能力をどのように分析し、インフラストラクチャに適合するか、何が止まったかを説明します。







かつて、使用する製品のユーザーインターフェイスのテストに適したパッケージを選択するという課題に直面していました。 自動化に役立つものはすべて自動化されたテストでカバーされており、GUIも例外ではありません。 このため、ご存知のように、ユーザーアクションをシミュレートするツールがあります。



テスト対象の製品が.NETで実装されており、テスターがC＃プログラミング言語に精通していることを考慮すると、C＃でもテストを開発することが決定されました。 市場に出回っている多数のツールの中から、2つに決めました。 1つ目は、Microsoft Visual Studioに付属しているCodedUIで、これを積極的に使用しています。 2つ目はRanorexです。VisualStudioと互換性があるため、便利なインターフェイスとテスターからの肯定的なフィードバックがあります。



コード化されたUIは、Microsoft Visual Studio Premium / Ultimateに付属するソリューションの1つであり、テスト開発用のライブラリへのアクセスを提供します。



Ranorex Automation Toolsは完全な開発環境であり、テストを作成するためのツールとライブラリのセットです。



次に、これらの製品のいずれかを選択する必要がありました。

比較基準

パッケージを比較する主な基準を策定しました：

1. 動的に生成されたグラフィカルコントロール（コントロール）のサポート
2. カスタム検索制御システム
3. データ駆動型テストのシンプルなサポート（データ駆動型テスト）
4. 独自のモジュール（フレームワーク）を開発し、Cでテストを開発するときにそれらを使用する機能＃
5. Continuous Integrationサーバー（TeamCity）でのテスト実行のサポート
6. テスト実行の結果に関する有益なレポートの生成
7. テストをテスト管理システム（TMS）のテストケースに統合する機能
8. テスターに​​よる簡単な学習と使用

テストレイアウト

機能を比較するために、Windows Presentation Foundation（WPF）に基づくGUIを備えたテストアプリケーションが開発されました。 GUIのすべての主要な要素が含まれており、将来、実際の製品のテストに参加する可能性があります。

基準による製品比較

1.動的に生成されたコントロールのサポート

Codedui

CodedUIは、アプリケーションのすべてのUI要素へのアクセスを実装するUIMapクラスのオブジェクトを提供します。 名前を知っているか、ネストされた要素のチェーンを通過することにより、任意のインターフェイス要素を動的に取得できます。次に例を示します。



「最初のタブの最初のテキストボックス」

this.UIViewmodeltitleWindow.UIItemTabList.Tabs[0].GetChildren()[1].GetChildren()[1]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ただし、このようなレコードは、テストコードで直接形成することしかできません。



ラノレックス

Ranorexでは、GUIオブジェクトリポジトリはUIMapに類似しています。 XPath言語を使用して要素にアクセスするため、組み込みのレコーダーを使用して対応する要求を生成することにより、要素を選択できます。



「最初のタブの最初のテキストボックス」

 /form[1]/tabpagelist[1]/tabpage[1]/element[@classname='CardEditView']/text[4]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Codedui

ラノレックス

この基準によれば、Ranorexはコントロールを操作するためのよりシンプルな（学習しやすい）システムを備えているため、望ましいと思われます。

2.柔軟でカスタマイズ可能な制御検索システム

Codedui

CodedUIでは、デフォルトでは、コントロールの検索用にXPathは提供されていませんが、 特別なライブラリを接続できます 。



ラノレックス

Ranorex XPathでは、式はRanoreXPathと呼ばれます。 要素に一意の名前がない場合は、1つのアクションでその要素のXPath式を知ってアクセスできます（前の段落を参照）。



Codedui

ラノレックス

デフォルトでXPathサポートのためにRanorexを支持する追加のポイント。

3.シンプルなデータ駆動型テストのサポート

データ駆動型テストは、テストのソースコードとは別のリポジトリにあるテストデータセットの使用に基づくテスト自動化アプローチです。



Codedui

CodedUIテストを開発する場合、テスト構造を整理してテストを実行するために、データ駆動テストを作成する機能を含むMSTestフレームワークが使用されます。 どのテストも、CSV、XMLファイル、またはデータベース選択からのデータセットにバインドできます。



ラノレックス

Ranorexには、データドリブンテストを開発する機能もありますが、データのXML形式は除外されます。 どうやら、Ranorexの開発者はテスターに​​とってそれが十分に難しいと感じました。



Codedui

ラノレックス

この基準によれば、製品のXML形式は非常に一般的であり、多くの場合、テスターがそれを使用する方が便利であるため、CodedUIの利点があります。

4.テストフレームワークを開発する能力

テスト自動化の経験から、遅かれ早かれ、いくつかの基本機能がテストプロジェクトに割り当てられ、テストコードを削減できることがわかります。 この機能は、小さなテストフレームワークに成長します。 この段階で、このフレームワークのさまざまなメソッドからテストを構築できます。



将来的には、そのようなフレームワークのフレームワーク内で選択したツールを使用する予定です。 このフレームワークは、ユーザーインターフェイスコントロールにアクセスするために必要なCodedUIまたはRanorexとの作業をカプセル化し、「カードを開く」、「フォームに記入する」などのユーザーアクションに関連付けることができるメソッドのセットを提供します。 UIテストは、このようなメソッドの呼び出しセットで構成され、テスト対象のアプリケーションのデータが正しく処理されているかどうかを確認します。



この基準の目的は、1つまたは別のツールを選択することにより、テストフレームワークを開発できることの便利さを理解することです。



Codedui

CodedUIテストを使用すると、Visual StudioでC＃で開発されます。 テストは従来の方法で拡張、変更、無限にリファクタリングでき、開発者を引き付けることができます。



ラノレックス

Ranorexは独自のIDEを提供しています。RanorexStudioはSharpDevelopに基づいているため、Visual Studioと非常によく似たインターフェイスと動作原理を持っています。 Ranorexには、要素の便利なインスペクタと、マウスクリックのみでテストを作成する機能があります。 さらに、追加のソフトウェアモジュールを開発し、それを使用してより複雑なテストシナリオを作成することもできます。



ただし、モジュールがテスターではなくプログラマーまたは自動化の専門家（この場合のように）によって開発された場合、より適応されたデバッグシステム、ReSharperなどがあるため、Visual Studioを使用する方が便利です。



Codedui

ラノレックス

一般に、フレームワークの開発はテスターのタスクではないため、開発に適したツールが必要です。 一般に、Ranorex Studioはこの点でCodedUIよりも劣っています。

5. CIサーバーでのテスト実行のサポート

テスト済みのアプリケーションは、TeamCityが選択されているContinuous Integrationサーバー（ビルドサーバー）に展開されます。 チームの合意によると、すべてのテストはテスト対象の製品のリポジトリにコミットされます。 これにより、ビルドサーバーでアプリケーションとテストコードを更新およびコンパイルしながら、共有コードを使用できます。 GUIテストの場合、同じスキームが残るはずです。



Codedui

TeamCityを使用すると、MSTest、NUnitフレームワークを使用して開発されたテストを簡単に接続できます。



ラノレックス

Ranorexは、テストスーツをコンパイルして実行可能ファイルを作成し、それを別のTeamCityビルドタスクとして簡単に起動できます。



Codedui

ラノレックス

この基準により、ツールを均等に使用すると便利です。

6.実行結果に関する有益なレポートの生成

Codedui

MSTestは、結果をTRX形式で出力します。 これはXMLドキュメントですが、肉眼で読むことは非常に難しく、テストを実行した後のTeamCityは同じレポートをCSV形式で提供するため、必要ありません。



ラノレックス

Ranorex IDEは、イラストと説明を含む優れたレポートを提供します。 ただし、このためには、Ranorex Studio自体からテストを実行する必要があります。 実行後にコンパイルされたテストは、Ranorex XMLレポートを返します。このレポートは、xUnitに変換できます。



Codedui

ラノレックス

どちらの場合も、テストレポートの最終的な望ましいビューは提供されません。 ただし、テスト管理システム（TMS）でテスト実行を作成し、合格した自動テストの結果をインポートできるユーティリティを既に実装しています。 さらに、元のレポート形式はxUnitまたはCSVのいずれかです。 TMSでは、レポートは明確で人間が読み取れるように見え、現在のテストの全体像を示しています。

7.テストをTMSテストケースに統合する機能

テスト結果をテスト管理システムにインポートするだけでなく、テストケース自体もインポートします。



これはどのように起こりますか：



自動テストを開発するテスターは、特別な属性を使用して、テストクラスのコードに段階的な説明を直接記述します。 また、属性の助けを借りて、このケースが属するスイートとセクションを示します。 次に、特別なユーティリティを使用して、テストプロジェクトのすべてのケースを対応するTMSプロジェクトにインポートします。 インポートは、手動で、またはTeamCityビルドタスクの一部として実行できます。 テストプロジェクトのユーティリティファイルは、このユーティリティに送られます。



この機会を利用して、GUIテストを開発したいと思います。 そのため、ライブラリを接続してテストを編集する機能が必要です。



Codedui

Visual Studioでは、組み込みのレコーダーを使用して記録された場合でも、CodedUIテストのコードを表示および編集できます。 これにより、TMSとの同期に必要な属性を設定できます。 デフォルトでは、テストプロジェクトはDLLライブラリーにアセンブルされ、これを使用してケースをインポートできます。



ラノレックス

Ranorex Studioでは、テストプロジェクトがexeファイルにアセンブルされます。 つまり、ユーティリティの現在の実装では、テストケースのソースとして使用することはできません。



Codedui

ラノレックス

したがって、CodedUIを使用すると、統合システムを新しいテストに簡単にバインドできます。

8.テスターに​​よる学習と使​​用が簡単

Codedui

1.いくつかの例を作成した後、テストアプリケーションは、内蔵レコーダーでダイナミックコントロールの意識に関連するアクションを記録するときに問題をすぐに明らかにしました。 テストを再開すると、コントロールの名前が変更され、テストは失敗しました。 これを回避し、テストをより汎用的にするには、テストコードを手動で編集する必要がありました。

2. CodedUIを使用したテストは、Visual Studioでのみ可能です。 しかし、非プログラマ向けのVSは非常に複雑で扱いにくいツールです。



ラノレックス

Ranorexは、特にテスター環境として設計されています。 その助けにより、テスト結果を作成、実行、表示するのに便利です。 さらに、テストアプリケーションのいくつかの例を開発した後、動的要素の検出に問題はありませんでした。 Ranorexは、.NET WinFormsアプリケーションでも正常に動作しましたが、CodedUIを起動できませんでした。



Codedui

ラノレックス

Ranorexには、要素を操作するためのテスターフレンドリーなインターフェイスとシステムがあります。

おわりに

結論として、上記の基準に従って要約表を提供します。

実装された機会

実装されていない機会

機会が実装され、使いやすい

基準	Codedui	ラノレックス
動的に生成されたコントロールのサポート
カスタム検索制御システム
シンプルなデータ駆動型テストのサポート
独自のモジュールを開発する能力
TeamCityでのテスト実行のサポート
テスト実行の結果に関する有益なレポートの生成
テストをTMSテストケースと統合する機能
テスターに​​よる簡単な学習と使用

当社の比較基準によると、Ranorexは、主に利便性により、より高い評価を受けました。



分析の過程で、小さなテストスクリプトの開発にテスターを巻き込み、Ranorexとの連携がはるかに便利で直感的であるように思われました。

あなたがテスターであり、Windowsアプリケーションを最初からテストする必要があり、CodedUIまたはRanorexをサポートするVisual Studioを使用するためにライセンスを購入する場合、Ranorexを選択する方が論理的です。



私たちのプロジェクトに関して。

プロジェクトのテストを開始し、条件付きで製品を個別にテストできる独立したパーツに分割します。 たとえば、アプリケーションにはAPIを介してデータベースデータを処理するインターフェイスがあり、統合サービスは他の製品とデータを同期し、データベースレベルのストアドプロシージャはスケジュールに従って処理され、一部のフィールドの値を計算します。 そして、そのような部分ごとに、独自のテストスイートが個別のアプリケーションとして開発されています（テストプロジェクト=製品テストのニーズに適合したテストフレームワーク+テストスイートに組み合わされた多くのテスト）。 すべてのテストプロジェクトは、テスト対象の製品全体のソリューションの一部です。

この構造にGUIテストを追加する必要がありました。



RanorexとCodedUIは私たちにとって重要なパラメーターの点で大きな違いはなかったので、テストの開発の見通しについて考えました。



最終的に、選択は、テスターが製品や開発者とは別にGUIテストを作成するツールと、CodedUIを使用した迅速で便利なテスト開発に必要なすべて（フレームワーク、ドキュメント）の開発に費やす時間の間でした。



2番目のケースでは、このようなシステムをより普遍的にできるため、CodedUIを選択しました。 はい、これは数時間以上の開発ですが、同時に、会社のすべてのエンタープライズ製品のGUIの機能テストを自動化するためのユニバーサルソリューションがありました。