自動化されたモバイルアプリケーションのテスト

モバイルアプリケーションインターフェイスの自動テストを使用して、状況の実際の調査を実施しました。 これはモジュールのテストではなく、最終アプリケーションのインターフェースのテストに関するものです。 そして、はい、電話で！



なぜこれが必要なのですか？ まず第一に、ソフトウェアの品質の改善を保証し、テスターの気分を改善することです。



アイデアは何ですか？ 多くの場合、モバイルアプリケーションのテストは人によって行われます。テスターはアプリケーション（iPhone 3、iPhone 4、iPad）を受け取り、運が悪ければ、AndroidとGalaxyTabを2つずつ試し、アプリケーションをテストします。テストの80％はそのようなシナリオに関するものです。

-アプリケーションを実行し、クラッシュしないことを確認します。

-場所タブに移動し、すべてのポイントが適切であることを確認します。

-ポイントの1つに移動し、説明が適切であることを確認します。

...



このようなテストは各リリース後に実行され、非常に長い時間がかかります。



かつて、 SeleniumはWebで救助に来ました。これにより、特別なプラグインを介してブラウザーにテスターのアクションを記録することができました（誰もがMS Wordのマクロを覚えていますか？）。 異なるブラウザでもテストを実行できます！ 私たちはこのソリューションを会社で使用しましたが、本当に効果的です。 テスト開発の努力は報われました。



Webと比較して、モバイル開発はまだ非常に若い分野であり、インターフェイスの自動テストのための優れたソリューションを期待していませんでした。 それらの十分な数があることが判明しました。 それらのいくつかについてお話ししたいと思います。

iPhone

UIAutomation

まず、Appleの標準ソリューションから始めます。これはInstrumentsの一部です。





UIAutomationを使用すると、エミュレーターとデバイスの両方でJavaScriptで記述されたテストスクリプトを実行できます。 本番アセンブリを含む、任意のアプリケーションをテストできます。 追加のライブラリをコンパイルする必要はありません。 コンソールからスクリプトを実行できます。



Appleは、テスト用に特別なJavaScript APIを開発しました。 すべての標準インターフェイス要素について説明しています。 要素はツリーで表され、タイプ（ボタン、tableViews、textFieldsなど）ごとに要素をすばやく選択するための特別な機能があります。 アクセシビリティラベルコードで特に指定されていない限り、要素は番号でのみ選択できます。

  window.tableViews（）[0] .visibleCells（）[1] .tap（） 

最初のテーブルの2番目のセルを選択します。



Goozyアプリケーションのテストスクリプトを作成し、ログインし、[すべて]タブが選択されていることを確認し、[設定]タブに移動してログアウトします。







このスクリプトを書くのに1時間かかりましたが、その隣でXcodeを開いたままにして、デザイナー内の要素がどのように表され、どのように動的に生成されるかを見ました。 さらに、スクリプトは小さなウィンドウ（右側のUIAutomationのスクリーンショット）に書き込まれ、構文チェックもバージョン管理システムのサポートもありません。



[強調表示されたコード： paste.ly/7mnG ]



結論：プラットフォームは強力で正しいですが、テスターが自分でテストを書くことはできそうにないので、インターフェイスの内部構造を変更した場合、テストを書き直す必要があります。



UPD：Xcode 4.3では、テストを記録する機能が導入されています。 コンソールから起動することはほとんど不可能です。



UPD2：UIAutomationを使用する場合、すべてのアクセシビリティラベルコンポーネントを設定することを強くお勧めします

Fonemonkey

テストが電話またはエミュレーターのテストアプリケーションから直接記録および編集されるという点で興味深い記録＆プレイソリューション。







ただし、テストを保存するには、電話をコンピューターに接続する必要があります。 そしてもちろん、アプリケーションでは、いくつかの追加ライブラリをコンパイルする必要があります。



Fonemonkeyは、テストをUIAutomation形式で保存できるため、記録後に「クリーンな」アプリケーションで実行できます。



私の意見では、これはテスターが自分で使用できる唯一のソリューションです。 ある条件下では、開発者がテストを開始するか、Continious Integrationシステムに自動的に入ります。



UPD：UIAutomationへのエクスポートは非​​常に曲がっており、受け取ったスクリプトを実行できませんでした。

有料兄弟

スキッシュ

Squishは、Windows、Mac、Qt、およびiOsアプリケーションをテストするためのソリューションです。 特定の開発者ライセンスのライセンス（名前付きライセンス）2400ドル。







システムは、HP Quality Center、Seapine TCMと統合するか、EclipseベースのIDEを提供します。 エミュレータまたはデバイスでアプリケーションをテストでき、テストの記録（記録と再生）が可能です。 スクリプトは、Javascript、Python、Perl、またはTclで作成できます。



システムには2つのマイナス点があります。デバイス上で（テストを実行する場合でも）作業するには、ライブラリを使用して別のバージョンをコンパイルする必要があります。 2番目のマイナスは日食です。HPQCを破らなかった場合、テスターが日食ベースのIDEで完全に動作する可能性は低いでしょう。



一般的に、無料のFoneMonkeyとの根本的な違いはありません。 そうでない限り、Squishはマルチタッチをサポートしています（自動ジェスチャーのサポート）。

ジャモソリューション

最も有望なプラットフォームの1つ。 JamoSolutionを使用すると、iPhone、Android、Windows Mobile、およびBlackBerryアプリをテストできます。 同時に、記録の記録（再生と再生）はすべてのプラットフォームでサポートされており、WindowsでiPhoneアプリケーションをテストできます！



彼らは素晴らしいデモビデオを持っています、ここにiPhone用のテストがあります：





Androidの場合：





IDEに電話画面が表示されて非常にうれしいです。 JamoSolutionは電話の特別なエージェントを介して機能します。つまり、アプリケーションは変更されません。 電話は有線またはWiFiで接続できます。

Android

ロボティウム

最も一般的なソリューションはRobotiumです。 「Seleniumに似ていますが、Android向けです」と開発者は言いますが、少し間違っています。 Robotiumは記録テスト（記録と再生）をサポートしておらず、スクリーンショットを撮ることができません。







テストはJavaで記述されています。実際、 Robotiumは通常の単体テスト用のライブラリであり、デバイス（リモートコントロール）でテストを実行する可能性はありません。 アプリケーションをテストするには、このライブラリを使用してビルドする必要があります。 ソースなしでアプリケーションをテストすることは可能ですが、プロセスは簡単ではありません。

テストドロイド

私が調査を行っている間に、新しいAndroidソリューションが登場しました。 TestDroidは、 Eclipseプラグインであり、Robotium形式でテストを記録（記録および再生）できます。 システムは、標準のAndroidデバッガーを介して電話と対話します。



1つのTestDroid Recorderライセンスは年間600ドルです。 開発者はTestDroidサーバーもリリースすることを約束します。テスト用のクラスターを作成できます。 複数のAndroidスマートフォンをサーバーに接続し、テストを並行してリモートで実行します。



残念ながら、このソリューションはまだベータテスト中であり、ポピーでテストを生成しません。







さらに、ログによって判断すると、すべてのアクションがテストに記録されるわけではありません。 解決策は有望ですが、待つ価値があります。

Windows Phone 7

執筆時点では、WP7インターフェイスのテストを自動化するユーティリティはありませんでした。

絶対ブラックボックス

確かに「 ブラックボックス 」の概念に精通しているため、少なくとも2つのモバイルテストシステムがこの原則に基づいて機能しています。



これらはPerfecto MobileとDevice Anywhereです。



これらの決定の本質は、ケーブルで接続された実際の携帯電話のファームと、電話から画像を送信するウェブカメラがあることです。 次のようになります。







携帯電話の写真の中にウェブカメラの画像が挿入されます。 マウスで完全に制御されます。



Perfecto Mobile and Device Anywhereの主なビジネスは、自動テストでさえありませんが、タイムデバイスの販売です。 彼らは何百もの異なる電話（iPhone / Android / Blackberry ...）を持ち、1つの電話で1時間で約15ドルかかります。



これは、多数の異なるデバイスが存在する多くのプラットフォーム、特にAndroidに接続している場合に非常に便利なソリューションです。



しかし、残念ながら、ロシアの両方のシステムをテストしたとき、すべては非常に遅く、電話とのやり取りでは大きな遅れがありました。 このモードでは、テスターは非常に緊張します。

自動化はどこにありますか？

非常に興味深いことに自動テストを実装しました 。



結果を確認するには、画像を確認し、 OCR 画面のテキストを認識します 。 プラットフォームの1つは有名なABBYYを使用します:-)



ちなみに、テストはエンタープライズクライアントでのみ利用可能であり、毎回個別に説明されているため、試すことはできませんでした。

長所

• ブラックボックス-アプリケーションへの干渉はほとんどありません。
• すべてのモバイルプラットフォーム用の1つのツールとテストスクリプト。
• さまざまなデバイス。
• ネイティブ、html5、モバイルサイトなど、あらゆるアプリケーションをテストできます。

短所

• 自動テストは高価です。
• 電話とやり取りするときの大きな遅れ。

コメントで議論したいです。 誰がモバイルアプリケーションを開発するか、難しいことではないにしても、いくつかの質問に答えてください。

1. どのプラットフォーム用に開発していますか？
2. どんなアプリ？ （ゲーム、銀行、ビジネスアプリケーション、医学）
3. ユニットテストを使用しているのはなぜですか？
4. UIテストを自動化していますか？
5. 自動化を開始した場合、どのツールが最適ですか？