Androidアプリケーションの自動テスト

テストは、アプリケーション開発プロセスの重要な部分です。 Androidの場合、デバイスは互いに非常に異なるため、テストは特に重要です。

• 画面のサイズと解像度。
• Androidバージョン。
• フォームファクタ。
• プロセッサ命令システム。
• フロントカメラ、NFC、外部キーボードなどの存在

したがって、多くのデバイスでアプリケーションをテストする必要があります。

テストプロセスには、さまざまなタイプのテストが含まれます。 アプリケーションの機能テストのプロセスが手動で行われる方法を検討してください。 テスターは、アプリケーションをデバイスにインストールし、すべての機能を慎重にチェックしてから、デバイスを元の状態に戻します。 そして、各アプリケーションと各デバイスに対して。 この方法の明らかな欠点は、定期的なテストに時間がかかることです。

自動テストの明らかな利点は、多くのコストをかけずに定期的に実行できることです。 たとえば、利用可能なデバイスのセット全体で毎晩アプリケーションの最新ビルドをテストし、午前中に結果を分析してエラーを修正します。

この記事では、自動テストを実装する方法について説明します。 Android SDKに含まれているツール、またはオープンソースライセンスで配布されているツールのみが考慮されます。

自動テストのコンセプト

タスクは、テスターに​​よって実行されるアクションを最も正確に自動化することです。 それらを見てみましょう。 いくつかのアプリケーションといくつかのAndroidデバイスがあります。 各アプリケーションおよび各デバイスに対して、次の手順が実行されます。

1. デバイスにアプリケーションをインストールする
2. アプリケーションの起動
3. 選択した方法でアプリケーションをテストする
4. アプリケーションをアンインストールする
5. デバイスの状態をリセット

各ステップで、ログやスクリーンショットなどのデータを収集して分析する必要があります。 次に、これらのデータに基づいて、テスト結果を生成します。



以下は、これらの手順を自動化するツールです。

Androidデバイス管理

最初に、自動テストを起動するコンピューターを選択し、そのコンピューターでAndroid SDKを構成する必要があります。 Linuxがインストールされているコンピューターの例が提供されています。



すべてのテスト済みデバイスで、ロック画面をオフにして待機時間を最大化する必要があります。 一部のテスト方法では、画面の向きの変更を無効にする必要があります。



Android SDKには、adbとMonkeyRunnerの2つのデバイス管理ユーティリティがあります。



テストで使用されるアクションの自動化について詳しく説明します。 ADBとMonkeyRunnerに精通している人にとっては、「 自動化されたテスト方法 」セクションに直接行くことは理にかなっています。

ADBユーティリティを使用した管理

ADB（Android Debug Bridge）-コマンドラインからAndroidデバイスを管理するためのユーティリティ。 ADBホワイトペーパー： developer.android.com/tools/help/adb.html



adbユーティリティは、ディレクトリ<android_sdk>/platform-tools/



ます。 このディレクトリへのパスは、PATH環境変数に書き込むことをお勧めします。

ADBのテスト

Android SDKをインストールして構成し、Androidデバイスをコンピューターに接続して、コマンドを実行します。

 adb devices
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このコマンドは、接続されているすべてのデバイスをリストします。 デバイスのリストが空でない場合、ADBは構成されており、機能しています。

複数のデバイスで作業する

作業するデバイスでADBを指定するには、 -s



後にデバイスのシリアル番号を登録する必要があります。

 adb -s <serial_number> <command>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

例：

 adb -s <serial_number> logcat
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デバイスのシリアル番号は、 adb devices



コマンドで表示できます。 -s



使用すると、接続されている複数のデバイスを同時に-s



できます。 将来、コマンドで-s



を指定しません。

基本的なADBコマンド

デバイスでコンソールを開きます。

 adb shell
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デバイスでコマンドを実行します。

 adb shell <command>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Androidには、ls、cat、dmesgなど、多くの標準Linuxユーティリティがあります。



apkファイルからアプリケーションをインストールします。

 adb install example.apk
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

アプリケーションを削除：

 adb uninstall <package>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

名前パッケージは、次のコマンドを使用してapkファイルから取得できます。

 aapt dump badging example.apk | grep "package"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デバイスからコンピューターにファイルをダウンロードします。

 adb pull <path-on-device> <file>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コンピューターからデバイスにファイルをダウンロードします。

 adb push <file> <path-on-device>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

注：

デバイス上のほとんどのディレクトリには読み取り専用アクセスがあります。 /sdcard



ディレクトリ（そこからプログラムを実行することはできません）および/data/local/tmp/



への書き込みアクセスが許可されます。



アプリケーションの起動：

 adb shell am start -n <package>/<activity>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

指定されたアクティビティを開始します。 メニューでアプリケーションを選択すると開始される名前アクティビティは、次のコマンドを使用してapkファイルから取得できます。

 aapt dump badging example.apk | grep "launchable-activity"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ログを読む

Androidでのログの読み取りは、logcatユーティリティによって行われます。

Logcatユーティリティのホームページ： developer.android.com/tools/help/logcat.html



デバイスからログを読み取ります（Ctrl-Cが押されるまでブロックされます）：

 adb logcat
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デバイスのログバッファをクリアします。

 adb logcat -c
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デバイスのログバッファーを読み取ります（バッファーの現在の内容を表示しますが、ブロックされません）。

 adb logcat -d
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

例：

 adb logcat -c #    #   adb logcat -d > file.log #       file.log
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

screencapユーティリティでスクリーンショットを撮る

screencapユーティリティは、現在の画面の内容を画像ファイルに保存します。

 adb shell screencap /sdcard/screen.png adb pull /sdcard/screen.png screen.png adb shell rm /sdcard/screen.png
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

screencap



ユーティリティは、Android 4.x以降を搭載した携帯電話で使用できます。 Androidの以前のバージョンでは、MonkeyRunnerを使用してスクリーンショットを撮影できます。

ADBを使用してアプリケーションをテストするためのBASHスクリプトの例

MonkeyRunnerによる管理

MonkeyRunnerユーティリティは、Androidデバイスを制御するスクリプトを記述するためのAPIを提供します。 MonkeyRunnerを使用すると、Androidアプリケーションをインストールして起動し、ユーザーアクションをシミュレートし、スクリーンショットを撮り、コンピューターに保存するPythonスクリプトを作成できます。 MonkeyRunnerユーティリティは、 Jythonを使用してスクリプトを実行します。







MonkeyRunnerユーティリティのホームページとAPIの説明： developer.android.com/tools/help/monkeyrunner_concepts.html

MonkeyRunnerでログを読む

Log.pyファイル：

 # coding: utf-8 from com.android.monkeyrunner import MonkeyRunner, MonkeyDevice def log(fn, device): msg = device.shell('logcat -d') f_log = open(fn, 'at') if msg is None: msg = 'None' f_log.write(msg.encode('utf-8')) f_log.close() device.shell('logcat -c') if __name__ == '__main__': device = MonkeyRunner.waitForConnection() device.shell('logcat -c') #    # ... log('example.log', device) #  
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

打ち上げ：

 monkeyrunner log.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトは、現在のディレクトリのexample.log



ファイルにログを書き込みexample.log



。

スクリーンショットを撮る

Screen.pyファイル：

 # coding: utf-8 from com.android.monkeyrunner import MonkeyRunner, MonkeyDevice if __name__ == '__main__': device = MonkeyRunner.waitForConnection() image = device.takeSnapshot() image.writeToFile('screenshot.png','png')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

打ち上げ：

 monkeyrunner screen.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトはスクリーンショットを取得し、それを現在のディレクトリのscreenshot.png



ファイルに保存します。

MonkeyRunnerを使用したデバイス制御の例

打ち上げ：

 monkeyrunner monkeyrunner_test.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

自動テストツール

サルでテストする

デバイスが非常に活発で創造的なサルの手に落ちたと想像してください。サルユーティリティは同様の状況を模倣するように設計されています。



monkeyユーティリティは、Android SDKの一部です。 ユーティリティは、デバイスに疑似ランダムユーザーアクションのストリームを送信します。 コマンドラインパラメーターは、ユーザーアクションの数、タイプの比率、およびテストパッケージの名前を指定します。これにより、たとえば、サルがテスト対象のアプリケーションの制限を超えず、アドレス帳からすべての連絡先へのSMSの送信が開始されません。



使用例とオプションのリストはホームページで提供されています： developer.android.com/tools/help/monkey.html



サルの主な利点は、サポートコストがないことです。 さらに、任意のイベントのストリームによるアプリケーションのストレステストでは、重要なエラーを検出できます。



サルユーティリティのテストの欠点：

• 複雑な一連のアクションによって引き起こされる機能のテストには無効です。 たとえば、サルは認証できず、アプリケーションの主な機能は無視されます。
• 迅速な反応と複雑なジェスチャーを必要とする複雑なコントロールを備えたゲームは、最初から終了するか、まったく終了しません。
• サルで見つかったエラーは再現が非常に困難です。
• アプリケーションの状態の確認はありません。

monkeyユーティリティを使用すると、アプリケーションを簡単にテストできます。これは良い出発点です。 この方法は、特定のアプリケーションに対して適切な結果を示す可能性があります。 テストの品質が不十分な場合は、他のテスト方法を使用する必要があります。

MonkeyRunnerを使用したテスト

MonkeyRunner APIを使用するスクリプトを使用すると、テストシステムの基盤を開発できるだけでなく、特定のデバイスで特定のアプリケーションをテストするスクリプトを作成することもできます。



利点：

• 柔軟性-ほとんど何でも実装できます。

短所：

• 単純な場合でも、スクリプトを書くことの難しさ。

原則として、この方法は正当化されません-スクリプトの記述には多くの時間がかかります。 ただし、特別な場合には、この方法が機能する場合があります。

getevent / sendeventを使用したテスト

geteventおよびsendeventユーティリティを使用すると、一連のユーザーアクションを記録してから、そのシーケンスを再生できます。 ユーティリティはAndroidデバイス自体にあり、動作するためにルートアクセスを必要としません。

利点：

• すでに実行されている場合、手動テスト中に一連のアクションを追加費用なしで記録できます。
• スクリプティングにはプログラミングスキルは必要ありません。

短所：

• アクションのシーケンスは、アプリケーションごとおよびデバイスごとに個別に記録する必要があります。 アプリケーションインターフェイスを変更する場合、記録されたすべてのアクションを繰り返す必要があります。
• アプリケーションのステータスチェックがありません。 たとえば、ブラウザをテストすると、ページが開きます。 記録時よりも長く開いている場合、ページが完全にロードされるまでさらにアクションが実行され、結果が不正確になります。 このような場合はすべて、予想が可能な最大値を超えるような方法でスクリプトを作成することもできます。
• アクションの迅速で複雑なシーケンスは記録よりも長く再生されます。したがって、この方法は、アクションの反応時間と適時性が重要な動的ゲームのテストに必ずしも適していません。

一連のアクションの記録：

 #    #    ,    Ctrl-C adb shell getevent -t > events.txt #      ./decode_events.py events.txt > events.sh #     adb push events.sh /data/local/tmp/ #     adb shell chmod 755 /data/local/tmp/events.sh #   adb shell sh /data/local/tmp/events.sh
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

記録されたアクションは、デバイスで再生する必要があります。

Robotiumを使用したテスト

前述の方法とは異なり、RobotiumはAndroid SDKの一部ではありませんが、オープンソースライセンスで配布されます。



Robotiumホームページ： code.google.com/p/robotium



Robotiumの主な違いは、テストアクションがアプリケーションインターフェイスレベルで記述されることです。 前述の方法では、テストアクションは入力デバイスレベルで明示的または暗黙的に記述されていました。



たとえば、アプリケーションで「OK」ボタンをクリックする必要があります。 MonkeyRunnerスクリプトを使用すると、ボタンを押すことは「座標（x0、y0）で画面上のポイントにタッチする」として実装されます。 Robotiumを使用して、これは「テキスト「OK」のボタンを押してください」として実装されます。



アプリケーションインターフェイスレベルでアクションを記述する場合、インターフェイス要素の場所、画面解像度、デバイスの位置に関係なくアクションを実行できます。



さらに、Robotiumでは、アクションに対するアプリケーションの反応を確認できます。



たとえば、アプリケーションの「OK」ボタンをクリックすると、「Item 1」要素を含むリストが表示されます。 Robotiumを使用すると、そのような要素を含むリストが表示されるかどうかを確認できます。



各アクションの後にチェックを実行すると、エラーが発生したステップを簡単に検出できます。



短所：

• アプリケーションごとに、Javaテストスクリプトを開発する必要があります。 これにはプログラミングスキルと時間がかかります。
• アプリケーションインターフェイスを変更する場合、テストスクリプトを変更する必要があります。
• Robotiumスクリプトの作成は、getevent / sendeventを使用したアクションの作成よりも困難です。

一般に、Robotiumでは、適切なコストで最高品質のテストシナリオを開発できます。

試験方法の比較

試験方法	長所	欠点
モンキー-ランダムなユーザーアクションのストリーム。	護衛費用はありません。 デバイスに依存しません。 ストレステストでは、重要なエラーを検出できます。	テストの品質はアプリケーションによって異なります。 見つかったエラーは再現が困難です。 アプリケーションの状態の確認はありません。
MonkeyRunner-デバイス管理スクリプト。	柔軟性。	単純なアプリケーションであっても、スクリプトの記述と保守の複雑さ。
getevent / sendevent-ユーザーアクションを記録/再生します。	一連のアクションを記録するのにプログラミングスキルは必要ありません。	記録された一連のアクションは、方向が固定された1つのデバイスにのみ適しています。 アプリケーションインターフェイスを変更する場合、アクションのシーケンスを再記録する必要があります。 アプリケーションの状態の確認はありません。
Robotiumは、ステートフルアプリケーションのインターフェイスをテストするためのスクリプトです。	アクションは、アプリケーションインターフェイスレベルで説明されます。 スクリプトは、画面の解像度やデバイスの向きに依存しない場合があります。 アクションの完了後、アプリケーションのステータスを確認できます。	Javaスクリプトの作成が困難。 アプリケーションインターフェイスを変更する場合、スクリプトを変更する必要があります。

結果分析

上記の方法でアプリケーションをテストした結果、ログとスクリーンショットが得られました。 次に、エラーを分析する必要があります。

ログ分析

まず、部分文字列で検索できます。

• 私/デバッグ
• 致命的な例外
• WIN DEATH

手動テスト中にエラーが検出されると、リストを補足できます。

スクリーンショット分析

手動でテストするプロセスでは、テストの重要なポイントで一連のスクリーンショットを準備し、自動テスト中にそれらをスクリーンの内容と比較できます。 これにより、自動テストプロセスが正しく行われているかどうかが判断され、エラーが特定されます。



また、アプリケーションの起動前と起動後のスクリーンショットを比較することも役立ちます。これにより、画面やログにメッセージが表示されずにアプリケーションがクラッシュするケースを特定できます。



MonkeyRunnerを使用すると、2つのスクリーンショットを特定の許容値とパーセントで比較できます。

 image1 = device.takeSnapshot() # ... image2 = device.takeSnapshot() if image2.sameAs(image1, 0.1): print 'image1 and image2 are the same (10%)'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

残念ながら、MonkeyImage APIはファイルからロードする機能を提供しません。 したがって、保存したスクリーンショットを比較するには、たとえばPython Imaging Libraryを使用して、独自の関数を作成する必要があります。

テスト後にデバイスの状態をリセットする

アプリケーションをテストした後、デバイスを元の状態に戻す必要があります。



これはいくつかの方法で実現できます。

• 戻るボタンを繰り返し押します。
• デバイスを再起動します。
• zygoteプロセスを再起動します。

最も適切な最初のオプションを検討してください。

戻るボタンを繰り返し押す

MonkeyRunnerを使用して戻るボタンを押します。

 for i in xrange(0, 10): device.press('KEYCODE_BACK', MonkeyDevice.DOWN_AND_UP) time.sleep(0.5)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実際には、このオプションは実際のユーザーの動作をシミュレートするため、最適です。

おわりに

ノートでは、Androidアプリケーションを自動的にテストするためのいくつかの方法、それらの利点と欠点が検討されました。 さらに、Android SDKに含まれているツール、またはオープンソースライセンスで配布されているツールを確認します。



自動テストは万能薬ではなく、他のタイプのテストに代わるものではないことに注意してください。 さまざまな方法を組み合わせた、適切に構築されたテストプロセスにより、高品質の製品が得られます。