テスターに​​必要なツールは何ですか？ 本日は、過去のハイゼンバグのユリア・アトリギンによる報告に基づいて、この記事でこれについて説明します。 レポートのビデオ録画はこちらから入手できます 。

テスターに​​必要なツールは何ですか？

脳は、テスターだけでなく、おそらくあらゆる職業にとって最も重要なツールです。 特にUIをテストする場合は、目も役立ちます。 もちろん、耳：アプリケーションを起動すると、コンピューターが滑走路の飛行機のようにハミングすることがあります。 鼻、時にはアプリケーションから臭いがするので。 足も必要です。時にはあなたに何かが起こり、いくつかの質問が生じ、誰かに走り、何かを尋ね、誰かとコミュニケーションをとる必要があります。 手は、特に手動テスターに​​とっても便利です。すべてを自動化できるわけではありません（そして、私たちは手で自動テストを記述します）。 そして、もちろん、テストはあなたの情熱でなければならないので、心！



これについては、原則として、すでに記事を終えることができ、最も重要なツールはすべてリストされています。 しかし、冗談はさておき、手動テスターであろうと自動プログラマーであろうと、アナリストやプログラマーであろうと、あなたの立場に関係なく、私たちがより効果的になるのに役立つツールについて話しましょう。

スクリーンショット

各テスターに​​は、お気に入りのスクリーンショットツールがあります。 アプリケーションでUIに問題がある場合（もちろん、UIがまったくない場合は、コンソールの回答とデータベースクエリの結果の両方のスクリーンショットを撮る必要があるかもしれません）、スクリーンショットを撮る必要があり、これらのスクリーンショットを撮る必要がありますそうです



私の個人的なお気に入りはJingで 、画面に映る美しい陽射しのようです。 なぜそれが良いのか：スクリーンショットの撮り方、これらのスクリーンショットをローカルとクラウドの両方に保存する方法、ビデオを録画する方法を知っています。 残念ながら、それはFlashでのみ記録され、ここで問題が発生しました。当社では、ほとんどの開発者がMacで作業しており、そこでFlashビデオを開くのは簡単ではありません。 別の楽器を探して、愛する陽の光に別れを告げなければなりませんでした。 現在、主にRecorditツールを使用しています。ビデオをすぐに記録し、1つのモーションでgifに変換できますが、少し誤解があります：彼が記録したものはすべて、すぐにクラウドにアップロードします。 ローカルのものがある場合、またはアプリケーションがどのように見えるかを誰かと共有したくない場合は、他のものを探す必要があります。 たとえば、 Monosnapはビデオの作成方法も知っているので、すぐにローカルに保存して、gifビデオから作成できます。



実際の結果：機能しません

期待される結果：期待どおりに機能する



むかしむかし、私が幼いテスターだったとき、私はページ上で500エラーを引き起こした素晴らしい一連のステップを見つけました。 \







もちろん、再生手順と実際の結果を含むバグレポートを記録しましたが、予想されたものは記述しないことを決定しました。したがって、エラーが発生しないことは明らかです。 修正後、私は同じ手順をテストしようとしましたが、あなたは私が見たものを知っていますか？ ただの白いページ。 議論することはできません、500エラーはありません。



その後、私は自分のために2つの結論を出しました。

1. 開発者を信じないでください。
2. 期待される結果は、バグレポートの非常に重要な部分です。

どうすれば手伝うことができますか？







プロトタイプの作成に役立つツールがあります。 どのように表示するかに関係なく、アプリケーションを描画します。 私はBalsamiqが最も好きです 。数回クリックするだけでインターフェースを視覚的に折りたたむことができるこのようなツールです。 すぐにコンテナ、Webページ、モバイルアプリケーションなどを描画できる要素があり、文字通り「写真」をドラッグアンドドロップします。 アナログがあります-Pencilブラウザプラグインは、それほどクールではありませんが、無料です。

QDD

プロジェクトの1つで、QDD、「QA主導の開発」を実践しました。 テスター自身がタスクの受け入れ基準を作成しました。 これは製品の所有者や管理者によってではなく、QAチームによって行われましたが、タスクの後、製品の所有者によって確認されました。 タスクを完了するために、彼らはまた、Balsamiqを使用して、すべてがどのように見えるか、どのボタンがどこにあるべきかを示し、それをすべて開発者に提供しました。 しばらく経つと、新しいビルドが届きます。そして、恐ろしいことに、ページ（ブラウザー部分を除く）は次のようになります。







私たちの開発者はスタイルとボタンを本当に選びましたが、アドレスバーがあるこの上部がブラウザのように見えないことも恥ずかしくはありませんでした。 道徳：プロトタイプを開発者に見せるとき、これは単なるプロトタイプであり、まったく同じことをする必要はないことを彼らに話すといいでしょう。 特定のケースでは他のスタイルがあり、すべてが少し異なるように見えるのが普通です。モーションキャプチャは、どこにどのように見えるかを決定するためにのみ必要です。

試験データ

認めてください。お気に入りのテストデータを含むテキストファイルはありますか？ テキスト付きのファイルでダウン！ これらのテキストを生成できる特別なツールがあります。

• モカルー
  
  
• generatedata.com
  
  
• testspicer.com
  
  
• lipsum.com
  
  
• バグマグネット
  
  

彼らの助けを借りて、バグがあなたのテストに慣れると、テストはもはやこれらのバグを見つけられないとき、あなたは農薬の効果を取り除くことができます。 これらのアプリケーションにはMockarooがあります -カード番号やユーザー名などのデータを取得するだけではありません。 また、SQLクエリを生成することもできます。たとえば、移動するデータベースの名前とそこにあるパラメーターを指定し、そこから挿入を作成します。 そして、このリストから最新のプラグインbugmagnetに注目してください。 これは、事前に保存されたテストデータのセットを備えたChromeおよびFirefox用のプラグインです。 画面に何らかのテキストフィールドがある場合、それを右クリックしてメニューからbugmagnetを選択するだけで、あらかじめ定義された事前定義済みのテストデータの束を待っています。 、XSSをテストするための最も単純なスクリプトですら。 探索的テストに不可欠な製品。 電子メールのあるフィールドがあり、どの電子メールが有効であり、どの電子メールが無効であるかを忘れた場合でも、このツールの作成者であるGojko Adzicがすでにすべてを行っているので、このリストで目的のアイテムを見つける必要があります。 重要なのは、カスタマイズ可能でもあります。 メニューにセクションを追加できます。

写真

時にはテキストではなく写真が必要な場合があります。 グーグルで検索して何かを探してから、どれが適切なサイズかを選択してみてください。 また、特別なサービスLoremPixelを使用すると、これらの写真を生成できます。写真のサイズ、色、さらには猫、都市、食べ物、交通機関などを設定することもできます。 最近、彼はしばしば病気になりますが、面白いアナログはありません-picsum.photos







誰もが大きな金型とたくさんの異なるデータを持つアプリケーションを持っていますか？ あなたの痛みを理解しています。 フォームには多くのフィールドがあり、そのうちのいくつかは非常に具体的です：電子メールのみを入力する必要がある場所、電話などのみを入力する必要がある場所、すべてを入力するのは面倒です。 フォームフィラーと呼ばれるChromeのプラグインがあります。これは問題の解決に役立ちます。クリックすると、アドレスバーの横に小さなボタンが追加され、フォームが魔法のように完成したフォームに変わります。







注：電子メール形式のデータは実際に電子メールフィールドに入力され、電話が入力された場所で電話形式が入力され、リストデータの1つがドロップダウンメニューで選択されるため、時間を大幅に節約できます。 このプラグインでは、すべてを設定することもできることに注意してください。 独自のマスク、データを追加します。

ペアワイズテスト

ペアリング技術を使用している人はいますか？ 毎日使っているとは言えませんが、それでも便利な場合があります。 なぜ必要なのですか？ たとえば、統計によると、同じ巨大な形式の多くのパラメーターがある場合 、ペアワイズ検索でエラーの65％から97％が見つかります（ご覧のように、統計は数字が非常にぼやけています）。 値のペアを並べ替えれば、多くの時間を節約でき、カバレッジの損失はほとんどありません。



Pairwiserオンラインツールを使用します（残念ながら、オンラインバージョンは使用できなくなりましたが、ローカルバージョンは残ります）。







他にも多くのツールがありますが、それらのほとんどはコンソールのもので、あまり視覚的ではないため、Pairwiserを使用しています。 当社では（Jiraのプラグインを作成しています）、テスターはブラウザー、JiraとConfluenceの異なるバージョン、異なるデータベース（Jiraのバージョンに応じて）、他のプラグインのバージョンを常に結合する必要があります。 Pairwiserでパラメーターを設定していますが、

「テストを生成」をクリックすると、テストのリスト、テストする必要があるものと何を作成する必要があるかを示すテーブルが表示されます。 何が起こったのか：すべての値を相互に調べた場合（写真を参照）、60のテストを取得します。 Pairwiserでは、その数を21に3回減らしました。



ツールの作成者が作成した例を次に示します。







より多くのオプションがあることがあります。 私の例では、オペレーティングシステム、接続の種類、パラメーター間のいくつかの条件（たとえば、デスクトップでモバイルブラウザーをテストするのはばかげています）、いくつかの追加パラメーター、テストは必須としてマークできます。このパラメーターの組み合わせを間違いなくテストする必要があると言うと、正気のようなものです）。 そして、マジックが発生し、18688の代わりに32のテストが発生します。







ほぼ19000ではなく32と考えてください！ 多くの時間を節約できます。



UPD ：これまでのところ、もう1つの無料のWebツールpairwise.teremokgames.comを見つけました。

HTML / CSSバリデーター

Webの詳細について少し話しましょう。 World Wide Web Consortiumコミュニティがあり、HTMLとCSSを標準化しています。 彼らはバリデーター 、すなわち 静的アナライザー。アプリケーションのURLを設定すると、一連のエラーが発生します。 モバイルとの互換性を確認する、またはリンクを確認するのと同じことがあります。 これらのバリデーターには何らかのURLを設定でき、HTMLでファイルを直接ダウンロードできます。 少なくとも確かにChromeには、これをローカルで実行できるブラウザープラグインがあります。



答えは次のようになります。







すぐにあなたを救いたいです。 このバリデーターは、編集する必要がないことを伝えるものの多くは、恐らく何も怖がらないかもしれませんが、少なくともこれらのことを考え、取り、整理し、そこに何か有用なものがあるかどうかは非常に重要です。 最初の例を見てください-imgタグにはalt属性がありません。 Altは、たとえば、写真がオフになっている場合や、インターネットの速度が遅いなどの理由で写真が読み込まれなかった場合に書き込まれるテキストを示すパラメーターです。 私たちの世紀には、だれもが多かれ少なかれインターネットを持っているように思われますが、問題は何ですか？ さて、示されていないので、何ですか？ ここに小さなニュアンスがあります。たとえば、特別なスクリーンリーダーを使用する視覚障害のある人がいます。 スクリーンリーダーが画面を読んでいる場合、写真の代わりに彼は何を見ていると思いますか？ この代替テキスト。 そして、このテキストが与えられない場合、人はまったく何もなかったことを決して知ることはありません。



一般的に、罪のない人はいません。 Google.comをこの美しい検証ツールに誘導すると、21個のエラーが発生しますが、そのほとんどは古い要素に関するものです。 Googleにもバグがあります！ 一方、あなたはGoogleではないので、これは何らかの形であなたの製品をより良くすることを奨励するはずです。 おそらく、あなたはそれほど多くのリソースを持っていません、そして、そのようなバリデーターは、あなたが標準と直接互換性があるので、ページが異なるブラウザで動作するというより多くの自信を与えます。

性能

通常、パフォーマンステストについて尋ねると、「パフォーマンスは深刻な問題です。これは特別な人が行う必要があります。」 確かに、これは大きな領域ですが、少なくともいくつかの表面テストは非常に簡単に実行できます。 あなたのサイトにどんな問題があるのか​​を示すことができるいくつかのツールがあり、さらに「評価」をつけて、それらを修正する方法についてのヒントを与えます。 サービスが既にどこかで利用可能な場合は、単にURLを入力できますが、ローカルでテストを実行できるプラグインもあります。 Googleの最初のPageSpeedサービスです。Chromeプラグインを使用して、すべてがどれだけ良いかをローカルで確認し、アドバイスを提供します。開発者とすぐに話し合うことができます。



パフォーマンスをテストするためのもう1つの製品は、このようなクールなサービスWebPageTestであり、右上隅に表示される評価も提供します。







FirstByteTimeパラメーターの1つは、ページへの遷移の開始から、サーバー応答の最初のビットがサイトに表示されるまでの時間です。 また、キャッシュレーティング、美しいグラフがあり、ページが写真、スクリプト、HTMLのどれであるかを正確に把握できます。 開発者にアプローチできる特定の番号の美しい写真が得られます。



このツールのもう1つの機能は、このテストの発信元、ブラウザ、およびインターネット速度を指定できることです。 原則として、データセンターの配置場所、移動先について結論を出すために使用できますが、オーストラリアのどこかにセンターが存在しないほど悪いのです。 ところで、彼らはAPIを持っているので、自動化された実行のためにそれを使用してみることができます。



別のブラウザプラグイン（間違いなくChromeがあります）はLighthouseと呼ばれます。これは、アプリケーションをさまざまな角度から評価するビーコンです。 一般的なアプリケーションとして、およびパフォーマンス、アクセシビリティ、障害を持つ人々のためのアクセシビリティとして。



これにより、パフォーマンステストのテストレポートは次のようになります。







写真は、異なる秒数後のアプリケーションの様子を示しています。 実際にはそれほどクールではありません。 ご覧のとおり、56ポイントがあります。 そうです、サイトは平均的です。 このプラグインを使用すると、開発者と話をするための番号も取得できます。



もちろん、JMeterは言及する価値があります。 これは非常に人気がありますが、上記で説明したツールとは異なり、JMeterでは通常、サーバー側の速度を評価します。 また、ユーザーは、レコードがあまりうまく機能しないことを不満に思うことが多く、スクリプトを記録してJMeterにアップロードするために、いくつかの特別な製品を購入します。 簡単な方法があります-ブラウザではタブはネットワークと呼ばれ、すべてのリクエストが表示されます。 右クリックするだけで、これらのすべてのリクエストをHAR、HTTPアーカイブとして保存できます。 BlazeMeter Converterもあります -これらのHARファイルをJMeterのテスト計画に変換できる特別なコンバーター、つまり ブラウザでいくつかのアクションを実行し、コンバータの特別なWebサイトにアクセスして、JMeterのテスト計画を準備しました。 BlazeMeter Converterは、HARファイルからJMeterテスト計画だけでなく、XML、Selenium、JSONへのコンバーターとしての地位を確立しています。 正直に言うと、HARを除いて、私は何も試していません。誰かが試した場合、結果について知っておくといいでしょう。

エミュレーター

ブラウザー間の互換性の互換性チェックについて説明しましょう。 多くの人々、特にWebをテストする人々、そして特にInternet Explorerをサポートする必要がある場合に出くわします。たとえば、ここで特に異常な問題が発生する場合、たとえば、IEには画面に侵入する行の数が限られているため、46424行を超える行を表示できません。



異なるバージョンをテストする方法は？ ChromeとFirefoxの場合、多少明確であれば、古いバージョンにも簡単にインストールできます。IEでは簡単ではありません。どこにもインストールされず、2つのバージョンが並行してインストールされません。 マイクロソフトは、Windowsがインストールされ、特定のバージョンのIEを備えた既製の仮想マシンをダウンロードできる無料サービスを予期せずに作成しました。



公式には、この仮想マシンは約2か月後に期限切れであることを通知しますが、あきらめないでください。この仮想マシンを簡単に再起動することで、今後何年も使用できます。



もちろん、 BrowserstackやSaucelabsなどの他のサービスもありますが、多くのユーザーが一度使用したり試してみたりすると、有料ですが、クールでもあります。



モバイルに関しては、 テストオブジェクトを使用しました。ここでは、実際のデバイスでテストできます。

セキュリティのテスト

パフォーマンステストだけでなくセキュリティテストも多くの人がバイパスしますが、最も簡単なテストはそれほど難しくありません。 ただし、 XSS Me / SQL Inject Meと呼ばれる、Webアプリケーションで最も一般的な脆弱性の名前のFirefox専用のプラグインがあります。 それらはブラックボックスの原則に基づいて動作します。つまり、自分でプラグインを配置し、ページ上のテキストフィールドを見つけて、そこにあるデータベースにあるスクリプトを貼り付けます。 このデータベースは単なるXMLであり、データで拡張できます。 出力は、特定のテストシナリオが合格、未合格、特定のテストデータが機能しなかった、どのシンボルが問題を引き起こしたかなど、既成のレポートです。 同じシンボルを手に取り、リソースでそれを試して、何がうまくいかなかったかを確認することができます。 ここで、これらのプラグインがHTTPステータスに応じて不十分または十分に色付けされるという事実に注目します。 したがって、200のステータスは大丈夫で、400〜500を取得した場合は緑、302が発生した場合は赤、という答えが緑になります。 レポートでは、これらは赤血球になります。これは、これが予想されたページへのリダイレクトであり、外部ではないことを手動で確認できます。



また、リクエストを傍受したり、ゼロから独自に作成したりできるツールもあります。 私はよくFiddlerまたはCharlesを使用します（彼に関する別の投稿、 habr.com / company / redmadrobot / blog / 269109もありました ）-リクエストを追跡し、変更されたパラメーターで再利用します。 これらのテストはファイルにダウンロードして自動化チームに渡すか、後で簡単に再利用できます。 Fiddlerを使用して、多数の同一のリクエストをすばやく送信することもできます。Shift+ Rホットキーを使用すると、選択したリクエストを何度でも繰り返すことができます。



ブラウザーに類似したものがあります- 改ざんデータプラグイン（FirefoxとChromeの両方で利用可能）：それほど機能的ではないため、長いネットワーク操作などをエミュレートすることはできませんが、最も単純な要求はそれをインターセプトして送信することですそれらをオンザフライで、そこにもできます。 Windowsで作業している場合、私はあなたの代わりにFiddlerを好むという事実に注意を喚起したいと思います。それは常に無料です。 Macでは、Fiddlerはまあまあ機能します。 公式にはサポートされていますが、問題があります。Charlesを使用する方が良いでしょう。公式には30日間しか無料で使用できないことに注意してください。



また、 Web Developerという 1つのプラグインについても説明します。 これはハンドヘルドツールです。ローカルでHTMLを確認したり、Cookieを変更したり、JavaScriptや画像を無効にしたりすることもできます。ブラウザの設定を確認する必要はありません。







また、セキュリティテストにも使用できます。たとえば、ドロップダウンメニューをテキストフィールドに変更して、クライアントの検証を削除し、サーバーパーツに奇妙なデータの準備ができているかどうかを確認できます。

テストを書く

通常、「テストツール」との最初の関連付けは、テストを記述して実行できるツールです。 さまざまなツールがあります：HP QC、MS Test Manager、 Test Railなどの大規模なツールがあります。 たとえば、 Leantestingのような無料のツールがあります。誰かがテストを書く場所を今すぐ選択した場合、彼に注意を払ってください。 テストリンクがあります。そのまま使用するのは非常に困難ですが、オープンコードがあり、自分で「完成」することができます。 チェックリストとマインドマップ用の特別なツールもあります。



Test Railを使用する場合：特別な小さなMoqaアプリケーションがあり、これを使用して、テストを実行したり、モバイルから直接渡された結果を監視したりできます。 iOSとAndroidの両方で使用できます。

マインドマップ。 どこでもマインドマップ

マインドカードに関するいくつかの言葉。 彼らはどこにでもあります。 マインドカードは、実施するテストを視覚化し、それらの間の接続を表示するための便利なツールです。







少しのベストプラクティス：マインドマップ（または必要に応じてチェックリスト）、最上位レベルを事前に作成し、各機能について考えるために覚えておく必要のあるテストの種類を説明できます。互換性、パフォーマンス、およびセキュリティと他のタイプのテストの両方について、一般的に考えることを忘れています。 トップレベルから始めて、徐々に詳細を掘り下げていきます。 そして、はい、画像にエラーがあります。 今週の木曜日にハイゼンバグに参加する人のために：間違いを見つけたら、 BoFセッションで私のところに来て、ちょっとした賞品をもらってください:)



一般的な機能を確認した後、詳細を掘り下げます：オブジェクトのペイント、表示する必要があるスクリプト（CRUD-create-read-update-deleteなど）、入力できるデータ、等価クラス、境界などをペイントします。 、つまり 「テスト計画」をますます詳細にしています。







重要なヒント：詳細を記載したカードを開始しないでください。カードが非常に大きくなり、適用できなくなります。一般的なものから特定のものに移動してください。



マインドカードには無数のツールがあります。 最近、ますます頻繁に、私はそれらを単に紙に描いていますが、そのようなカードはもちろん維持するのが難しいです。 ソフトウェアソリューションの中でも、お気に入りのMindMupがあります。これは無料のオンラインツールであり、googlediskに保存して、同僚と共有できるマップです。 とりわけ、 Coggleなどがありますが、これは非常に美しく見えますが、元々望んでいた間違った場所に円を作成した場合、それを修正するために多くのクリックを行う必要があります。 Atlassianの専門家として、 JiraとConfluenceにはソリューションがあると言わざるを得ません。Mindmeister 、 Yoikeeのプラグインコネクタがありますが、Confluence専用であり、両方のシステムでLucidChartで利用できます。



実際、私たちのマインドマップはチェックリストのように見えます。これは、私たちがやりたいチェックのリストです。 単純化されたドキュメントを作成するだけの場合、特別なアプリケーションを入手するのはどういうわけか高価で不合理です。 したがって、チェックリストを保持できる特別なツールがあります。軽量で、テストが1行であるという事実に合わせて正確に調整されます。 たとえば、 Checkvist-しかし、具体的にはテスト用に研ぎ澄まされていません。視覚的には、テスターとして、誰かが私のテストを取り消してもあまり良くありません。明示的にステータスを付けたいです。



さらに検索すると、特別なテストツールであるTestPadが見つかりました。







チェックのリストはありますか、つまり いくつかの階層構造、およびテスト実行はこの構造の追加の列です。 列を追加するだけで、たとえばオペレーティングシステムまたはブラウザのバージョンなど、必要に応じてパラメーターの一部を入力できます。また、次から次へとステータスを入力し、テストに合格したかどうか、質問がありました。 コメント、バグトラッカーへのリンクを残すことができ、同じJiraとの統合があります。 唯一のマイナス：この製品はクラウドでのみ利用可能です。 これはサービスであり、ローカルにインストールすることはできません。



当社のStructure.Testyが開発したJiraバグトラッカー内にアナログがある場合

準備完了チェックリスト

テスターは、製品を複数回テストする場合、遅かれ早かれいくつかのドキュメントを作成する必要があることを理解する必要があります。 「私はまだ唯一のテスターです。ここではすべてを知っています。なぜこれらのチェックリストが必要なのですか？」などの言い訳を何度も聞きました。 完全に一人でいる場合でも、ドキュメントが役に立たないという意味ではありません。 同じことを繰り返して製品をテストする必要があり、事前に作業を促進できます。



まったく何も持っていない人、またはどこから始めたらよいかまったくわからない人のための小さなヒント。 製品に簡単に適応できる既製のチェックリストを備えた多数のサービスがあります。 たとえば、ユーザビリティのテスト専用のサービスがいくつかあります。最初のサービスはユーザビリティチェックリストで、最初のページの設計方法、ナビゲーションの仕組み、すべてのリンクの機能、など 色のみをチェックする特別なサービスがあります。たとえば、 checkmycolorsは色のコントラストをチェックします。



そして特にあなたのために、既製のチェックリストのデータベース全体を見つけることができるスーパーリンクがあります：もしあなたが絶対に何も持っていないなら、あなたはすでにあなたのドキュメントを持っているなら、あなたはそれらから始めることができます-あなたは新しいテストからインスピレーションを受けることができます！ ニーズに合わせて適応し、アイデアがあれば、他に追加する価値があるものを書いてください！

結論

テストは機能的であるだけでなく、手動のテスターであっても、他のタイプのテストに参加してはいけないという意味ではありません。適切なツールを使用すると、非常に迅速、簡単、効率的に実行できます。 パフォーマンスまたはセキュリティのテストに問題はありません。最初の段階で使用できる「ヘルパー」があります。 テストを文書化することを忘れないでください-これは重要です、あなたは将来から自分自身に感謝します。



記事で使用されているすべてのツールは次のとおりです。コメントを残したり、質問したりできます。 時間を節約し、ツールを使用してください！

広告の分。 ハイゼンバグ会議のこの報告が気に入ったなら、新しいハイゼンバグ（5月17〜18日、サンクトペテルブルク）がすでに近づいていることに注意してください。 たくさんの皆様にお会いできることを楽しみにしています！