魅力2：次世代テストレポート

過去8年間、Artem Eroshenkoはテストの自動化に取り組んできました。 この間、彼はさまざまなポジションのさまざまなチームとやり取りすることができましたが、彼のキャリアの大部分はテストツールの開発チームで働いていました。 Allure AutoTest Reporting Toolが生まれたのはこのチームで、彼らはそれを過剰にセンサーしました。



このツールについて知らない人がいます。 したがって、アリュールレポートの簡単な紹介から始めます。







この資料の基礎は、Heisenbag 2017 PiterカンファレンスでのArtem Eroshenko によるプレゼンテーションでした。 12月8〜9日に開催されるモスクワ会議で、Artyomは新しいレポートを配信します。

アリュールフレームワークとは何ですか？

まず、Allureフレームワークは、わかりやすい自動テストレポートを作成するためのツールです。







アリュールはどのような問題を解決しますか？ まず、テストで何が起こるかを示します。







この問題を解決するために、アリュールは添付ファイル、ステップなどを含む各テストに詳細な実行スクリプトを適用します。



第二に、チームのさまざまな役割は、一般にテスト結果を表示するためのさまざまな要件を提示します。 たとえば、開発者がテストクラスごとにテストのグループを表示する方がはるかに便利です。 彼は、どのテストクラスとメソッドでエラーが発生したのか疑問に思います。 一方、マネージャーは機能の表示にもっと興味を持っています。 機能に近いです。 彼は、どの機能が機能せず、どのような理由で機能するかを知りたいと考えています。 アリュールはこの問題を解決します。











さて、アリュールが解決する3番目の問題はブラウザー動物園です。 どのフレームワークを使用していても、いつでも単一のレポートを作成できます。







これが魅力レポートです。



全体的に魅力はかなりクールなようです。 制限から、彼は常に1つのデータソース、いわゆるアダプターを持っていることがわかります。 この神話上のアダプターの仕組みを次に示します。







jUnitでテストを書いていると想像してください。 Allure jUnitアダプタをそれに接続します。 テストの実行中に、アダプターはすべての必要な情報を収集します。 彼は、テストが開始されたとき、テストが終了したとき、どのエラーが発生したかを理解しています。 また、テストスクリプトに関する詳細情報も収集します。



テストの実行後、アダプターはデータをxmlに保存します。 これが彼の仕事です。



そのようないくつかのxmlファイルに基づいて、アリュールレポートが作成されます。







テストフレームワークごとに個別のアダプターが作成されます。







ただし、すべての情報がアダプターにあるわけではありません。 すなわち 特定のフレームワークに非常に近いため、アダプターからすべての情報を抽出することは不可能です。







たとえば、アダプターには構成に関する情報がありません。正確に何をテストしていますか。 履歴データなし-テストの開始時、再開時など また、アダプターには未解決および解決済みの問題に関する情報はありません。 それが、アリュールの新しいバージョンが多くのデータソースを提供する理由です。







たとえば、アダプタからテストに関する情報を引き続き取得します。 これは通常の情報であり、スクリプトなどがあります。 テストの履歴に関する情報（最後に実行された日時、エラーの種類など）は、CIサーバーから取得します。 Jiraからオープンチケット、ステータス、製品エラーに関する情報を取得できます。 また、必要に応じて、既に一部のアダプターをサポートし、必要な情報をAllureに追加する拡張機能を実装できます。 すなわち Allureの新しいバージョンは、主に複数のデータソースを持つように構成されています。 ソースの数を増やしてレポートを補足し、必要なすべての情報が含まれるようにします。製品またはテストの問題をすぐに理解できます。

アリュール2

次に教えます：

• （特定のフレームワークに固有ではない）全体としてのAllureの主要な大きな機能と思われるもの。
  
  
• アリュールを自分用にカスタマイズする方法。これには素晴らしい拡張メカニズムがあります。
  
  
• アリュールへの移行方法。
  
  

新機能

テスト実行スクリプト

アップグレードされたテスト実行スクリプトに非常に満足しています。

そこに何が現れましたか？

• テストフィクスチャのサポート。 これで、テストの前（クラスの前、クラス前）およびテストの後（クラスの後、後）に実行されたコードを確認できます。 構成の準備とクリアに関する情報は、セットアップとティアダウンのブロックにあります。
  
  

• ステップにパラメーターを追加しました。 これで、すべてのパラメーターをタイトルで印刷する必要はなくなりました。ユーザー名などの必要なパラメーターのみを印刷できます。 そして、他のすべてのパラメーターは便利なラベルになります。
  
  

• これで、テスト実行スクリプトにカスタムブロックを追加できます。 たとえば、スクリーンショット比較メカニズムを使用する場合、Diffをテストスクリプトに直接追加できます。スクリーンショットが異なるため、このような問題が発生したことがすぐにわかります。
  
  

テストの再起動

テストは必ずしも完璧ではありません。 テストインフラストラクチャの環境は特に不完全です。 また、多くの場合、テストを再開する必要がある状況があります。 つまり、テストを1回実行し、それが壊れて再起動しました。もう一度壊れて、3回目の起動ですべてが問題ありません。 また、再起動は何らかのインフラストラクチャの問題によるものでした。 以前は、Allureはこれらのテストを結び付けることができませんでした。 彼はそれが3つの異なるテストだと思った。







統計を損なわないために、テスターは通常、カスタムアダプターの助けを借りて、破損したテストのステータスをスキップに変更しました。つまり、おそらくテストは不要です。 ただし、これでも統計が損なわれます。 100％のグリーンテストではなく、90％のグリーンテストと10％のスキップです。 さらに、ツリー内のこれらのテストは可視でした-外観に干渉しました。







新しいAllureは、再試行（再起動）を自動的に認識し、1つのテストに接着します。







これはどうですか？ クラス、メソッド、テストパラメーターを分析できます。 これに基づいて、いわゆる履歴IDが生成されます。これは、接着を実行できる一意のテストキーです。 このキーでは、テストは時間順に収集されます。 最後のステータスは、最後のテストから（時間によって）決定されます。



次のようになります。







テストの下部に、再試行と呼ばれる特別なブロックが表示されます。 テストの再開に関する情報が含まれています。 これらのテストは、このブロックを除き、他のどこにも表示されないことに注意してください。 それらは統計を損ないません、ツリーに現れません。



テストへのリンクはクリック可能です。リンクをクリックすると、前回テストが失敗した理由を確認できます。







私の意見では、このようなテストは不安定であるため、あまり良くありません。 最初はテストでエラーが発生したため、そこでエラーが発生し、テストに合格したことがわかりました。 私たちはそのようなテストを、彼が信頼されるべきではないことを示す爆弾で脇に置きました。 同様のアイコンがツリーに表示されます。 すなわち そのようなテストは失われません。ツリーを開いて、クラッシュの原因を分析する必要があるすべてのテストをすぐに確認してください。







ただし、このようなテストは全体的なパフォーマンス統計には影響しません。

スタートアップの組み合わせ

この機能は、上記の機能の結果です。 複数の起動を1つにまとめることができます。



あなたがテストを実行し、それらのいくつかがインフラストラクチャの問題のために落ちたと想像してください。 その後、テストを再開すると、再び一部が落ちました。 最終的に、テストを修復し、実際に合格したテストを示すレポートを表示します。 はい、前回倒れたとき、いくつかのテストが壊れたという「赤」の情報があります。







これは1つのコマンドで実行できます。

$ allure generate \ #1 first-launch \ #2 second-launch \ #3 third-launch \
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

アリュール生成を行い、3つのディレクトリ（1回目、2回目、3回目の実行）を指定すると、再試行されたすべてのテスト、つまり 彼は実行されたすべてのテストを接着し、最後の結果（緑ではなく赤である可能性があります）を取得し、他のすべてのテストを再試行します。



このメカニズムにより、複数の起動または再起動に基づいて概要レポートを生成できます。

エラーカテゴリ

この機能は、レポートをより速く解析および分析できるため、非常に気に入っています。



ご存じのとおり、アリュールには4つの完了ステータスがあります。







これは：

• スキップしました
  
  
• 壊れた
  
  
• 失敗（問題が検出された）;
  
  
• 合格（テストに合格）。
  
  

「テスト用のユーザー作成エラー」や「セレンエラー」、「セレクターの問題」など、追加のステータスを追加するようによく求められました。 ステータスの数を増やすのではなく、エラーのカテゴリである直交概念を追加することにしました。



カテゴリーを使用するには、categories.jsonという構成ファイルを準備する必要があります。 このファイルには、使用するエラーのカテゴリに関する情報が含まれています。

 [ { "name": "  ()", "messageRegex": ".*Unable to locate element.*", "matchedStatuses": ["broken"] }, { "name": "   ", "messageRegex": ".*Timed out .* from renderer.*", "matchedStatuses": ["broken"] } ]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

たとえば、「廃止されたテスト」というカテゴリを作成します。これらは修正が必要な古いテストです。 パターンを満たすすべてのエラーがそれに追加されます（この場合、要素がページに見つからない場合）。ここでセレクターを修正する必要があります。 その後、壊れた状態のすべてのテストをここに含める必要があると言います。



ブラウザのクラスターの問題を追跡し、そこにタイムアウトを設定することもできます。



レポートを生成すると、新しいタブが作成されます。







以前は、このタブは欠陥と呼ばれていました。つまり、製品の欠陥とテストに関する情報がありました。 現在、ますます多くのデータ、特にカテゴリに関する情報が表示されています。「ブラウザのクラスタの問題」-1つの問題、「時代遅れのテスト」-2番目の問題。 次に、テストで見つかった問題と、分解する必要がある新しい問題。 したがって、テストを実行した後、このタブを使用して、テストで実際に何が起こったのか、またどのような理由で落ちたのかをすばやく把握できます。



エラーカテゴリは各テストに表示されます。







このテストが属するエラーのカテゴリを示す新しいブロックを見ることができます。 このようなカテゴリがいくつか存在する可能性があります。それぞれ、いくつかの問題が原因でテストが失敗する場合があります。ここにはいくつかのカテゴリがあります。



エラーのカテゴリに取り組み始めたばかりで、開発できる多くの計画があります。 特に、私は本当にBDDとスイートに分類を追加したいと思います。 私はこのようなことを理解したいと思います：承認をチェックしませんでした。すべてがSeleniumの問題にかかったためです。また、契約が作成されていないため、クライアントの作成もチェックしませんでした。 つまり、レポート内の追加データを使用して操作する必要があります。 そのため、5つのテストケースでは「一部の機能が機能しない」などの情報に限定されませんが、この機能では特に機能しないことを理解してください。 2番目に理解したいことは、カテゴリごとの統計です。 インフラストラクチャサポートチームに来て次のように言うのは非常に興味深いことです。「テストの20％がSeleniumのエラーのために常に失敗しています。 それについて何かしよう。」 これに取り組み、この機能は近い将来登場する予定です。

試験履歴

私たちがよく尋ねられた最も興味深い点は、テストの歴史です。

注文済み-入手。 テスト履歴は、データソースであるCIサーバーとの通信を通じてAllureによって公式に維持されるようになりました。 Jenkins、TeamCity、およびBambooでサポートされるようになりました。 また、フレームワークを簡単に適合させ、Allureを使用して生成することもできます。



これはすべて箱から出して動作することを理解することは非常に重要です。 アリュールはデータベースを取得しませんでした;それはまだ同じシンプルで簡単で信頼できるツールです。 実際には、静的レポートを生成しますが、生成中に、どのテストがいつ実行されたかに関するデータをCIサーバーからプルアップします。



アリュール2を使用するときに最初に表示されるのは、トレンド情報です。







過去20回の開始-実行されたテストのグラフが表示されます。 このチャートをクリックすると、以前のビルドに切り替えられます。



ストーリーはテストケースページにも表示されます。







彼女は今、リトライブロックのように見えます。 そこにある行もクリック可能です。 行をクリックすると、特定の結果を得るために以前のビルドの履歴に戻ります。







特定の問題を簡単に切り替えてすばやく分析できます。



物語も始まりにすぎません。 将来的には、正確に新しいテストのメカニズムを実際に動作させたいと思います：「今週追加されたテストの数」、「人の場合-1人のテスターに​​よって追加されたテストの数、2番目のテスターに​​よって追加されたテストの数」、「新しいテストの安定性-新しいテスト成功率インジケータをテストします」など。 私たちはこの方向に進みます-アリュールでは、新しいテスト、これらのテストの問題点についての情報があります。



さらに、既知の問題に関する履歴データに基づいて問題を解決したいと思います。 このような問題がすでに発生したこと、どこで発生したかなどをすぐに示したいと思います。 また、これは履歴データに基づいて行われます。

データエクスポート

それ自体が示唆した別の機能は、データのエクスポートです。 現在、そのようにサポートされています。 データをエクスポートするオプションがありますが、データエクスポートの機能はまだ準備ができていません。 それにもかかわらず、私は本当にそれらについて話したいです。



最初の機能は要約レポートです。







アリュールは長い間、電子メールで送信できるレポートを求めてきました。 これは特に、テストに合格したCIサーバーに当てはまり、CIは単に「ビルドに問題がありました」と言うことができます。 ビルドに添付してメールで送信できる統合レポートを生成します。



さらに、CSVおよびPDF形式で要約統計をエクスポートしたいです。 アリュールを印刷して友人や顧客に転送すると、レポートをクリックする必要がなくなります。



これで、アリュールの大きな特徴についての講演は終わりです。 さまざまなソースからレポート用のデータを収集し始め、この方向で開発を続けます。

カスタマイズ方法

次に、自分でアリュールをカスタマイズする方法についてお話したいと思います。 フレームワークと呼ばれるだけではありません。 何かを追加できるはずです。



私の意見では、アリュールには非常に優れた拡張システムがあります。 拡張機能はJavaとJavaScriptを使用して記述されます（アリュール自体はJavaとJavaScriptで記述されます-銃口はJavaScriptで記述され、カーネルはJavaで記述されます）。

スクリーンショットの比較

例として、スクリーンショットの比較をテストケースページに直接表示するのに役立つ小さな拡張機能を作成しましょう。 そこにブロックを追加します。 Webインターフェースを扱うすべてのテスターは、このような問題に直面していると思います。 スクリーンショットを比較することで、サービスの機能に関する主要なテストをすばやく展開できます。 テスト中の要素のスクリーンショットを撮り、実稼働中の要素のスクリーンショットを撮り、次のような差分を確認します。







そのため、非常に迅速に多数のテストを実行できます。



添付ファイルとして追加されるスクリーンショット。 それらに到達するには、最初にテストケースを開き、次にテストを実行し、次に実行に進み、スクリーンショットへのリンクをクリックすると、表示されます。







これで、テスト実行スクリプトに直接-メインページに直接ブロックを追加できます。







このような拡張機能を作成する方法は？



まず、プロジェクトのビルドシステムとしてgradleを使用します。







私は内部についてはこれ以上話しません。拡張機能自体に集中したいと思います。 これを行うには、必要な情報を実行するだけのJavaScriptを作成する必要があります。







まず、画像をレンダリングする関数を作成します。

 function renderImage(src) { return '<div class="…">' + '<img src="' + src + '">' + '</div>'; } } //Backbone.Marionette.View var ScreenDiffView = View.extend({ … }) allure.api.addTestcaseBlock( ScreenDiffView, {position: 'before'} );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その後、Marionette.Viewをそれらに拡張します。つまり、JavaScriptロジックを追加できる追加の拡張機能を作成します。 たとえば、ボタンを押す-生産を表示し、ボタンを押す-テストを表示し、ボタンを押す-差分を表示します。 その後、Allure APIを呼び出して、テスト結果にブロックを直接追加します。 その結果、メインページに直接表示されます。

ネイティブ形式

話したい2番目の拡張機能は、その形式のサポートです。 フレームワークに必要なすべての情報（テストの起動、すべての機能、アクションなど）があることがあります。 また、アダプターの一部を接続したくない場合や、必要なアダプターが存在しない場合などです。 この場合、結果が既にある場合は、レポートを作成するときにそれらを単に読み取って、それらをAllureの結果に変換できます。 つまり、原則として、アダプターを接続する段階を通過できます。 これは、たとえば、すでに標準の形式を読み取る場合に役立ちます。 ここで、TeamCityはmst、testngなどの形式をサポートしています。 しばらくすると、Allureはデフォルトでこれらの形式をサポートします。 アダプタを接続せずにレポートを生成できます。 このレポートは最小限に抑えられますが、HTTPで単体テストまたは統合テストを作成するユーザーには、必要なすべての情報があります。



この拡張機能はどのように見えますか？







この拡張機能にはJavaScriptはありません。これは純粋にJavaのロジックです。結果を読み取る必要があります。その後、それらをAllureに変換します。 Javaの部分に興味があります。







独自の形式をサポートするために、Readerというインターフェイスがあります。

 interface Reader extends Extension { void readResults( Configuration configuration, ResultsVisitor visitor, Path resultsDirectory); //your code here }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

構成は彼の入力に渡され（ここでは、アリュールに関する連合全体を見つけることができます）、入力へのビジターを獲得します。 アリュールレポートに新しいテストを追加できます。 最後の1つは、分析するディレクトリです。



新しい拡張機能を作成するとき：

 class CustomReader implements Reader { void readResults(config, visitor, results){ listFiles(directory).stream() .map(this::readFileToCustomResult) .map(this::convertToAllureTestResult) .forEach(visitor::visitTestResult); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

まず、このディレクトリからすべてのファイルを読み取ります。 次に、これらすべてのファイルを何らかのオブジェクトに配置します。 その後、データ構造をAllure Resultsに変換し、Visitorに追加します。 原則として、複雑なことはありません。フォーマットをAllure Resultsに変換するだけです。



これらの拡張機能を使用すると、フレームワークをサポートできます。 たとえば、リスナーがいない場合。

カスタムツリー

ご存知のように、アリュールには、テストケース（つまり、パッケージが表示され、特定のテストケース）ごとに最初の分類があり、機能ストーリーごとに2番目の分類（最初に、すべてのテストが機能ごとにグループ化され、次にすべてテストはストーリーごとにグループ化されています）。



任意のツリーを作成するには、2つのポイントを実行する必要があります。

• データ構造自体を生成します 組み立てられたツリーに関する情報を持つJSON。
  
  
• このツリーをアリュールレポートに埋め込みます。 Webインターフェースで何らかの実装を行います。
  
  

ソリューションの構造を順番に分析しましょう。







Javaパーツから始めましょう。 テストのカテゴリに関する情報を収集するには、アブストラクトまたはアグリゲーターを拡張する必要があります。 彼は、ファイルの名前を実装する必要があります。ファイルの名前には、カテゴリに関する情報とカテゴリのリストがあります。 つまり、最初にコンポーネントに関する情報を収集し、その後、モジュロです。

 class CustomTab extends AbstractTreeAggregator { @Override protected String getFileName() { return "custom.json"; } protected List<TreeGroup> getGroups() { return Arrays.asList({ allByLabel(result, "component") allByLabel(result, "module") }) } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この情報は、アリュールレポート自体にすでに表示されているはずです。

 var components = allure.components; allure.api.addTab('custom', { title: 'Custom', icon: 'fa fa-list' route: 'custom/(:/testcaseId)' onEnter: (function(){ var routeParams=… return new components.TreeLayout({ routeParams: routeParams, tabName: 'Custom', baseUrl: 'custom' url: 'data/custom.json' }) })});
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これを行うには、Allure APIをプルし、customというタブを追加します。 タイトル、アイコンを入力し、そこにルーティングします（つまり、カスタムIDに送信されるすべてのリクエストはこのタブに送信されます）。



標準のAllureコンポーネントを使用して、新しいツリーを描画します。 任意の情報、特に新しいグラフまたはウィジェットを追加できます。 このために、自宅で使用できるコンポーネントのライブラリがあります。



Allureを起動して拡張機能を接続すると、カスタムタブが表示され、設定に応じたグループ化が実装されます。







このソリューションは、たとえば過去から何らかの種類のテスト構造を既に持っている企業に適しています（たとえば、機能ストーリーをまだ使用していない、または使用したいなど）。

拡張機能の配布

現在、そのような拡張機能の配布はまだ準備ができていません。 新しい拡張機能を選択し、それをAllure（拡張市場）にロードするメカニズムはありません。 それにもかかわらず、私たちはこれに取り組んでおり、しばらくして一連の拡張機能があり、それらを柔軟にAllureにロードできるようになることを願っています。 つまり、構成でこの拡張機能とこの拡張機能が必要であることを直接指定できます。 アリュールで可能な限り多くの新しい機能を見たいです。

拡張システム

ほとんどすべての拡張機能を1つのスライドに収めようとしました。 実際にはこれがあまりにもクールであることは明らかです。可能性を示したかったので、多くのコードをスキップしました。 実際、JavaやJavaScript、Backboneなどでプログラミングできる経験豊富なユーザーのみが拡張機能を作成できます。 私の意見では、見かけほど簡単ではありません。 しかし、あなたは試すことができます。 コミュニティ全体に役立つ拡張機能を作成する方法についてアイデアがある場合は、ご連絡をいただき、これらの拡張機能をご自身で作成してください。 どのような情報をレポートに追加できるかについてのアイデアをリポジトリに送信してください。

移行方法

新しいAllureに移行する方法と、移行とは何ですか。

アリュールには完全な下位互換性があります。 これで、バージョン2.1.0をダウンロードして自分自身に配置し、現在のデータに基づいてレポートを作成できます。 アリュールレポート自体のバージョン以外は何も変更する必要はありません。



たとえば、次のようにJenkinsに対してこれを実行できます。







アリュール1.5.4の前に持っていた。 あなたはそれをMaven Centralから送り出しました。 新しいツール-アリュール2.1.0を追加し、URLを指定します（残念ながら、今ではこのような長いURLがあります-ジェンキンスに既にリクエストを送信しており、近い将来にインストールする必要があります。その後、ドロップダウンメニューから以前のように使用できます）。







新しいURLを追加した後、ジョブの一部を構成します。ここで、1.5.4から2.1.0に切り替える機会があり、すべてが機能します。







同時に、再起動、レポートの結合、履歴、テストケースに新しいブロックを追加する機能など、上記のチップをすぐに入手できます。



なぜアダプターを更新するのですか？



可能な限りテストから情報を収集しようとします。 たとえば、最新バージョンでは、あらゆる種類の標準ソリューションとより緊密に統合し始めています。 最初に行うことは、httpサンプル、httpクライアント、レトロフィットなどのカスタム添付ファイルです。 これらのテクノロジーのいずれかを使用する場合、単にアリューアレトロフィットを自分に接続するだけで、アリュールのログ、リクエスト、および回答を含む詳細なスクリプトがすぐに得られます。



既製のフレームワークとのさらなる統合を実行し、それらの周りのバインディングを行います。







アリュールを使用しており、最新の開発状況に遅れないようにするには、コミュニティに参加してください。



最初にできることは、Githubでフォローすることです。 Allureにはすべてのリポジトリと統合があります。 興味のある統合を購読してください。 そして、あなたはそこで起こっていることに気づくでしょう。



何らかの緊急の問題がある場合、何が起こっているのかわからない場合は、Gitter： here and hereをご覧ください 。 これはオンラインチャットです。 常にリアルタイムですべての質問に答えます。 すぐに解決できない問題が発生し、迅速な解決策が必要な場合は、そこに弊社までご連絡ください。迅速に対応し、解決に役立てます。



Twitterでフォローしてください：eroshenkoam（I）および@QametaSoftware（Twitter、Allureの新しいバージョン、アダプターなどについて投稿します）。



デモをクリックしたい場合は、 リンクを作成しました。 それをクリックすると、アリュールの新機能を見つけることができます。

---

Artem Eroshenkoは、モスクワで開催されるHeisenbag 2017 Moscow向けの興味深い新しいレポートを準備しています。 プログラムはまだ形成されていますが、いくつかの重要な報告はすでに知られています。 イベントの詳細情報と参加条件は会議のウェブサイトで利用可能です。