過去5年間、私はシステムアプリケーションのテストをより速く、より安くするのを助けてきました。 若くて（若くて暑い）、手でもっと速く、頭でもっと熱心に仕事をするように努めましたが、次第に手動テストには有効性の限界があることがわかりました。マネージャーと2人のテスターで構成される部門の場合、これは月に約30の機能です。 無慈悲なテスト自動化のための十分に開発された方法があるため、問題はないように思われます-退行を取り除くだけで自由時間以上のものが得られます。市場にあるものからシステムを選択するだけで、それを紹介し、その後も幸せに暮らします。 そして、ここで人生は宣言します：「いいえ」。
そして、ポイントはすべての自動テストシステムに致命的な欠陥がある 、または熱狂的なファンタジーによって生成された要件の単純なリスト（要件へのリンク）を満たしていない、またはユーザーユースケースの想像を絶する複雑さを反映できないということではありません-単純な分析はユーザーセットウイルス対策のケースには、比較的簡単な手順を含める必要があります。
- クリーンなマシンにデプロイする
- ウイルス対策ファイルの静的特性の確認
- さまざまな脅威の処理と検出
- アンインストール
- 再インストール
- 古いバージョンを更新
- 競合他社のウイルス対策ソリューションとのインストールの互換性
- 自己防衛テスト
私は特に互換性の点に注意したいと思います-私にとっては、ウイルス対策はカスペルスキー、drweb、eset、symantecなどのリストからのものであることが普通であるように見えましたが、世界は静止しておらず、新しい世代のユーザーは自分で見つけることができませんでした-今私たちはする必要があります1週間あたりの人気ダウンロードでdownload.cnet.com/s/antivirusページを解析し、関連するものでテストします。
ご覧のとおり、すべてのケースが直接自動化を求めています。
ただし、ウイルス対策ソフトウェアを含むシステムソフトウェアのテストには、いくつかの問題があります。
- ハードウェアでの作業はvmでの作業とは異なり、テストマシン間では物理環境と仮想環境の両方を使用できます。
- システムソフトウェアのテストに関する2番目の問題は、2013年に才能のある研究者Y. M. Fridlyandによって指摘されました。
検索エンジンにさまざまなクエリを生成してから約1か月で、パートナーのディプロマプロジェクトへのプレゼンテーションを除き、「再起動でセルフテストを行う方法」という質問に対する他の関連する答えはないという事実に至りました。 ああ、そのPDFを読んで、私は考えました-再起動後の生活のために、すべての付随するMicrosoftインフラストラクチャでTFS全体をドラッグしますか？
なぜこれをしているのですか？
そして、私は他の解決策を研究し始めました。 はい、はい、ドッカーを実際に見て、ジェンキンスベースのCIについて読んで、試してみて失望しました-ソリューションが完全に適合しなかったか、研究するために必要な関連技術の数が将来的にユニークに変更されたサポートされていないソリューションを提供しました（または高度な専門家のスタッフによってサポートされています）、私はプロジェクトと雇用者を変更しました（もちろん、ますます有名になりました）が、どこでも同じことがわかりました-システム機能のテスト（ドライバーの更新、OSのシャットダウン、ウイルスの処理、スタートアップのチェック） 最速、最も信頼性の高い、安い方法。
そして、私はpythonを発見しました。 このテクノロジーのみを使用して、シンプルな仮想マシンマネージャー（pysphereのインポート）、Webインターフェース（web2pyのインポート）、isoイメージを介して仮想マシンに配信されるテストエージェントwin32サービス（win32serviceのインポート）、およびテスト自体を別々に組み立てることができましたpyinstallerを介したexeファイル（事前トレーニングシステム、Pythonのインストールなどに悩まされないようにするため）。 概念的には、すべて次のようになります。
これらすべては、1つの技術の知識を持つ1人の専門家によってサポートされています。バスファクターは最小限であり、非常に満足しています。
テスト結果は、日次レポートページで収集されます。
簡単な方法で、バイク開発の約6か月でリグレッションとスモークテストを取り除きました。手動テストでは新しい機能のみが該当し、テスト部門全体のしわが滑らかになり、髪が柔らかくシルキーになりました。
実際、一定量の新機能を獲得した後、製品はプローブチームに提供されます。ベータテスターと技術サポートのフィードバックにより、品質は前例のない高さになります。