テストはご容赦ください

こんにちは、Khabrovchans！ 実際、エフゲニー・カスペルスキーは彼のブログに機知に富んだテキストを投稿しており、あなたもそれを読むべきだと思います！ これについてどう思いますか？



予想どおり、最近のPassmarkパフォーマンスベンチマークの投稿でノイズが出ました。 そして、主なもの-ノイズは、マルウェア対策業界ほどブログ上ではありませんでした。 まあ、それはまさに本当のモンモランシーが望むものです:)



要するに-それは判明した。 真実を見つけたいからです。 それだけでなく、ウイルス対策テストの正確性を何らかの形で刺激したいと思います。



しかし、アンチウイルスをどのようにテストする必要がありますか？



ええ、そう最初に。 衝突を避けるため。 komentyをすぐにダウンさせるために、どのタイプのテスターに​​、レシピに従ってスツールを調理するように教えて、製品がリードにクロールされるようにします。 これには答えがあります-さまざまなテストでトップ3に入ることはめったにありません。 第二に、これから説明するのは私の発明ではなく、 業界標準の AMTSO （マルウェア対策標準化組織-そのような組織があります）で、ほぼすべての主要なAVベンダーとさまざまな有名な専門家の 代表者がいます。



悲しいかな、一般大衆および進歩的な世界のコミュニティはAMTSOに精通しておらず、ほとんどのテスターはまだ昔ながらの方法で仕事をすることを好みます。 それは理解できます-安くて馴染みがあり、ユーザーは、主な結果は結果であると言います-誰が1位、2位、3位になり、誰がダンプに行きましたか。



誰もが幸せそうに思えますが、！ それは本当に絵を歪めます。 結果として、最高のソフトウェアが忍び寄るわけではなく、テストの勝者のリストの位置は、実際には提供されている保護の実際のレベルに対応していません-要するに、でたらめで...



どうしてそんなに興奮しているのか-時には「ビジネスを行う」ために時間とリソースが無駄になるのではなく、次のたわごとテストでデモパフォーマンスを提供するのは残念なことです。 製品を真の品質ではなく、愚かにも研ぎ澄ましますが、他の製品よりも正確にテストすることよりも悪い結果を示すことはできません。



こっち さて、今-主なことに移りましょう。



だから、テストしない方法。



古典的な古き良きオンデマンドテスト 。



実際、これは最も一般的な標準テストであり、インターネットの大衆時代以前の昔、最も正確なテストでした。



//ところで、1994年に、ハンブルグ大学でのこのようなテストでAVPの国際初演を準備しました-初めて参加し、すぐに全員を解散させました。



テストの方法論は次のとおりです。ディスクを取得し、malvaraで詰まらせるほど、手が届くほど良く、非常に異なります。 次に、さまざまなウイルス対策スキャナーが設定され、検出量が測定されます。 安くて陽気な。 しかし、すでに10年は絶対に無関係です！



なんで？ また、ウイルス対策シグネチャ、ヒューリスティックおよびその他の「スキャン」エンジンは、現実世界で保護に使用されている複雑なテクノロジーの一部にすぎません。 （さらに、一般的な保護レベルでのこれらのエンジンの価値は急速に低下しています）。 多くの場合、スキャナーは通常、純粋な外科手術の最後の手段として機能します。たとえば、 システムウォッチャーにトロイの木馬を追跡させ、感染の様子を理解してから、スキャナーにそれをポップするタスクを送信します。



もう1つの欠点は、スキャンのMalvariベースです。



二つの極端なものがあり、両方とも悪質です。 ジャンクファイルが少なすぎる-ご存じのとおり、無関係です。 サンプルが多すぎる-同じ問題ですが、もう一方の端から：メガコレクションに大量のガベージが入ります（破損したファイル、データファイル、それほど悪くないもの、たとえば悪いものを使用するスクリプトなど）そのようなゴミからのコレクションは、最も困難で感謝のない仕事です。 さらに、低賃金:)



そして、主な欠点は、そのようなテストの下で、あらゆる製品をシャープにできることです。 これらのテストで傑出した結果を表示する。 テストへの製品の適合は基本的に行われます-テストで使用されるファイルを最大化するだけです。 あなたは思考の流れに従っていますか？



もう一度。



「スキャンテスト」で100％に近い結果を示すために、休憩して技術の品質を向上させる必要はありません。 これらのテストに該当するものをすべて検出する必要があります。 ハンターとクマについての冗談のようなものです。



「しかし、クマは私たちよりも速く走ります！」 -最初のハンターは言います。



「そして、私は熊より速く走る必要はありません」、2番目の答えは、「私はあなたより速く走る必要があるだけです。」



これらのテストに勝つために、「熊より速く走る」必要はありません。 最も有名なテスター（およびVirusTotal、Jotti、およびウイルス対策企業のマルウェア交換者）が使用するマルウェアのソースに固執するだけで、他の人が検出するすべてを愚かに検出するだけです。 つまり ファイルが競合他社によって検出された場合-MD5などを使用して検出します。



それだけです！ 個人的には、 数人の開発者の 助けを借りて、数か月でほぼ100％の検出を示すスキャナーを作成する準備ができています。 //ちょうど2人の開発者が必要な理由-念のため、突然1人が病気になります。



要するに、オンデマンドテストは間違ったテストです。 彼らは本物を見せないので、彼らに適応するのは簡単で、正直に勝つことは非常に難しいです。





どうすればテストできますが、スペシャリストが見ない方が良いとは言えません。



非常に特定の領域でアンチウイルスの品質を示す、あらゆる種類のニッチテストの動物園があります。



原則として、それらは存在する権利を持ち、さらに、特定の機能の製造品質を比較するのに非常に役立ちます。 しかし、この特異性について大きな文字で書く必要があり、テストでは製品のすべての機能を考慮に入れていないことが必要です 。 ここで普通のユーザーが行うことは何もありませんが、専門家や他のオタク専用のペイロードを運ぶ純粋に工業的なテストです。



たとえば、特定のケースを処理するためのテスト （製品が特定の方法で感染したシステムを処理する方法）、 偽陽性のテスト （製品がクリーンソフトウェアを「偽造」する）、 プロアクティブテスト （製品が署名​​なしでマルウェアをキャッチする方法、つまり、プロアクティブテクノロジーによる）、 オンアクセステスト （マルウェアによるリアルタイム操作中のオンアクセススキャナーの品質）、 インターフェイスパフォーマンスとGUIの測定など -特定の目的のためのさまざまなテスト。



加速、ブレーキング、ガソリン消費に関する個別のテストと同様ですが、特に相互に参照することなく個別にテストします。 最良の結果は、F1カーなど、日常生活で絶対に実現不可能な製品を示すことができるためです:)



最後に、それをテストする方法、および見どころ...



遠くから始めましょう。 テストの目的は何ですか？



まず第一に、保護の質を示すこと。 はい、すべてが平等であるため、使いやすさとパフォーマンスも重要ですが、最終的には、「チェッカーではなく、行く」必要があります。 したがって、そう。



そして、保護の品質を確認する方法は？



もちろん、 可能な限り戦闘に近い状況で ！ 正しいテスト方法論は、実際のユーザーの最も一般的なシナリオに基づいている必要があります 。 それ以外はすべて、「もしあれば」というカテゴリーからの妥協と仮定法です。



動的または実世界のテストは 、このタスクに最適です。



意味は簡単です。通常のコンピューターを使用し、既定の設定でウイルス対策ソフトウェアをインストールし、あらゆる方法で実際のマルウェアを起動します。 すべてがシンプルです！



製品はフル機能で動作し、状況は可能な限り戦闘に近いです！ そして、ユーザーは最終的に、適切な選択のために、ウイルス対策の品質と関連情報の正しい測定値を取得します。 次に、システムの負荷、更新のサイズを測定し、価格を追加し、テストの各カテゴリに「スコアの重み」を付けます-結果は準備完了です。



簡単ですか？ ああ、いや。



テストマルウェアの正しい選択の難しさについて言及しなくても、最も困難なことは、「戦闘に最も近い方法で」条件をテストするには、自動化が非常に難しいこれらの非常に近似した条件が必要なことです。 つまり このようなテストには、多くの手動の機械作業が必要です。



そしてまさにこの理由で、そのようなテストは非常にまれに、非常に切り捨てられたモードで実行されます。 以前の投稿で、私はすでにいくつかをリストしました。 しかし、ここでも誰もが独自の特性とニュアンスを持っています。



つまり、正しくテストするようにアドバイスする方法は明確で明白です。 しかし、そのようなテスト測定を実施する[無料]ことができる狂人をどこで見つけることができるのかわかりません。 悲しいかな、正しいテストの正しい結果を見る場所はありません...



これは、この音楽作曲の最後にあるこのようなBフラットマイナーです:(