🕠 🧜 👷🏼 ないものをキャッチする方法。パート3：裁判官は誰ですか？ 🤷 🔯 👨🏽‍🔬

前の記事で、主なセキュリティ問題は、保護ツール（例としてウイルス対策を使用）が最も危険な悪意のあるファイルを渡すことであることが示されました。そして、この動作は正常であり、予想されています。一方、脅威の最大100％の検出を示す多数のテストの結果があります（Habrの後者から、特に解説で「How we are testing 」という出版物を見ることができます）。

テストする人、賞を受け取る人について何が沈黙していますか？

多くのアンチウイルスがあります。高価で無料、ブレーキではなく、非常に。そして、それらのすべては一見して、仕事の質を評価するのは簡単です。この点で、インターネット上で多数のウイルス対策テストに簡単にアクセスできます（ファイアウォールのテスト、アクセス制限システムも存在しますが、実際にはこれらの製品はテスト結果とはるかに一貫していますが、あまり一般的ではありません）。

多くのテストがあり、多くは専門組織や一般ユーザーによってテストされています。

ファイルをテストすることにより、リアルタイムでアンチウイルスを比較できます。

そして、これは完全なリストではありません。そこで最近、私はさらにいくつかのことを学びました（広告ではなく、Sergey Storchakによる次のレビュー-www.securitylab.ru/blog/personal/ser-storchakから実際に学びました）： avcaesar.malware.luおよびwww.malwaretracker.com/pdf.php 。

AMTSO組織（Anti-Malware Testing Standards Organization）もあり、テスト方法の開発作業を引き受けています。

多くのテストがありますが、最も一般的なものは次のとおりです。

大規模なコレクションでのウイルス対策テスト
動的試験
ヒューリスティックテスト
自己防衛テスト
性能試験

Eugene Kasperskyは、大規模なコレクションのテストについて素晴らしい記事を書いています。彼の言葉（http://e-kaspersky.livejournal.com/87090.html）：

古典的な古き良きオンデマンドテスト。

実際、これは最も一般的な標準でおなじみのテストであり、かつての昔、インターネットのマス前の時代には、本当に最も正確でした。

テストの方法論は次のとおりです。ディスクを取得し、malvaraで詰まらせるほど、手が届くほど良く、非常に異なります。次に、さまざまなウイルス対策スキャナーが設定され、検出量が測定されます。安くて陽気な。しかし、すでに10年はまったく無関係です！

なんで？また、ウイルス対策シグネチャ、ヒューリスティックおよびその他の「スキャン」エンジンは、現実世界で保護に使用されている複雑なテクノロジーの一部にすぎません。（さらに、一般的な保護レベルでのこれらのエンジンの価値は急速に低下しています）。多くの場合、スキャナーは通常、純粋な外科手術の最後の手段として機能します。たとえば、システムウォッチャーはトロイの木馬を探し出し、感染の様子を理解してから、流出のタスクをスキャナーに送信します。

もう1つの欠点は、スキャンのMalvariベースです。

二つの極端なものがあり、両方とも悪質です。ジャンクファイルが少なすぎる-ご存じのとおり、無関係です。サンプルが多すぎると同じトラブルになりますが、もう一方の端から：メガコレクションに大量のガベージが入ります（破損したファイル、データファイル、それほど悪くないもの、たとえば悪いものを使用するスクリプトなど）。そして、そのようなゴミのコレクションをクリアすることは、最も困難で感謝のない仕事です。さらに、低賃金:)

哲学的な問題は、会社がそのようなテストに参加すべきかどうかであり、サイレントテストからではなく、クライアントのニーズから販売しようとしているDoctor Web会社は正しくありません。

しかし、テストに戻ります。実際、大規模なコレクションに対するテストの場合、コレクションは「より良い」という原則に従って取得され、テストに参加しているウイルス対策ソフトウェアが取得され、現在の状態に更新され、コレクションがスキャンされて検出されます。一般的に、論理的です。ウイルス対策が知っているサンプルが多いほど、ユーザーに侵入した瞬間に何らかの種類の感染を見つける可能性が高くなります（ウイルス対策は既存のすべての悪意のあるファイルを知っている必要があるという神話を思い出します）。

一般ユーザーの観点から、そして残念なことに、大多数の顧客-すべてがきれいであり、質問はありません。しかし、未知のマルウェアはこのような美しい画像を台無しにします。

アンチウイルスは、ユーザーのシステムに組み込まれたライブウイルスを修復および修復する必要があります。また、ウイルス対策プログラムがファイル内で有害な何かを検出したかどうかを確認する必要がありますが、まず第一に、ワークステーションを保護するように設計されたシステムのスキャナーとファイルモニターではなく、

メールサーバーとゲートウェイを保護するためのシステム-ウイルスが非アクティブな形でのみ動作する場合のみ。
ワークステーション/ファイルサーバー用のウイルス対策メールおよびインターネットトラフィックスキャンコンポーネント（それらではなく、それらの目的を果たす必要があります（従来の約束-これについては技術に関する記事で説明します）。ただし、ワークステーションのテストでは、原則として、これらのコンポーネントはチェックされません。

このようなテストでは、検出システムの動作（たとえば、インターセプトの起動）はチェックされませんが、アンチウイルスカーネルによってのみチェックされます。コレクションは、ウイルス対策スキャナーによって直接スキャンされるか、コレクションからのファイルがスクリプトによってコピーされ、それらの検出はファイルモニターによって監視されます。 3つの落とし穴があります。

第一に、すでに述べたように、アンチウイルスは治癒するはずです。しかし、膨大なサイズのコレクションでは、ファイルが実際に処理されたかどうか、および正しく処理されたかどうか、つまり、処理後に完全に機能するかどうかを検証することは物理的に不可能です。したがって、治療の場合、製造業者の誠実さと治療の成功に関する彼のメッセージに単に頼らなければなりません。その結果、膨大なコレクションのテストが発見時に実施されます。

小さな余談。不一致の検出。たとえば、すべてのウイルス（現在、ウイルスをマルウェアのクラスと呼んでいます）がファイルに正しく感染するわけではありません。たとえば、Doctor Webアナリストは、ウイルスがファイルに感染した場合に検出を報告する必要はないと考えているため、一方では実行されず、他方では感染したプログラムのパフォーマンスに影響を与えません。テストを失うことは明白です。しかし、治療の結果が常に予測可能であるとは限らないため、ユーザーは負けたプログラムが自分の面倒を見ることを知っていますか？

別の余談と別の例。ポリモーフィックウイルスは今ではまれです。しかし、それでも。ポリモーフィックウイルスは署名によって検出されません-それらは起動ごとに変更されます。アンチウイルスにポリモーフィックアナライザーがない場合、テストでそれらをキャッチする方法は？テスターから入手可能なすべてのサンプルを検索し、データベースに入力します。とにかく、誰も新しいサンプルを取得するためにそれらを実行しません。過去からの実際のケース。

第二に、アンチウイルスは実際の状態で処理する必要があります。システムに侵入した本物のウイルスは、ウイルス対策に積極的に対抗します-それらは暗号化され、ポリモーフィックな変更と難読化の方法を適用し、完全に無害なプロセスとして偽装します。それらを削除することは、ファイルで検出するよりもはるかに困難です。また、システムを損傷しないようにそれらを削除することはさらに困難です。繰り返しますが、膨大なコレクションと、各ウイルスの治療の質を個人的にチェックする必要な数の専門家を募集できないため、治療のためのテストを実施することは不可能です。繰り返しますが、メーカーという言葉を信じなければなりません。

第三に、ウイルス対策は悪意のあるファイルのみを検出する必要があります。コレクション全体をチェックし、悪意のあるオブジェクトに関連しないさまざまなゴミが存在しないことを保証する必要な数の専門家が不足しているため、再び、レジストリフラグメントではなくウイルスを検出した製品上の単語を信じる必要があります。そして、テストに勝つためには、このゴミをすべてデータベースに入れる必要があります。一方では、ベースが膨らんでいます。他方では、これらすべてを事前に入手していない場合、どのように勝つことができますか？

合計膨大なコレクションのテスト：

発見の割合を誇張する広告目的で、悪意のあるメーカーによる悪用の広い範囲を開きます。
それらは、ウイルスとの戦闘衝突の実際の条件で、ウイルス対策がどれだけうまく動作するかを示していません。
ウイルス対策のすべてのコンポーネントをテストするわけではありません-ところで、最新のウイルスはリリース時にウイルス対策の最新バージョンでテストされ、サンプルが実験室に到着する前に誰にも検出されないため、非常に重要です。

保護は、ウイルスがシステムに侵入することによってのみ制限されます-オフィス制御、ポートの閉鎖など。

ユーザーとの関係でこのような勝利を誇りに思うのはどれほど正直なのでしょうか？哲学的な質問。

膨大なコレクションに対するテストの普及により、メーカーは次のような「アンチウイルス」を作成するようになります。

テストで見つかったサンプルのみの検出に焦点を当てた。
ウイルスが含まれていない場合でも、コレクション内の100％のウイルスを検出します。
悪意のあるプログラム自体の検出と削除のみに焦点を当てています。

ユージン・カスペルスキーへの言葉：

このようなテストでは、あらゆる製品をシャープにすることができます。これらのテストで傑出した結果を表示する。テストへの製品の適合は基本的に行われます-テストで使用されるファイルを最大化するだけです。あなたは思考の流れに従っていますか？

「スキャンテスト」で100％に近い結果を示すために、休憩して技術の品質を向上させる必要はありません。これらのテストに該当するものをすべて検出する必要があります。

これらのテストに勝つために、「熊より速く走る」必要はありません。最も有名なテスター（およびVirusTotal、Jotti、およびウイルス対策企業のマルウェア交換者）が使用するマルウェアのソースに固執するだけで、他の人が検出するすべてを愚かに検出するだけです。つまりファイルが競合他社によって検出された場合-MD5などを使用して検出します。

それだけです！私は個人的に、数人の開発者の助けを借りて、数か月でほぼ100％の検出を示すスキャナーを作成する準備ができています。 //ちょうど2人の開発者が必要な理由-念のため、突然1人が病気になります。

大規模なコレクションに対する一種のテストは、ヒューリスティックのテストです。アンチウイルスは、研究室にまだ到着していないサンプルをキャッチする必要があるという事実に基づいて、各アンチウイルスには未知のマルウェアを検出するメカニズムが含まれています。この目的のために、アンチウイルスステータスはテストの時刻よりはるかに遅い日付に修正され、使用されるコレクションにはこの日付以降に出現したウイルスが含まれます。このようなテストは、アンチウイルスが既知のウイルスの亜種をどれだけうまくキャッチするかを示していますが、すでに述べたように、金融情報を盗むことを目的とするものを含む最新のウイルスは、リリース前に現在のアンチウイルスデータベースでチェックされます-このテストでの高い製品評価はユーザーを救いませんあなたのお金とデータを失うことから。

別のタイプのテストは動的です。ウイルス対策の現在のバージョンがインストールされ、ユーザーの作業がシミュレートされます。いくつかの問題があります。

一般的なユーザーは、セキュリティ設定（ペアレンタルコントロールや行動分析など）に関与していません。したがって、通常のインストールで検出されないことがテストされた悪意のあるファイルは問題なく機能します。
個人的には、ネットワーク上の標準ユーザープロファイルがわかりません。私が間違っている場合は、修正してください。
ソーシャルエンジニアリングは驚異的です。最近の例として-これらの名前を示す税務署からの手紙（個人データの保護にこんにちは！）

ただし、大部分のウイルス対策コンポーネントをテストするため、大規模なコレクションに対する動的テストは通常のテストよりも優れています。

ちなみに、非常に頻繁に推奨されるウイルス対策のどれがhabrahabr.ru/post/160905のようなテストに失敗しただけでなく、負の数のポイントを獲得したかを推測してください（http://dennistechnologylabs.com/reports/s/am/ 2012 / DTL_2012_Q4_Home.1.pdf、 dennistechnologylabs.com /reports/s/am/2013/DTL_2013_Q4_Home.1.pdf）？

検出テストに加えて、ウイルス対策プログラムの最も一般的なテストは、プログラムの起動のパフォーマンスと速度です。パフォーマンステストは通常、大規模なコレクションの検出テストと組み合わされます。 2つの待ち伏せがあります。

大まかに言うと、ウイルス対策データベースは、特定のウイルスを検出する方法を決定する一連のレコードと手順です。さらに、データベースにはさまざまな形式のアーカイブ、パッカー、データベースなどのアンパッカーが含まれます。したがって、特定のウイルスを見つけるには、データベース全体をウイルス対策プログラムが実行する必要があります。当然、製造業者はデータベース形式を最適化して検索を高速化します（たとえば、前述のDoctor WebのFLY-CODEテクノロジーもこれに対応します）が、一般的には、データベースが大きいほど検索する可能性が高くなります。すべてのプロデューサーは、ウイルスを判別するためにほぼ同じ量のデータを必要とするため（当然、シグネチャについて話しているため）、高速スキャンでのはるかに小さいデータベースサイズは警戒すべきです。ウイルスに関するウイルス対策情報を考慮したテスト（たとえば、レコードサイズのチェック速度の正規化）は実行されません。

人生からの例。今年はどうなのかわかりませんが、ロシアでは1年前に5〜7でウイルスを「検出」するウイルス対策がまだありました。署名を正確に覚えていません。

良い方法では、そのようなテストは標準ユーザープロファイルでも実行する必要があります。現実には、原則として、多くのファイルが同時に開かれ、最新のプロセッサはマルチコアであるとします。ウイルス対策が最新のコンピューターと地域に多数存在するという事実（386番目のプロセッサに基づいてコンピューターを保護する要求がそれほど前に停止しなかった）の両方で、ウイルス対策がどの程度うまく機能するかを評価する方法は？同時に開かれるファイルの数（テストストリームの数）が異なる複数のテストモードが必要です。 1つだけで、さらに最新のマシン構成でのみテストしますか？それとも、テスターは、ロシアのすべてのユーザーが今年のコンピューターを持っていると思いますか？そして、言われたことに戻ります-ユーザーがインターネットで作業するための単一の標準プロファイルが表示されませんでした-どのくらい、どのデータが送信/ダウンロードされ、どの時間間隔で、など。

全体として、パフォーマンスに対するウイルス対策テストの既存の状況により、製造業者は以下を作成する必要があります。

可能な限り最小のベースを持つ製品。
テストキットで見つかったもののみに関する情報を持つ製品（「野生動物で見つかったウイルス」）。
テスト対象のコンポーネントの開発に焦点を当てた製品。

これはすべて、市場参入のしきい値が非常に大きいという事実によってさらに悪化します-市場で新製品を発売するには、すべての既存および既存のウイルス、それらの検出方法などに関する情報を含むデータベースをすぐに持っている必要があります-上位100個のウイルスを検出するのははるかに簡単です。

テストの最後のグループに移る前に、ちょっとした理論。市場にはかなり多数のウイルス対策プログラムがあります。そして、それらは2つの部分に分かれています。 1つ目はマルウェアを個別に検出して処理するために必要なすべてを開発し、2つ目は最初のウイルス対策カーネルのライセンスを取得します。また、大規模なコレクションのテスト、ヒューリスティックのテストでは、最初と2番目の両方の結果はほぼ同じです。しかし、実際には、すべてが異なります。テストオーガナイザーが各ウイルス対策および各ウイルスの「通信」の結果を確認する機会がある場合、小規模コレクションのテストのカテゴリから最後の2つのテストを確認します。これらは、活動的な感染症と自己防衛の治療のためのテストです。

www.anti-malware.ru/antivirus_self_protection_test_x64_2011

www.anti-malware.ru/malware_treatment_test_2012 。サイズを減らすために表から報酬を削除しました

大まかに言って、1番目と2番目のグループの違いはドライバーにあります。ウイルス対策エンジンはライセンスされて送信されます。 IPA傍受システムは通常含まれていません。しかし、悪意のあるファイルをキャッチする必要があります。ウイルスがシステムに導入されるまでトラフィックを傍受し、更新が到着した後にルートキットを検出して破棄する必要があります。また、積極的な感染と自己防衛のテストのためのテストでは、安全へのアプローチの違いがわかります-トップ3の後に仕事の質の急激な低下。

無料の製品のサポーターは、理解してください-無料のチーズはネズミ捕りにのみ含まれています。セキュリティソリューションの開発は非常に費用のかかるプロセスであり、大手企業で適切な給与を獲得したい専門家です。

その他。情報セキュリティ市場は独特です。特許を購入するだけでは十分ではないため、特定の企業の購入によって買い手に何も提供されない可能性があります-ここには頭が必要です。

残念ながら、上記のテストが実施されたリソースは、当時カスペルスキーで働いていたイリヤ・シャバノフによって設立されました。そして、これはバイアス勝利の鋭い疑念を引き起こしました。このテストではなく、同様の理由で、Eugene Kasperskyは次のように書いています（http://e-kaspersky.livejournal.com/83656.html）：

Passmarkは何も隠していないため、客観性と独立性を判断しません：文書の免責事項は、テストが参加者の1人の方法論に従って助成され、実行されたことを正直に報告しています：Symantec Corporationはこのレポートの作成に資金を提供し、テストスクリプトの一部を提供しましたテスト

興味深いことに、この免責事項は、ウイルス対策ソフトウェアの以前のテスト（2010、2009、2008）にも存在します。誰が彼らの中で1位になったと思いますか？

しかし、テストの事実は明らかであり、勝者は尊敬される組織の意見に訴え（そしてPassmarkは本当にそうです）、旗を振って、聴衆は称賛し、熱狂的です。それで、スポンサーを玉座に昇格させるために、「付属のスクリプト」のいくつかがどのようにテストを変えたのかを知ることは本当に興味深いのでしょうか？

残念なことに、 www.anti-malware.ruのテストは長い間実施されておらず、それらに代わるものはありません。

合計：積極的な治療と自衛のためのテスト：

製品を選択する必要があるウイルス対策の品質を最も正確に反映します。
ウイルス対策の主要なタスクであるアクティブな感染症の治療に使用できる製品を明確に示しています。
収集量が少ないため、サンプルを1つでも検出できないと、勝者との間に大きな違いが生じる可能性があります。

コレクションが公平に作成されたとしても、2番目のコーナーがリーダーよりも悪いことを保証することはできません。対応するコピーは、分析のためにラボに来る時間がないかもしれません。

そして、テストについての詳細。

原則として、ワークステーションを保護する製品のみがテストされます-サーバー製品のテストは非常にまれです。これは、とりわけ、広く認められているテスト方法の不足によるものです。メールの標準従業員の標準プロファイルを取得できる場合でも、ゲートウェイについてはこれを見ていません。
ゲートウェイソリューションでチェックされるトラフィックのサイズを示すマーケティングドキュメントに示されている図は、それらを取得する方法を指定せずに示されており、それらは減価します。
特定の状況の最大トラフィックについてよく尋ねられます。ほとんどの場合、ゲートウェイデバイスのパフォーマンスはアクセスチャネルによって制限されます。最新のサーバーは、最小限の構成であっても最大250人の従業員を保護できます（もちろん、トラフィックのサイズが合理的な制限を超えていない場合）。これは、ほとんどの企業のニーズを過剰にカバーします。

まとめると。テストの状況は、「私たちはあなたを欺くのではなく、単に真実を語っているのではない」というフレーズにぴったりです。もちろん、テスト結果を考慮する必要がありますが、最初はシステムのウイルス対策が担当するタスクのリストをコンパイルしている必要があります。ウイルス対策を非表示にする必要がある場合-あなたの権利ですが、北部の獣があなたを訪ねてきた場合に保険が必要な場合-ウイルス対策の機能を理解せずにテストしても、あなたを救うことはできません。

またはユージン・カスペルスキーの言葉で：

尋ねますが、それからナビゲートする方法は？誰がウイルス対策の品質を正式に測定できますか？答えは簡単です。最良の指標として間違いなくお勧めできるようなテストはありません。方法論に欠陥があるものもあれば、非常に具体的なものもあります。

何をアドバイスできますか？

私の意見では、私たちのアンチウイルス（ロシア語は話せません。ウクライナ、カザフスタン、他の国の従業員がいなければ、私たちは私たちではありません）-世界一です。
アンチウイルスの選択は、釣りと治療に必要なすべてを自分で開発しているベンダーの間でのみ行う必要があります。複数のコアの使用に関する広告は、ウイルスへの道です。
インターフェースに変更を加えるだけでなく、ウイルス対策カーネルの開発に焦点を合わせているメーカーのウイルス対策ソフトを使用するだけです。ちなみに、昨年ベンダーのアンチウイルスカーネルの革新に名前を付けるのは誰ですか？「最適化された」および「加速された」という言葉は考慮されません。

誰もが結論を出します。

そして、結論として、伝統的に質問：

現在、信頼性の高い保護システムを構築できる標準/注文/方法があり、それらに依存していると思いますか？突然会社を守るために弁護状を作成するよう命じられた若い専門家は、タスクを完了することができますか？彼はどの材料に頼る必要がありますか？悲しいことに、助けを提供する人のほとんどは特定のソフトウェア/ハードウェアの販売に興味があることを考慮します（悪意のない場合があります-販売は簡単です/クライアントを説得する必要はありません）。

記事で行われた予測に関連して追加：

中国のアンチウイルス会社が詐欺のために賞を剥奪

ないものをキャッチする方法。 パート3：裁判官は誰ですか？

More articles:

ないものをキャッチする方法。パート3：裁判官は誰ですか？