Evgeny Kasperskyは、セキュリティソフトウェアの独立したテストとその結果を評価するための方法論について語っています。
いつも言うように、カスペルスキーは世界をサイバー悪から救います。 調子はどうですか？ 一般的に、そして他の救助者に関して？ この野心的なタスクの成功を評価するために、さまざまなメトリックを使用します。 そのような主要な測定基準の1つは、当社の製品および技術の品質に関する独立した専門家の評価です。 指標が優れているほど、当社のテクノロジーはデジタルペストを破壊し、世界を積極的に救います。
そして、誰がこれを行うことができますか？ もちろん、独立したテストラボです！ しかし、問題は結果を要約する方法ですか？ 実際、世界では何十ものテストがすべての人によって行われています。 さまざまな保護技術が個別にまたは包括的にテストされ、パフォーマンス、インストールの容易さなどが調査されています。
この混乱を最大限に活用する方法-数百のウイルス対策製品の機能の最もありそうな全体像を反映したものですか？ そして、テストマーケティングの可能性を排除しますか？ また、保護の意識的かつ合理的な選択のために、このメトリックを幅広いユーザーが理解できるようにしますか？ 幸福はそこにある、それは
彼女はどのように働いていますか？
まず、報告期間中にマルウェア対策保護に関する調査を実施したすべての既知のテストサイトを考慮する必要があります。 次に、選択したサイトとすべての参加ベンダーのテストの全範囲を考慮する必要があります。 第三に、a）ベンダーが参加したテストの数を考慮する必要があります。 b）絶対勝利の割合およびc）賞の割合（TOP3）。
ちょうどそのように-単純に、透明で、不cru慎なテストマーケティングを除外します（これは悲しいかな、しばしば起こります ）。 もちろん、さらに25,000個のパラメーターをねじ込んで客観性を0.025％増やすことができますが、それは技術的なナルシシズムとオタク退屈です-そして、ここでは間違いなく平均的な読者を失います... 最も重要なことは、特定の期間、特定のサイトおよびすべての参加者に対する一連のテストを実施することです。 私たちは何も見逃しませんし、誰もspareしみません（私たち自身を含む）。
2014年時点で、この方法論を世界の真のエントロピーに適用しましょう。
興味のある技術的な詳細と免責事項：
•2014年には、8つのテストラボの研究が考慮されたことが判明しました（ちなみに、長年の経験、技術的基盤（私自身が確認しました ）、ベンダーとさまざまな保護技術の印象的なカバレッジは、 AMTSOのメンバーです）： AV-Comparatives 、 AV-Test 、 Anti -マルウェア 、 デニステクノロジーラボ 、 MRG EFFITAS 、 NSSラボ 、 PCセキュリティラボ 、 ウイルス速報 。 このビデオとこのドキュメントの方法論の詳細な説明。
•テストの35％以上に参加したベンダーのみが考慮されます。それ以外の場合は、「医療履歴」全体で1つのテストに勝った「勝者」を取得できます。
•誰かが結果を計算するための方法論を誤っていると考えている場合-コメントへようこそ。
•コメントの誰かが「あなたは自分を賞賛しない-誰も賞賛しない」というトピックについて発言した場合、私はすぐに答えます：はい。 テクニックが気に入らない-独自に提案して正当化する。
そこで、2014年のテスト結果を分析し、世界のこの画像を取得します。
ここで、横軸はベンダーが参加したテストの数と受け取った賞の合計です。 縦座標による-ベンダーがトップ3 （TOP3）に入る割合。 そして、円の直径は絶対的な勝利の数です。
それでは、R＆Dと会社の他のすべての従業員、そしてパートナー、顧客、請負業者、私たちのただの友人/ガールフレンドとその家族全員におめでとうございます！ ふさわしい、威厳のある明確な勝利をおめでとうございます！ それを続けてください、世界の救いは遠くないです!!! やった！
しかし、それだけではありません！ Aheadは、動的なデータの変更に感謝している本当のアンチウイルス業界の専門家の心のためのデザートです。
上記の方法は3年間使用されています。 そしてここでは、「粉末洗剤の同一性」の問題に対処するためにそれを使用することは非常に興味深いです。 はい、すべてのウイルス対策ソフトは保護と機能の面でほぼ同じであるという意見があります。 そして、この評価から得られる興味深い観察結果を以下に示します。
•より多くのテストがあり（2013年にベンダーは50のテストに参加し、2014年には55に既に参加していました）、勝つことが難しくなりました（TOP3テストに参加するための平均指標は32％から29％に減少しました）。
•テストの勝者になる率を下げるアウトサイダーは、Symantec（-28％）、F-Secure（-25％）、およびAvast！です。 （-19％）。
•好奇心-ベンダーの相対的な位置はそれほど変化しません。 2つのベンダーのみが、TOP3の場所の順位を5ポイント以上変更しました。 これは、高品質の保護が署名だけで決定されるのではなく、長年にわたって構築されており、検出の盗難が決定的な利点をもたらさないことを証明しています。 この利点により、常に高い結果が得られます。
•高度な統計学者は、 TOP3格付けの最初の7つのベンダーが残りの13の合計（TOP3で240ヒット対115）の2倍の賞金を獲得し、すべての「金メダル」の63％を獲得したことを知りたいと考えています。
•同時に、「金メダル」の19％を獲得したベンダーは1社だけでした。 :)
熱心な読者は尋ねるでしょう：他のテストラボを統計に含めて、他の結果を得ることができますか？
答えは、すべてが理論的に可能であるということです。 ニュートンまたは非ユークリッド幾何学以外の重力の代替理論がある方法。 しかし、ほとんどの場合、これらは疑わしい結果を伴う完全に未知のサイトであるか、一般的な統計に追加しても全体像を変えません。 しかし、大きな数字の魔法！
さて、主な結論。
テストは、保護を選択するための最も重要な基準の1つです。 もちろん、ユーザーは、美しい小冊子よりも外部からの権威ある意見を信じるでしょう（「サンドパイパーは皆、沼を賞賛します」）。 すべてのベンダーはこれをよく理解していますが、技術的な能力を最大限に活用して問題を解決しています。 品質について本当に「心配」し、絶えず保護を改善し、結果を操作する人もいます。 彼らはその年の唯一の適合証明書を受け取り、襟にメダルを入れて最高のように見えました。 そして、 全体像を見て、テスト結果だけでなく参加率も評価する必要があります。
したがって、ユーザーは慎重に保護を選択し、クランベリーを耳にかけないでください:)
ご清聴ありがとうございました。またお会いしましょう！