セキュリティスキャナー：自動脆弱性分類

増え続ける脅威により、セキュリティ分析の開発者はソリューションを絶えず改善する必要に迫られています。 現在、情報セキュリティ市場では、さまざまなメーカーのセキュリティスキャナが幅広く選択されており、その有効性はさまざまです。 これにより、そのような製品の競合分析なしにスキャナーの新しいバージョンをリリースすることは不可能になります。



Positive Technologiesは 、発見された脆弱性の種類と数、さまざまなターゲットのスキャンの完全性などの客観的な基準に基づいてスキャナーをテストおよび比較するための独自の競合分析手法を開発しました。 さらに、競合分析データベース（DBCA）が作成され、合成ターゲット、実際のサイト、CMS、Webアプリケーション、およびその他の情報システムのセキュリティスキャナーを使用した手動チェックおよび自動スキャン中に見つかった固有の脆弱性を収集しました（ WebEngine- PT AFおよびPT AI 、 Acunetix 、 AppScanなどに組み込まれています。 DBCAは、Positive Technologiesスキャナーの新しいバージョンのスキャン結果をサードパーティのスキャナーの結果と比較し、誤検知を除外するために使用されます。



ただし、DBCAの充填には、高度な資格を持つテストエンジニアによる数か月の手作業が必要です。 環境のセットアップとスキャンのプロセスには多くの時間、時には数週間かかります。 見つかった脆弱性の検証にはさらに時間がかかります。 そのため、QA部門の3人のエンジニアが、今年中に現在の拠点を埋めることに取り組みました。 この点で、作業の加速と自動化が必要でした。



解決策は、ニューラルネットワーク （NS）とファジー測定スケールの数学的装置を使用することでした。 これについては、以前の記事「 セキュリティスキャナー：ファジーセットとニューラルネットワークを使用した脆弱性の自動検証」で詳しく説明しました。 理論的研究は、ポジティブテクノロジーズのエンジニアであるティムルギルムリン、ウラジミールソフィン、アルテムユシュコフスキーが提唱した実用的な実験の基礎となりました。



DBCAを知識ベースに変換する正式なタスクは、NS（決定的なルールとして）とファジー測定スケール（人間が読める形式での分類結果の言語評価）を使用して解決されました。 実際には、DBCAには、誤検知を排除するためのルールとメカニズムが追加され、それらの存在に対する信頼度によって事前に分類され、ファジー測定スケールで評価されました。 これにより、スキャンの結果を分析し、偽陽性を除外するテストエンジニアの作業を加速することができました。

レトロスペクティブ、受け入れ基準および主な結果

DBCAに脆弱性が最初に書き込まれた後、データベースには数万の脆弱性が含まれていました。 これらのうち、テストエンジニアが分類したのは年間の約半数のみでした。 分析の結果、不要なアクションを最大70％実行して、総作業量から誤検知を排除することが示されました。



定期的な競合分析では、脆弱性検証に自動システムを使用すると、生産性が大幅に向上し、手作業の効率が向上します-必要な作業量を最大70％削減できます！ さらに、自動システムを使用すると、エンジニアは他の優先タスクに自由になり、競合分析に関与するスキャナーの数とスキャンされるCMSの数が増加します。



テスト側では、次の受け入れ基準とパフォーマンス要件が取得されました。

• 主な基準：脆弱性を検証する自動システムの導入後、偽拒否の数は、処理された脆弱性の総数の10％を超えてはなりません。
• 脆弱性を確認するための新しいアルゴリズムは、確認された脆弱性の数（確認済み）を増やし、基準の脆弱性とわずかに異なる数（半確認済み）を少なくとも5-10％減らします。
• 新しい脆弱性確認アルゴリズムは、テストエンジニアがすでに持っている単純なアルゴリズムよりも少ないエラーを生成します（少なくとも10％）。
• 自動脆弱性検証システムが競合分析プロセスに導入されます。

実験中、エンジニアは以下を開発しました。

• 脆弱性コーディングマトリックス。 これらは、脆弱性データを変換し、そのプロパティを数値またはファジーベクトルとして提示するためのルールです。 このようなマトリックスは、特定の主題領域および解決される問題ごとに一意です。
• DBCAからデータを取得するためのソフトウェアスクリプト。XML形式で表示されます。
• エンコードマトリックスに従って、数値またはファジーベクトル（特定の形式のテキストファイルに格納）の形式で取得した脆弱性データをエンコードするためのソフトウェアスクリプト。 これらのファイルは、ニューラルネットワークのトレーニングに使用されます。
• FuzzyClassificatorプログラムのXML形式で、再トレーニングと再トレーニングの可能性を備えた脆弱性を分類するタスクのためのトレーニングされたニューラルネットワーク。
• FuzzyClassificatorスクリプトは、タスクを解決するために適応されており、作成、トレーニング、およびトレーニングされたニューラルネットワークの分類ステージを含む、ニューラルネットワークでの作業のすべてのステージを実装します。
• TeamCity継続的インテグレーションシステムに基づいて、すべての脆弱性検証プロセスを管理するメカニズム。

脆弱性分類機能図

脆弱性を分類するためのプロセス自動化の全体は、機能的なIDEF0スキームによって記述されました。







図 1機能的なIDEF0図



この図は、脆弱性の分類の主要な段階を示しています。

1. CMSスキャン。
2. 結果をDBCAに記録します。
3. 以前に見つかった脆弱性や現在のスキャンの結果など、DBCAからすべてのデータを取得します。
4. FuzzyClassificatorプログラムが理解できる形式で、脆弱性を数値ベクトルにエンコードします。
5. 以前に発見された脆弱性に関するFuzzyClassificatorを使用したNSの指導。
6. 現在のスキャン反復で見つかった新しい脆弱性の分類結果を取得します。
7. 結果をDBCAに公開します。

機能図のすべての要素の詳細な説明はネタバレの下に記載されています





情報システムの特性を評価するための測定スケールとして、汎用のファジー測定スケールが使用されました（図2）。







図 2.ファジーユニバーサルスケールでのレベルの分布



ファジースケール （FuzzyScale）-オブジェクトのいくつかのプロパティを記述する言語変数の形式で提示される、順序付けられたファジー変数のセット：



FuzzyScale = {Min, Low, Med, High, Max}







ここに：

• Minはファジー値であり、何かに対する最低限の信頼度を意味します。
• 低は、わずかに高い信頼レベルです。
• Medは平均信頼度です。
• 高いほど、信頼度が高くなります。
• マックスは、何かに対する最大の信頼度を意味するファジーレベルです。

明確な測定スケールに基づいて使用される他の脆弱性検証アルゴリズムと比較すると、このアプローチは、レベルで構成されるより使いやすいスケールスケールで脆弱性を優先する問題の解決に役立ち、さらなる分析を大幅に削減します。

マトリックスとストレージ形式をエンコードする脆弱性プロパティ

脆弱性を分類する方法にはコーディングが含まれるため、脆弱性を分類する重要なステップの1つは入力データのコーディングでした。 主な要素として、コーディングマトリックスを使用しました。 TFSデータベースからXML形式で取得した脆弱性を、FuzzyClassificatorプログラムのニューラルネットワークの入力に送られる特別な形式のテキストDATファイルに変換するために使用されます 。 マトリックスを作成した後、マトリックスを使用してエンコードするためのスクリプト（サポートスクリプト）を記述することは難しくありません。 詳しくはブログ（ Input Coding ）をご覧ください。



ニューラルネットワークのより効果的なトレーニングを行うには、最適なマトリックスを選択する必要がありました。最適なマトリックスは、ニューラルネットワークの入力に与えられる脆弱性の最も重要な特性をエンコードする方法を記述しています。 マトリックスは、単純なJSONファイルを使用して実装されました。

TeamCityでの脆弱性分類プロセスの自動化

テストエンジニアの利便性のために、機能図に表示されるプロセス全体がTeamCity統合システムで自動化されました。 図に示す構成部分。 図３は、機能図のブロック４、５、６（７）を実施するためのエントリポイントを示している。







図 3.脆弱性分類プロセスを開始するTeamCityの構成



脆弱性分析プロセスの完了後、TeamCityは候補となる脆弱性の分類に関するレポートと標準に関するニューラルネットワークのトレーニングの質の評価を伴う統計情報を含むテキストファイルを発行します。



さらに、最終結果を取得する前に、参照ベクトルで発生するエラーによってニューラルネットワークのトレーニングの品質を評価することができます。 トレーニングプロセスは、エンジニアにとって便利な形式で行われます。必要な情報はすべて、トレーニングネットワーク構成（図4を参照）にリアルタイムで表示されます。







図 4.ニューラルネットワークのトレーニングの質に関する中間結果の結論



図のパラメーター 4は、参照ベクトルに関する学習の主な指標を反映しています。

• エポック -トレーニングの現在の時代（または卒業後の最後の時代）;
• False-誤って分類された参照脆弱性の総数（トレーニング中に統計を計算するためのルールは以下に示されています）。
• Best-このトレーニングで最適なニューラルネットワークの誤って分類された参照脆弱性の数。

レポートサンプル

結果を解釈するのに便利なように、すべてのレポートの統計は個別のブロックに分割されています。つまり、テスターエンジニアは出力でわかりやすく詳細なレポートを受け取ります。 ネタバレの下には、各ブロックの説明があります。









図 5.ニューラルネットワークのトレーニングの品質に関する統計を含む脆弱性標準の分類に関するレポートの例



図 図5は、脆弱性標準の分類に関するレポートの例を示しています。 トレーニング後にニューラルネットワークが受信したデータ（Classification Resultブロック）は標準と比較され、結果はTrueまたはFalse（答えを正解または偽としてカウントします）です。 分類の結果に基づいて、ニューラルネットワークのトレーニングの品質に関する統計を計算するためのルールに従って、標準でトレーニングするときに誤って分類された脆弱性の数が計算されます。 このルールをタブに減らしました。 1、実際の考慮事項に基づいて、分類の正しい結果とみなせるレベルを示しました。



タブ。 1.トレーニングにおけるニューラルネットワークの応答の解釈







調査の過程で、脆弱性を分類する際にいくつかのレベルが互いに価値が近いため、ニューラルネットワークからのレベルの100％の一致を要求することは不可能であるという結論に達しました。 たとえば、分類の結果としてMaxではなくLevel Reject = Highを受け取った人は、反証されたような脆弱性を説明します。 したがって、ニューラルネットワークによって生成された結果が真の値に「近い」場合（MaxではなくHigh / MinではなくHigh）、値が完全に一致する場合はTrue（弱）を学習し、True（強い）を学習する場合は正しいと見なします。 実際の脆弱性を特定することは優先度が高いため、実際の脆弱性のルールは偽のルールよりも厳密であることに注意してください。 表にリストされていない他のすべてのオプションは、偽の回答（False）と見なされます。







図 6.ファジィレベルの値とその解釈を含む候補脆弱性の分類に関するレポートの例



脆弱性基準の分類に関するレポートと同様に、候補者による分類の結果を含むレポートは次のようになります。 ニューラルネットワークは、脆弱性のファジー分類の結果の明確な解釈の規則に従って、各脆弱性のファジーレベル確認レベルとレベル拒否レベルの解釈方法に関する確認、拒否、またはエラーを提供します（表2を参照）。



タブ。 2.脆弱性のファジー分類の結果の明確な解釈の規則







ルールを使用すると、人間が読める形式で明確な答えを出すことができます。脆弱性が確認、反論される、またはあいまいな分類結果が得られる-エラーです。 エラーの場合、手動分類が必要です。 表の規則との類推によって。 1、分類結果によると、ファジーレベル拒否が高（最大、高）で、ファジーレベル確認が中または低（中、低、最小）の場合、候補脆弱性は拒否されたと見なされる必要があります。 したがって、逆の結果で脆弱性が確認されます。 確認された脆弱性のルールもより厳格です。

調査結果

ニューラルネットワークの操作には、標準のトレーニングと、新しいスキャン結果のオ​​ペレーティングモードでの脆弱性の分析といういくつかの段階が含まれていました。



そのため、実験中に、いくつかのニューラルネットワークが同時にトレーニングされましたが、構成は異なります。 現時点では、TeamCityでのトレーニングの結果によると、次の構成を持つ最適なニューラルネットワークが取得されています： Config = <336, 336, 168, 2>



336、336、168、2 Config = <336, 336, 168, 2>



。 彼女のトレーニングは11004の参照脆弱性ベクトルで1155年以上にわたって行われました。 同時に、解答を解釈するためのルール（表1を参照）に従って、ニューラルネットワークは誤ってトレーニングモードで555（5.0％）のベクトルのみを分類しました。



動作モードの脆弱性の分析は、2つの段階で構成されていました。 最初の段階には、スキャンデータの手動分析と脆弱性の分類が含まれていました。 2番目の段階では、分析された脆弱性は、以前にトレーニングされていなかったニューラルネットワークに分析のために提供されました（同時に、脆弱性の分析の候補として、および標準として）。



動作モードでは、以前に未知の脆弱性を分類すると、ニューラルネットワークは次の結果を生成しました。分析された脆弱性2998のうち、595（19.8％）が誤って分類されました。



現時点では、テスト部門からのすべての正式な要件が満たされ、分類結果の改善に引き続き取り組んでいます。ニューラルネットワークのパラメーターを最適化し、エンコードマトリックスから「悪い」プロパティをふるいにかけます。



ニューラルネットワークを使用した脆弱性の自動分類のすべての利点の完全な使用は、2016年初頭に予定されています。 ただし、DBCAの脆弱性については、脆弱性分析の結果が自動的に記録されるようになりました。



図 図7は、典型的なDBCA脆弱性レコードの例を示しています。このレコードについて、ニューラルネットワークは、PT AIスキャナーによって検出されたこの脆弱性を誤検知として拒否する必要があるという正しい仮定を立てました。 これは、「レベル確認：5-最小」、「レベル拒否：1-最大」、「注：解釈：拒否」というフィールドの値によって示されます。 同様に、他のすべての脆弱性の結果が添付されています。







図 7.ニューラルネットワーク分類の結果をDBCAに記録する



私は同僚に感謝しています：Positive Technologies Vladimir SofinとArtem Yushkovskyの QAエンジニアは、いくつかのツールの実用的な実装を支援し、数学的分析、代数と幾何学、Ph。 n カザン（ヴォルガ）連邦大学、 マンスールギルムリン 、研究および実験の理論的基礎の準備を支援。



投稿者： Timur Gilmullin （Ph.D.、DevOps Engineer Positive Technologies）