NETMAP ढांचे के आधार पर विकसित एक साधारण DDOS फ़िल्टर के उदाहरण का उपयोग करते हुए, IP पैकेट की उच्च गति प्रसंस्करण की क्षमताओं का प्रदर्शन

जैसे ही मुझे नेटमैप में दिलचस्पी हुई, मैं तुरंत जिज्ञासा से उबर गया, पैकेट जनरेशन मोड और / या पैकेट रिसेप्शन और फ़िल्टरिंग मोड में साधारण हार्डवेयर पर प्रति सेकंड कितने पैकेट "निचोड़ा" जा सकता है? किस प्रदर्शन के साथ आज लोकप्रिय विभिन्न हमलों के यातायात को फ़िल्टर करना संभव होगा और पैकेट नुकसान क्या होगा।







नेटमैप लेखक लुइगी रिज़ो ने जो डेटा दिखाया है वह काफी प्रभावशाली है। जैसा कि आप जानते हैं, लुइगी द्वारा प्रकाशित परीक्षणों के अनुसार, नेटमैप आसानी से 14Mpps उत्पन्न करता है और आपको कोर i7 प्रोसेसर के केवल एक कोर का उपयोग करके एक नेटवर्क केबल से 14 मीटर तक की स्ट्रीम को "बढ़ाने" की अनुमति देता है। इस तकनीक को ट्रैफिक शुद्धि फिल्टर में लागू करना दिलचस्प हो गया है।

इसलिए, सितंबर में आयोजित InfosecurityRussia 2013 प्रदर्शनी में, हमने एक स्टैंड प्रस्तुत किया, जहां सभी के अनुरोध पर, उन्होंने विभिन्न हमले किए और उनके खिलाफ सुरक्षा का प्रदर्शन किया, आंकड़े एकत्र किए और Zabbix द्वारा विभिन्न ग्राफ़ प्रस्तुत किए।

इस लेख में, हम NETMAP वास्तुकला की कुछ विशेषताओं पर ध्यान केंद्रित करेंगे, साथ ही पैकेट प्रसंस्करण गति के संकेतक, जो "साधारण" हार्डवेयर का उपयोग करके उस पर प्राप्त किए गए थे।

1. NETMAP का संक्षिप्त परिचय

प्रदर्शन माप और परीक्षणों के लिए आगे बढ़ने से पहले, कुछ शब्दों को NETMAP ढांचे के बारे में लिखा जाना चाहिए, जो तेजी से पैकेट प्रसंस्करण के काम का थोक करता है। इसके लेखक द्वारा प्रस्तुत सभी सामग्रियों के संकलन के आधार पर एक विस्तृत NETMAP समीक्षा मेरे द्वारा पहले इस लेख (http://habrahabr.ru/post/183832/) में की गई थी। उन लोगों के लिए जिन्हें इस तरह के गहरे गोता की आवश्यकता नहीं है, फ्रेमवर्क का एक संक्षिप्त विवरण प्रस्तुत किया गया है।

1.1। एनआईसी डेटा संरचनाएं और संचालन

नेटवर्क एडेप्टर (एनआईसी) इनबाउंड और आउटबाउंड पैकेट को संसाधित करने के लिए रिंग बफर डिस्क्रिप्टर रिंग का उपयोग करते हैं, जैसा कि चित्र 2-1 में दिखाया गया है।



"एनआईसी डेटा संरचना और ओएस डेटा संरचनाओं के साथ उनके संबंध"



रिंग कतार में प्रत्येक स्लॉट में बफर की लंबाई और भौतिक पता होता है। सीपीयू एनआईसी रजिस्टरों के लिए उपलब्ध (पता योग्य) पैकेट प्राप्त करने और प्रसारित करने के लिए कतारों के बारे में जानकारी है।

जब एक पैकेट नेटवर्क कार्ड पर आता है, तो इसे वर्तमान मेमोरी बफर में रखा जाता है, इसका आकार और स्थिति स्लॉट में दर्ज की जाती है, और प्रसंस्करण के लिए आने वाले नए डेटा संबंधित एनआईसी रजिस्टर में दर्ज किए जाते हैं। नेटवर्क कार्ड नए डेटा आने पर सीपीयू को सूचित करने के लिए एक बाधा शुरू करता है।

मामले में जब एक पैकेट नेटवर्क पर भेजा जाता है, तो एनआईसी मानता है कि ओएस चालू बफर को भरता है, स्लॉट में प्रेषित डेटा के आकार पर जानकारी रखता है, इसी एनआईसी रजिस्टर में ट्रांसमिशन के लिए स्लॉट की संख्या लिखता है, जो नेटवर्क को पैकेट भेजने की पहल करता है।

पैकेट प्राप्त करने और प्रसारित करने की उच्च गति के मामले में, बड़ी संख्या में व्यवधान किसी भी उपयोगी कार्य को करने में असमर्थता पैदा कर सकता है ("लाइव-लॉक प्राप्त करें")। इन समस्याओं को हल करने के लिए, ओएस मतदान या बाधित थ्रॉटलिंग तंत्र का उपयोग करता है। कुछ उच्च-प्रदर्शन वाले एनआईसी पैकेट प्राप्त करने / प्रेषित करने के लिए कई कतारों का उपयोग करते हैं, जो आपको प्रोसेसर पर लोड को कई कोर में वितरित करने या ऐसे नेटवर्क कार्ड के साथ काम करने वाले वर्चुअल सिस्टम में उपयोग के लिए कई डिवाइसों में नेटवर्क कार्ड को विभाजित करने की अनुमति देता है।

1.2। टीसीपी / आईपी ओएस स्टैक के साथ पैकेट को संभालने में समस्याएं

ओएस एनआईसी डेटा संरचनाओं को मेमोरी बफ़र्स से एक कतार में कॉपी करता है, जो प्रत्येक विशेष ओएस के लिए विशिष्ट है। FreeBSD के मामले में, ये mbufs हैं, इसके समकक्ष sk_buffs (Linux) और NdisPackets (Windows) हैं। उनके मूल में, ये मेमोरी बफ़र ऐसे कंटेनर होते हैं, जिनमें प्रत्येक पैकेट के बारे में बड़ी मात्रा में मेटाडेटा होता है: आकार, जिस इंटरफ़ेस से / जिसमें पैकेट आया था, विभिन्न विशेषताओं और झंडे जो एनआईसी और / ओएस में मेमोरी बफर डेटा के प्रसंस्करण क्रम को निर्धारित करते हैं।

एनआईसी चालक और ऑपरेटिंग सिस्टम के टीसीपी / आईपी स्टैक (बाद में होस्ट स्टैक के रूप में संदर्भित), एक नियम के रूप में, मान लें कि पैकेट को मनमाने ढंग से संख्या में विभाजित किया जा सकता है, इसलिए, पैकेट विखंडन को संभालने के लिए ड्राइवर और होस्ट स्टैक दोनों को तैयार होना चाहिए।

नेटवर्क केबल और यूजरस्पेस के बीच एक पैकेट को स्थानांतरित करते समय, कई कॉपी ऑपरेशन किए जाते हैं:

• नेटवर्क डेटा के साथ एनआईसी डेटा संरचनाओं को आबाद करना
• एनआईसी डेटा संरचनाओं से mbufs / sk_bufs / NdisPackets के डेटा की प्रतिलिपि बनाना
• Mbuf / sk_buf / NdisPackets से यूजर्सस्पेस पर डेटा कॉपी करें

जैसा कि आप देख सकते हैं, यूज़र्सस्पेस को निर्यात की जाने वाली संगत एपीआई मानती है कि विभिन्न सबसिस्टम विलंबित प्रसंस्करण के लिए पैकेट छोड़ सकते हैं, इसलिए, मेमोरी बफ़र्स और मेटाडेटा को केवल कॉल प्रोसेसिंग के दौरान संदर्भ द्वारा पारित नहीं किया जा सकता है, लेकिन उन्हें कॉपी या संदर्भ गिनती के लिए संसाधित किया जाना चाहिए )। यह सब लचीलापन और प्रयोज्य के लिए उच्च ओवरहेड्स द्वारा भुगतान है।

पिछले लेख में माने गए sendto () सिस्टम कॉल के माध्यम से पैकेट के पथ के विश्लेषण, फिर नेटवर्क के लिए OS FreeBSD नेटवर्क स्टैक से पता चला कि पैकेट कई बहुत महंगे स्तरों से गुजरता है। इस मानक API का उपयोग करते हुए, mbufs में मेमोरी आवंटन और प्रतिलिपि तंत्रों को बायपास करने, टीसीपी / यूडीपी / आईपी / मैक हेडर को तैयार करने और निर्माण करने के लिए कोई अवसर नहीं हैं और इस प्रोसेसिंग चेन के अंत में, mbuf संरचनाओं और मेटाडेटा को एनआईसी प्रारूप में परिवर्तित करें। पैकेट को नेटवर्क में स्थानांतरित करना। यहां तक ​​कि स्थानीय अनुकूलन के मामले में, उदाहरण के लिए, कैशिंग मार्गों और हेडर को खरोंच से बनाने के बजाय, 10 Gbit / s इंटरफेस पर पैकेट को संसाधित करने के लिए आवश्यक गति में कोई मौलिक वृद्धि नहीं होती है।

1.3। NETMAP में प्रयुक्त पैकेज प्रसंस्करण के लिए प्रदर्शन में सुधार तकनीक

कर्नेल स्थान से उपयोगकर्ता स्थान पर एक पैकेज को स्थानांतरित करते समय अतिरिक्त प्रतिलिपि से बचने के सबसे आसान तरीकों में से एक है और इसके लिए आवेदन को एनआईसी संरचनाओं तक सीधे पहुंच की अनुमति है। आमतौर पर, इसके लिए एप्लिकेशन को OS कर्नेल पर चलाने की आवश्यकता होती है। उदाहरण क्लिक सॉफ्टवेयर राउटर प्रोजेक्ट या कर्नेल मोड pkt-gen ट्रैफिक जनरेटर हैं। उपयोग में आसानी के साथ, कर्नेल स्थान एक बहुत ही नाजुक वातावरण है, जिसमें त्रुटियां एक सिस्टम क्रैश हो सकती हैं, इसलिए अधिक सही तंत्र पैकेट बफ़र्स को उपयोगकर्ताओं के लिए निर्यात कर रहा है।

NETMAP एक प्रणाली है जो नेटवर्क पैकेटों के लिए बहुत तेजी से उपयोग के साथ, दोनों प्राप्त करने और भेजने के लिए, जब नेटवर्क के साथ आदान-प्रदान और टीसीपी / आईपी ओएस स्टैक (होस्ट स्टैक) के साथ काम करते समय उपयोगकर्ता के आवेदन प्रदान करता है। इसी समय, दक्षता को उन जोखिमों के लिए बलिदान नहीं किया जाता है जब डेटा संरचना और नेटवर्क कार्ड रजिस्टर पूरी तरह से उपयोगकर्ता स्थान में खुलते हैं। फ्रेमवर्क स्वतंत्र रूप से नेटवर्क कार्ड का प्रबंधन करता है, ऑपरेटिंग सिस्टम, एक ही समय में, मेमोरी की सुरक्षा करता है।

NETMAP की एक विशिष्ट विशेषता मौजूदा OS तंत्र और विशिष्ट नेटवर्क कार्डों की हार्डवेयर सुविधाओं पर निर्भरता की अनुपस्थिति के साथ इसका तंग एकीकरण है। NETMAP वांछित उच्च प्रदर्शन विशेषताओं को प्राप्त करने के लिए कई प्रसिद्ध तकनीकों का उपयोग करता है।

• कॉम्पैक्ट और हल्के पैकेज मेटाडेटा संरचना। उपयोग करने के लिए सरल, वे डिवाइस-विशिष्ट तंत्र को छिपाते हैं, पैकेज के साथ काम करने के लिए एक सुविधाजनक और आसान तरीका प्रदान करते हैं। इसके अलावा, NETMAP मेटाडेटा को एकल सिस्टम कॉल में कई प्रकार के पैकेट को संभालने के लिए डिज़ाइन किया गया है, जिससे भेजने वाले पैकेट का बोझ कम हो जाता है
• रैखिक उपदेशक बफ़र्स, निश्चित आकार। स्मृति प्रबंधन ओवरहेड को कम करें
• पैकेटों को अग्रेषित करते समय और साथ ही इंटरफेस और होस्ट स्टैक के बीच शून्य कॉपी संचालन
• रैखिक उपदेशक बफ़र्स, निश्चित आकार। स्मृति प्रबंधन ओवरहेड को कम करें
• पैकेटों को अग्रेषित करते समय और साथ ही इंटरफेस और होस्ट स्टैक के बीच शून्य कॉपी संचालन
• उपयोगी हार्डवेयर कार्ड हार्डवेयर सुविधाओं के लिए समर्थन जैसे कई हार्डवेयर कतारें

NETMAP में, प्रत्येक सबसिस्टम वही करता है जो इसके लिए डिज़ाइन किया गया है: एनआईसी नेटवर्क और रैम के बीच डेटा भेजता है, ओएस कर्नेल मेमोरी की सुरक्षा करता है, मल्टीटास्किंग और सिंक्रनाइज़ेशन प्रदान करता है।







अंजीर। NETMAP मोड में, NIC कतारें TCP / IP OS स्टैक से डिस्कनेक्ट हो जाती हैं। नेटवर्क और होस्ट स्टैक के बीच विनिमय केवल NETMAP एपीआई के माध्यम से किया जाता है।

उच्चतम स्तर पर, जब कोई एप्लिकेशन नेटमैप एपीआई के माध्यम से नेटमैप मोड में नेटवर्क कार्ड डालता है, तो एनआईसी कतारें होस्ट स्टैक से डिस्कनेक्ट हो जाती हैं। इस प्रकार कार्यक्रम को नेटवर्क और ओएस स्टैक के बीच पैकेट के आदान-प्रदान को नियंत्रित करने का अवसर मिलता है, इसके लिए "नेटमैप रिंग" नामक रिंग बफ़र्स का उपयोग किया जाता है। नेटमैप के छल्ले, बदले में, साझा मेमोरी में लागू किए जाते हैं। एनआईसी और ओएस स्टैक में कतारों को सिंक्रनाइज़ करने के लिए, सामान्य ओएस सिस्टम कॉल का उपयोग किया जाता है: चयन () / पोल ()। नेटवर्क कार्ड से टीसीपी / आईपी स्टैक को डिस्कनेक्ट करने के बावजूद, ऑपरेटिंग सिस्टम काम करना जारी रखता है और अपने ऑपरेशन करता है।

2. टेस्ट बेंच

सितंबर 2013 में आयोजित InfoSecurity Russia 2013 प्रदर्शनी में DDOS ट्रैफ़िक फ़िल्टर के प्रदर्शन को प्रदर्शित करने के लिए, हमने एक स्टैंड तैयार किया, जिस पर DDOS ट्रैफ़िक उत्पन्न किया गया और बड़े ट्रैफ़िक प्रवाह से सुरक्षित किया गया। स्टैंड के लिए लोहे को सबसे आम चुना गया था:



यातायात / हमला जनरेटर

• इंटेल कोर i7-2600 3.4GHz टर्बोबोस्ट प्रोसेसर
• रैम 8GB 1333MHz DDR3
• HDD SATA 500GB
• OS FreeBSD 9-STABLE
• इंटेल X520 10Gbit / s SFP + दोहरे पोर्ट नेटवर्क कार्ड

सर्वर DDOS फ़िल्टर

• Intel Xeon Processor E3-1230 3.2GHz TurboBoost
• रैम 8GB 1333MHz DDR3
• HDD SATA 500GB
• OS FreeBSD 9-STABLE
• इंटेल X520 10Gbit / s SFP + दोहरे पोर्ट नेटवर्क कार्ड

स्विच

• 2x10Gbit / s SFP + इंटरफेस के साथ जुनिपर EX4200

स्टैंड निम्नानुसार काम करता है:

अनुरोध पर, जनरेटर पर PPS और Gbit / s के अनुसार समायोज्य शक्ति के साथ विभिन्न प्रकार के हमले। अटैक ट्रैफिक 10Gbit / s इंटरफ़ेस के माध्यम से जुनिपर में आता है और एक दूसरे 10Gbit / s इंटरफ़ेस के माध्यम से DDD सुरक्षा सर्वर में आता है। कानूनी ट्रैफिक 1Gbit / s इंटरफ़ेस के माध्यम से कार्य केंद्र से जुनिपर पहुंचता है और हमले के ट्रैफ़िक के साथ स्विच में मिलाया जाता है। DDOS सुरक्षा सर्वर पर, ट्रैफ़िक को साफ़ किया जाता है और साफ़ किए गए ट्रैफ़िक को सुरक्षित सर्वर पर भेजा जाता है। एक संरक्षित सेवा के रूप में, एक HTTP वेब साइट का उपयोग किया जाता है, जिसमें से मुख्य पृष्ठ उस समय होता है जब पृष्ठ एक्सेस किया गया था।

3. यातायात की किसी न किसी सफाई के लिए तंत्र का एक सरलीकृत विवरण

डीडीओएस सुरक्षा सर्वर, NETMAP और टीसीपी / आईपी स्टैक के साथ काम करने के लिए मॉड्यूल के अलावा, कई फिल्टर शामिल हैं जिसके माध्यम से नेटवर्क पैक्स गुजरता है।

• पहला फ़िल्टर पैकेट, प्रोटोकॉल और गंतव्य पोर्ट के गंतव्य पते की जांच करना है। यह प्रसंस्करण पैकेट पर संसाधनों को खर्च करने के लिए कोई मतलब नहीं है, उदाहरण के लिए, जिस tcp / port के लिए पैकेट आया है वह सेवा नहीं है। इस तरह के पैकेज तुरंत नेटमैप रिंगों में "भूल" जाते हैं और नई आवक द्वारा ओवरराइट किए जाते हैं
• दूसरा फिल्टर एक आईपी पते, या आईपी नेटवर्क / नेटवर्क के समूह, आदि के लिए pps / बैंडविड्थ को सीमित करने के लिए काम करता है। इस फ़िल्टर का उपयोग करते हुए, उदाहरण के लिए, आप इंटरनेट से "किसी भी" आईपी पते से प्रति पैकेट सख्ती से निर्दिष्ट संख्या के प्रसारण की अनुमति दे सकते हैं, पैकेट जो एक विशिष्ट पते पर जाते हैं और संरक्षित सर्वर के पोर्ट होते हैं। निर्दिष्ट सीमा से अधिक के सभी पैकेज "मारे गए" होंगे
• तीसरा फिल्टर SYNflood हमलों से बचाने के लिए सिंक्रोकी तंत्र का कार्यान्वयन है। कानूनी कनेक्शन आने पर, ग्राहक संरक्षित सर्वर से जुड़ जाता है, प्रदर्शन को बढ़ाने के लिए, टीसीपी स्प्लिसिंग तकनीक का उपयोग किया जाता है ( www.pam2010.ethz.ch/papers/full-length/5.pdf )
• अंतिम फ़िल्टर "रेगुलर एक्सप्रेशंस" पर आधारित एक खोज इंजन है जो IP पते को काले, सफ़ेद और काले और ग्रे और सफ़ेद और ग्रे सूचियों में जोड़कर काम करता है, जिसमें IP पता होता है अस्थायी रूप से

4. Infosecurity 2013 प्रदर्शनी स्टैंड पर पैकेट प्रसंस्करण गति के माप

ट्रैफ़िक उत्पन्न करने के लिए एक सॉफ़्टवेयर के रूप में, एक ट्रैफ़िक जनरेटर का उपयोग किया जाता है, जिसे NETMAP के आधार पर भी बनाया जाता है और निम्नलिखित प्रकार के हमलों को लागू किया जाता है:

• यूडीपी छोटी और / या लंबे पैकेट में बाढ़
• सिनफ्लड शॉर्ट और / या लंबे पैकेट

हमला पैरामीटर का उपयोग करता है - प्रति सेकंड SRC_IP की संख्या जहां से ट्रैफ़िक जाता है। जाहिर है, डीडीओएस को एक एकल आईपी पते से हमला करके परीक्षण करने का कोई मतलब नहीं है। एक हमले को उत्पन्न करने के लिए परीक्षण हर सेकंड 160 हज़ार से 1600 हज़ार नए आईपी पतों का उपयोग करते हैं।

संरक्षित वेब सर्वर के पोर्ट 53 पर शॉर्ट पैकेट्स में यूडीपी-बाढ़ का हमला

• अटैक पावर - 10 मिलियन पीपीएस
• अटैक पॉवर - 5Gbit / s
• सफाई के बाद यातायात - 8 पीपीएस
• सफाई के बाद यातायात - 5Kbit / s

एसवाईएन-बाढ़ का हमला छोटा, फिर संरक्षित सर्वर के पोर्ट 80 पर लंबे पैकेट

SYNflood Short पैकेट हमला

• अटैक पावर - 7 मिलियन पीपीएस
• अटैक पॉवर - 5 Gbit / s
• सफाई के बाद यातायात - 8 पीपीएस
• सफाई के बाद यातायात - 5Kbit / s

लंबे पैकेट के साथ SYNflood हमला

• हमले की शक्ति - 600 हजार पीपीएस
• अटैक पॉवर - 8 Gbit / s
• सफाई के बाद यातायात - 8 पीपीएस
• सफाई के बाद यातायात - 5Kbit / s

अंजीर। आने वाले SYN पैकेट

UDP / SYN बाढ़ हमले के तहत सीपीयू उपयोग

छोटे पैकेट के साथ यूडीपी बाढ़ का हमला

• अटैक पावर - 10 मिलियन पीपीएस
• अटैक पॉवर - 5 Gbit / s
• औसत CPU लोड (उपयोगकर्ता) 50%
• औसत लोड CPU (सिस्टम) 15%

छोटे पैकेट के साथ SYN बाढ़ का हमला

• पीपीएस ने 7 मिलियन पीपीएस पर हमला किया
• Gbit / s 5 Gbit / s में अटैक पॉवर
• औसत CPU लोड (उपयोगकर्ता) 90%
• औसत लोड CPU (सिस्टम) 5%

बाढ़ के हमलों के तहत लगातार काम

• हमले की अवधि 6 घंटे
• SYNflood / UDPflood हमलों के प्रकार
• हमला पावर 5 Gbit / s - 10 Gbit / s
• औसत CPU लोड (उपयोगकर्ता) 50%
• औसत लोड CPU (सिस्टम) 11%

5. निष्कर्ष

NETMAP ढांचे का उपयोग प्रभावी ट्रैफ़िक फ़िल्टरिंग फ़िल्टर के साथ-साथ लोड परीक्षण उपकरण विकसित करने के लिए एक प्रभावी उपकरण के रूप में किया जा सकता है। मुख्य लाभ के रूप में, यह ध्यान दिया जा सकता है कि NETMAP ढांचे के आधार पर बनाए गए प्रोग्राम साधारण हार्डवेयर पर चलते हैं और बहुत उच्च प्रदर्शन को प्राप्त करते हैं, जो उन्हें आर्बर, रेडवेयर, स्पेंट द्वारा दिए गए अधिक महंगे वैकल्पिक समाधानों के प्रतिस्थापन के रूप में उपयोग करने की अनुमति देता है। रियोरी आदि।