जैसा कि हमने रोस्टेलकॉम को URL फ़िल्टरिंग लिखा था

हाल ही में हैबे पर "रोस्टेलकॉम" (आरटीके) द्वारा यूआरएल फ़िल्टरिंग के कार्यान्वयन के बारे में एक लेख था। ऐसा हुआ कि हमने उन्हें डेढ़ साल पहले इस समस्या को हल करने की पेशकश की और एक साल पहले एक निर्णय लिया जिसने सभी परीक्षणों को पारित कर दिया और जो रोस्टेलकॉम शामिल करने के लिए तैयार था। उस समय तक, हमारी दुकान एहसान से बाहर हो गई, ठीक है, हाँ यह प्रौद्योगिकी का मामला नहीं है। इसलिए, निम्नलिखित सभी हमारे प्रस्तावित समाधान का विवरण है। वास्तव में क्या लागू होगा, भगवान जानता है।

DPI और IP ब्लॉकिंग

यह शायद DPI से शुरू होने लायक है। नेटवर्क पर उनमें से कुछ हैं, लेकिन उन्हें सभी ट्रैफ़िक पर डालने से आरटीके को कई मिलियन डॉलर का खर्च होगा और लगातार ऊब गई आबादी द्वारा खपत में वृद्धि के संबंध में नए निवेश की आवश्यकता होगी। न तो पिछले और न ही वर्तमान नेताओं ने इस पर फैसला किया है (शायद केवल अब के लिए), क्योंकि डीपीआई की शुरूआत आय के मूर्त संस्करणों के साथ किसी भी नई सेवाओं का वादा नहीं करती है।



चूंकि आरटीके को पहले विभिन्न संसाधनों को अवरुद्ध करना था (अदालतों को कानूनों की परवाह किए बिना न्याय किया जाता है), यह आईपी पते द्वारा ऐसा किया गया था। तदनुसार, सीमाओं पर सबसे सरल फ़िल्टरिंग ने समस्या को हल किया। निषिद्ध संसाधनों की रजिस्ट्री के साथ समस्या एक समान तरीके से हल की जानी शुरू हुई: एक विशेष रूप से प्रशिक्षित व्यक्ति ने रजिस्ट्री को अनलोड किया, इसमें URL और IP दोनों हैं और फिर सूची में प्रविष्टियों को जोड़ा गया, और नियमों की स्क्रिप्ट पहुंच सूची है।

निस्पंदन प्रबंधन सॉफ्टवेयर

हमने रजिस्ट्री के साथ संचार को स्वचालित कर दिया है, और यहां, जैसा कि हर कोई समझता है, कोई जादू नहीं है (यह विशेष रूप से आगे मौजूद नहीं है)। हमने रजिस्ट्री में परिवर्तन और नेटवर्क पर सेंसरशिप के कार्यान्वयन को दर्ज किया। हमने आरटीके नेटवर्क पर वितरित जिम्मेदारी संरचना से जुड़े छोटे ट्रिक जोड़े, फ़िल्टर से कुछ सब्सक्राइबर (विशेष रूप से, ट्रान्सेंडेंट ऑपरेटर) को छोड़कर। खैर, अदालतों को रद्द नहीं किया गया है, इसलिए अदालत के फैसले से किसी भी संसाधन को जोड़ना संभव है। इसके अलावा, प्रबंधन सॉफ़्टवेयर फ़िल्टरिंग नोड्स में ट्रैफ़िक पुनर्निर्देशन को कॉन्फ़िगर करता है, उपयोगकर्ता खोजों पर रिपोर्ट तैयार करता है, फ़िल्टरिंग नोड्स पर नज़र रखता है और सभी गतिविधियों को लॉग करता है।

ट्रैफिक रोटेशन और फ़िल्टरिंग

PE पर अवरुद्ध URL के अनुरूप IP पते के लिए सब्सक्राइबरों द्वारा भेजा गया ट्रैफ़िक एक विशेष वीपीएन में बदल गया, जहाँ केंद्र में राउटर के एक जोड़े पर डिफॉल्ट दिखता है। सीमा पर SCU / DCU (समान कार्यशीलता भी pussies पर पाई जाती है) का उपयोग करके, उन ग्राहकों से ट्रैफ़िक जो फ़िल्टरिंग के अधीन नहीं हैं, उन्हें स्रोत पते से बाहर रखा गया था। रजिस्ट्री आईपी पते द्वारा प्रबंधन सॉफ्टवेयर उत्पन्न / 32 मार्गों, केंद्रीय राउटर पर नियमों को कॉन्फ़िगर करता है, और परिवर्तन प्रभावी हुए। मुझे याद है कि उन्होंने बीजीपी अपडेट भेजने से इनकार कर दिया था, क्योंकि यह अच्छा नहीं है।



दो केंद्रीय राउटर पर हमने बंदरगाहों को ध्यान में रखते हुए गुजरने वाले ट्रैफिक की नकल को कॉन्फ़िगर किया। तदनुसार, पूरे आरटीके के लिए, कई मेगाबिट्स बल से प्राप्त किए गए थे। आप या तो बाहरी सर्वर या MS-DPC में कॉपी कर सकते हैं। वहां और आगे की प्रक्रिया का सिद्धांत एक ही था। फ़िल्टरिंग सॉफ्टवेयर एक पैकेज को पकड़ता है, अगर इसमें सूची से एक URL प्राप्त होता है, तो हेलमेट सर्वर साइड पर रीसेट हो जाता है, और साइट पर एक रीडायरेक्ट को इस कहानी के साथ ब्राउज़र में निर्देशित किया जाता है कि आधुनिक रूसी समाज के लिए नैतिक सिद्धांत कितने महत्वपूर्ण हैं।



एक साल पहले रजिस्ट्री में प्रवेश करने वाले सर्वर से न्यूनतम प्रतिक्रिया समय 100 एमएस से अधिक हो गया, और यूआरएल का विश्लेषण करने वाले सॉफ़्टवेयर ने 3 जीबी / एस के लोड पर 5-6 एमएस की प्रतिक्रिया लौटा दी। इसलिए, उन्होंने फैसला किया कि एक प्रॉक्सी बनाना, अपनी विश्वसनीयता सुनिश्चित करना और इसी तरह, एक ही भावना में, कोई मतलब नहीं है। यदि फ़िल्टरिंग सॉफ़्टवेयर क्रैश हो जाता है, तो फ़िल्टरिंग को छोड़कर सब कुछ काम करेगा। सच है, आरटीके के अनुरोध पर, उन्होंने इसे सभी फ़िल्टरिंग सर्वरों की एक जोड़ी के लिए डिज़ाइन किया है।



अब यह स्पष्ट है कि यह संभव था और ऐसा करना थोड़ा आसान था, अपने फ़िल्टरिंग सॉफ़्टवेयर के बजाय केंद्र में एक छोटी डीपीआई का उपयोग करें। लेकिन इसलिए हमने एक और ऑपरेटर किया है। यह पता चल सकता है कि चयनित विक्रेता अपने रजिस्ट्री सॉफ़्टवेयर को एक नियमित DPI के साथ जोड़ देंगे, जिसके माध्यम से केवल चयनित ट्रैफ़िक जाएगा। उस समय, हम यह समझना चाहते थे कि क्या कम से कम कुछ प्रकार का कार्य है जो राउटर में सेवा मॉड्यूल पर लागू किया जाना चाहिए, और बाहर नहीं। तथ्य यह है कि जुनिपर ने बाहरी डेवलपर्स के लिए मॉड्यूल तक पहुंच को बंद कर दिया, इस सवाल का स्पष्ट जवाब देता है, लेकिन तब हम अभी भी संदेह से परेशान थे।



लागत के लिए, सवाल में मिलियन से बाहर, आधे से अधिक सर्वर थे, इसलिए वहां सॉफ्टवेयर के लिए कोई बड़ा लाभ की योजना नहीं थी।