"खराब" शब्दों का एक फिल्टर लिखना

आप में से कई लोग शायद एक से अधिक बार सार्वजनिक मल्टी-यूजर चैट कर चुके हैं। चाहे वह एक मंच हो, एक वेबचैट या प्रदाता के लैन में एक चैट सर्वर, आदर्श आदेश केवल एक छोटी संख्या में उपयोगकर्ताओं (सौ से अधिक नहीं, मेरी राय में) के साथ प्राप्त किया जा सकता है। जब कोई समुदाय बढ़ता है, तो लगभग वही समस्याएं पैदा होती हैं: दोस्त, स्पैम और बाढ़ - एक ऊब अलग-अलग पोस्ट "एक देश में सब कुछ!" हर मिनट, दूसरे के बारे में और इसके बिना, और इस तरह से सामान की कसम खाता हूँ।



एक आदर्श चटाई फ़िल्टर का अभी तक आविष्कार नहीं हुआ है। लेकिन हम ऐसा नहीं करेंगे, हम आवश्यक न्यूनतम के कार्यान्वयन पर विचार करेंगे।

चटाई

बेशक हम इस पर बात कर रहे हैं, जो बहस कर रहा है :)। मेरे दृष्टिकोण से, एक दोस्त एक लाल शब्द या अधिक अभिव्यक्ति की अभिव्यक्ति के लिए जगह ले सकता है। लेकिन हर कोई इसे महसूस करना इतना आसान नहीं है और इसे अपने साथ रखना आवश्यक है (या अपने समुदाय को एक ला "आप कितना फिट बैठेंगे")। विशेष रूप से अनाकर्षक बहुत अधिक स्मार्ट / शिक्षित नागरिकों से कमजोर रूप से प्रेरित चटाई का प्रवाह नहीं है। खैर, इसे उनके विवेक पर छोड़ दें।



रूसी भाषा शब्द और वाक्यांश गठन की संभावनाओं में बहुत समृद्ध है, इसलिए आप बहुत सारे अश्लील निर्माणों के बारे में सोच सकते हैं - कभी-कभी आश्चर्य होता है। इसलिए हम (अभी के लिए) इन घटनाओं से निपटने की कोशिश नहीं करेंगे। माथे का समाधान एक शब्दकोश फिल्टर है। शब्दकोश, मुझे लगता है, इकट्ठा करना मुश्किल नहीं होगा। मुझे लगभग 250 शब्द मिले :)।



लेकिन बहुत पहले प्रयोग बताते हैं कि यह विधि सकारात्मक परिणाम नहीं देती है। आग के पहले पीड़ितों के एक जोड़े की विफलता को देखकर, उपयोगकर्ता इसे बहुत जल्दी से प्राप्त करना सीखते हैं। वे इसे कैसे करते हैं? मूल रूप से, कई विकल्प हैं:

• युग्मित व्यंजन के साथ व्यंजन की जगह (उदाहरण के लिए, "k" के साथ "x");
• समान रूप से दिखने वाले लैटिन अक्षरों ("एन" - "एन", "और" - "यू") के साथ अक्षरों को बदलना;
• सिरिलिक और लिप्यंतरण का मिश्रण;
• छद्म ग्राफिक्स का उपयोग।

बचाव के लिए नियमित भाव आते हैं। पूर्वगामी के आधार पर एक चरित्र प्रतिस्थापन तालिका बनाएँ।

(

'' => [ '' , 'a' , '@' ],

'' => [ '' , '6' , 'b' ],

'' => [ '' , 'b' , 'v' ],

'' => [ '' , 'r' , 'g' ],

'' => [ '' , 'd' , 'g' ],

'' => [ '' , 'e' ],

'' => [ '' , '' , 'e' ],

'' => [ '' , 'zh' , '*' ],

'' => [ '' , '3' , 'z' ],

'' => [ '' , 'u' , 'i' ],

'' => [ '' , 'u' , 'y' , 'i' ],

'' => [ '' , 'k' , 'i{' , '|{' ],

'' => [ '' , 'l' , 'ji' ],

'' => [ '' , 'm' ],

'' => [ '' , 'h' , 'n' ],

'' => [ '' , 'o' , '0' ],

'' => [ '' , 'n' , 'p' ],

'' => [ '' , 'r' , 'p' ],

'' => [ '' , 'c' , 's' ],

'' => [ '' , 'm' , 't' ],

'' => [ '' , 'y' , 'u' ],

'' => [ '' , 'f' ],

'' => [ '' , 'x' , 'h' , '' , 'k' , '}{' ],

'' => [ '' , 'c' , 'u,' ],

'' => [ '' , 'ch' ],

'' => [ '' , 'sh' ],

'' => [ '' , 'sch' ],

'' => [ '' , 'b' ],

'' => [ '' , 'bi' ],

'' => [ '' ],

'' => [ '' , '' , 'e' ],

'' => [ '' , 'io' ],

'' => [ '' , 'ya' ],

)



* This source code was highlighted with Source Code Highlighter .

अब हमें अपने शब्दकोश से एक नियमित अभिव्यक्ति पुस्तकालय बनाने की आवश्यकता है। सिद्धांत रूप में, उन्हें मक्खी पर डिज़ाइन किया जा सकता है। विश्लेषण का सिद्धांत सरल है: पत्र के स्थान पर तालिका से कोई भी अनुक्रम हो सकता है। ताकि लोग स्पेस, पीरियड आदि डालकर धोखा न खाएं। फिल्टर को बायपास करने के लिए अक्षरों के बीच - हम अक्षरों के बीच उनकी उपस्थिति को भी ध्यान में रखते हैं। ठीक है, ताकि कोई झूठी सकारात्मकता न हो, हम जटिल संरचनाओं की व्युत्पत्ति को ध्यान में रखते हुए, केवल पूरे शब्द को काम करेंगे।



हां, बाद का, निश्चित रूप से, फिल्टर की प्रभावशीलता को थोड़ा कम करता है, लेकिन फिर भी, संशोधित शब्द अब बहुत अश्लील नहीं हैं, और हम एक शब्द के साथ मूल शब्दों और वाक्यांशों के थोक को काट सकते हैं। सिद्धांत रूप में, यदि फ़िल्टर केवल भद्दे शब्दों को छिपाने के लिए ट्रिगर किया जाता है (और तत्काल प्रतिबंध-हथौड़ा :) के लिए नहीं), तो इस स्थिति को त्याग दिया जा सकता है।



नतीजतन, तीन अक्षरों के एक प्रसिद्ध शब्द के लिए, नियमित सीजन कुछ इस तरह दिखाई देगा:

m/(?:^|\W)((?:|x|h||k|}{)\W*[yu]\W*[uyi])(?:$|\W)/ig;



सामान्य तौर पर, सार सरल है: हम एक शब्दकोश बनाते हैं, उसमें से हम नियमित रूप से एक पुस्तकालय बनाते हैं और उन्हें हमारे फ़िल्टर में उपयोग करते हैं।



दृष्टिकोण के नुकसान:

• एक बड़ी शब्दावली की जरूरत है;
• रूसी भाषा की आकृति विज्ञान को ध्यान में नहीं रखा जाता है;
• झूठी सकारात्मक संभव हैं ("जब तक लोहा गर्म है तब हड़ताल करें!")

यानी सामान्य तौर पर, यह रामबाण नहीं है, लेकिन इसका एक निश्चित प्रभाव है।

स्पैम और बाढ़

बाढ़ या पात्रों की एक निरर्थक धारा, इमोटिकॉन्स, वाक्य आदेश को परेशान कर सकते हैं। हमारे संदर्भ में, हम स्पैम को बाढ़ का एक रूप मानेंगे, बार-बार वाक्यांश जैसे "Fse f देश! Xxxx पर बनाया गया "या" लोग, मेरे सुपर मेगास्ट्रेपेज लिंक पर जाएं "। हालांकि, ये घटनाएं चैट की अधिक विशेषता हैं।



आप इस पूरी चीज़ को विशुद्ध रूप से यांत्रिक रूप से ट्रैक कर सकते हैं, पाठ के किसी भी अर्थ विश्लेषण के उपयोग के बिना - लेकिन ऐसा करने के लिए सरल तरीके हैं?



दोहराया प्रतीकों और इमोटिकॉन्स की बाढ़ के साथ, सामान्य तौर पर, सब कुछ स्पष्ट है: हम लाइव चैट में सबसे लगातार बाढ़ पैटर्न को देखते हैं और उनका उपयोग उन्हें मात्रा निर्धारित करने के लिए करते हैं। बस कुछ उदाहरण:

/(.)\\1{15,}/is;

/(.{3,})\\1{5,}/is;

/(\n|\r|\r\n)\\1{3,}/is;



वाक्यांशों की पुनरावृत्ति के साथ स्थिति अधिक जटिल है। माथे के लिए दृष्टिकोण काफी आदिम है: हम उपयोगकर्ता के एन-अंतिम संदेशों की तुलना करते हैं और संयोग के मामले में हम "काम" करते हैं।



विरोध करने का पहला तरीका है कि रिक्त स्थान को लाइन में जोड़ना, विराम चिह्नों की संख्या (बिंदु, विस्मयादिबोधक चिह्न) को बदलना। हालांकि, हम एक लाइन सामान्यीकरण कर सकते हैं जो इस तरह के परिवर्तनों को ध्यान में रखता है: उदाहरण के लिए, हम बस सभी अनावश्यक को हटा देते हैं।



हालांकि, यहां हमें प्रतिरोध की दूसरी लहर के साथ विफलता मिलेगी: वाक्यांश थोड़ा बदलना शुरू होता है, विशेषण, परिचयात्मक शब्द, आदि जोड़ें। यहां, फजी तुलना एल्गोरिदम पहले से ही उपयोगी हैं।



उदाहरण के लिए, आप लेवेंसहाइट दूरी की गणना कर सकते हैं। इस एल्गोरिथ्म का कार्यान्वयन बहुत जटिल नहीं है और अधिकांश लोकप्रिय भाषाओं में उपलब्ध है, और php में यह आमतौर पर मूल रूप से मौजूद है। वास्तव में, यह पहली से दूसरी पंक्ति प्राप्त करने के लिए आवश्यक संपादन की संख्या में लाइन अंतर लौटाता है।



इसके अलावा, एक तकनीकी मामला: हम न्यूनतम संदेश का आकार निर्धारित करते हैं, जिस पर हमें प्रतिक्रिया करनी चाहिए, दूरी पर विचार करना चाहिए और यदि यह अधिक नहीं है, उदाहरण के लिए, संदेश की लंबाई का 20% है, तो इसे दोहराएं! सब कुछ सरल है। हम संदेश की लंबाई और दूरी को समान रूप से चुनते हैं ताकि आम उपयोगकर्ताओं के साथ हस्तक्षेप न करें।



यह विधि, निश्चित रूप से, ऊब वाले व्यक्तियों को मैन्युअल रूप से सब कुछ भेजने में मदद करेगी (इसलिए छोटे संपादन और वाक्यांशों की आवृत्ति)। यदि उपयोगकर्ता एक खतरनाक दर पर विषम संदेश भेजता है, तो सबसे अधिक संभावना है कि यह एक स्पैम बॉट है और लाइव मॉडरेटर के अन्य दृष्टिकोण या कार्यों की आवश्यकता है।

परिणाम

इसलिए, हमने सामान्य शब्दों में दोस्त, बाढ़ और स्पैम का मुकाबला करने के तरीकों पर विचार किया है। लघु संदेश चैट सिस्टम के लिए प्रस्तावित तरीके सबसे अधिक प्रासंगिक हैं। कई मायनों में, दृष्टिकोण की सादगी नियमित अभिव्यक्तियों के रूप में इस तरह की बल्कि जटिल चीज़ के उपयोग के कारण होती है।



वैकल्पिक तरीके मौजूद हैं, जिसमें वाक्यांशों के रूपात्मक और अर्थ विश्लेषण पर प्रयास शामिल हैं। हालाँकि, यदि आप समान AIML की विचारधारा का पालन करते हैं, तो इनपुट और आउटपुट के बीच "बहुत अधिक कंप्यूटर" को एम्बेड किए बिना, मानव-जैसा व्यवहार काफी अनुभवजन्य रूप से प्राप्त किया जा सकता है।



मुझे आशा है कि जानकारी किसी के लिए उपयोगी होगी। मुझे किसी भी टिप्पणी पर खुशी होगी। जैसा कि समय प्रकट होता है, मैं जनता को उपरोक्त कार्यों के अपने कार्यान्वयन के लिए प्रस्तुत करने का प्रयास करूंगा।