DIY पठनीयता

चूंकि हमने अभी तक इंटरनेट को अवरुद्ध करने के लिए ग्रेट चाइनीज रोसकोमनादज़र को हराने के बारे में नहीं सीखा है, लेकिन मैं अभी भी अपने काम के बारे में कुछ अजीब बताना चाहता हूं, मैं Node.js और बीजिंग इंस्टीट्यूट ऑफ टेक्नोलॉजी का उपयोग करके पठनीयता के समान एल्गोरिथ्म के कार्यान्वयन के बारे में बात करूंगा।

यह सब क्या है?

पठनीयता वेबसाइटों से अनावश्यक तत्वों को हटाने के AdBlock के विचार की एक कट्टरपंथी निरंतरता है। जहां AdBlock उपयोगकर्ता (मुख्य रूप से विज्ञापन) के लिए केवल सबसे बेकार चीजों को फाड़ने की कोशिश करता है, एक ही समय में पठनीयता स्क्रिप्ट, शैली, नेविगेशन और बाकी सब कुछ हटा देती है जो अनावश्यक है। पहले, इस प्रकार के पृष्ठ को "प्रिंट संस्करण" कहा जाता था, हालांकि वास्तव में पाठ पढ़ने के लिए अभिप्रेत है (इसलिए नाम पठनीयता - "पठनीयता")।

पार्सर्स के बारे में गेय विषयांतर

साइट पार्सर, या अन्य शिथिल संरचित स्वरूपों की मुख्य विशेषता, जंगली में प्रारूप का उपयोग करने के विशेष मामलों के बारे में ज्ञान की मात्रा है।



सभी ज्ञान रखने का एक पतित मामला एकल साइट का पार्सर है। यानी यदि हम उदाहरण के लिए, हबराब्र से लेख चोरी करना चाहते हैं, तो एक इंकजेट प्रिंटर पर रात में उन्हें प्रिंट करने और शैतान को बलिदान करने के लिए - हम मौजूदा लेआउट को देख सकते हैं और आसानी से निर्धारित कर सकते हैं कि पोस्ट का शीर्षक h1.title



।



इस तरह से लिखा गया एक कार्यक्रम शायद ही गलत होगा; Habrahabr से अलग हर साइट के लिए, आपको एक नया प्रोग्राम लिखना होगा।



एक पतित आदर्श मामला: पार्सर को यह बिल्कुल नहीं पता होता है कि उसे किस प्रारूप में डेटा प्राप्त हुआ है। इस तरह के कार्यक्रम का एक उदाहरण strings



(अधिकांश गैर-गेमिंग ऑपरेटिंग सिस्टम पर मौजूद है)।



यदि आप कुछ गैर-पठनीय फ़ाइल पर strings



लागू strings



, तो आप इस फ़ाइल के अंदर पाठ की तरह दिखने वाली हर चीज़ की एक सूची प्राप्त कर सकते हैं। उदाहरण के लिए, कमांड

 strings `which ls`
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ls



बाइनरी के अंदर स्वरूपण के लिए लाइनों का एक गुच्छा प्रिंट करें, और मदद करें।

 %e %b %T %Y %e %b %R usage: ls [-ABCFGHLOPRSTUWabcdefghiklmnopqrstuwx1] [file ...]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

जितना कम ज्ञान, उतने ही सार्वभौमिक।

पहले से क्या है

पठनीयता के पहले संस्करण के स्रोत प्रकाशित होते हैं और नियमित अभिव्यक्तियों की एक द्रुतशीतन गेंद होती है। यह अपने आप में बुरा नहीं है, लेकिन विशेष मामले सिर्फ भयानक हैं। मैं एक एल्गोरिथ्म चाहूंगा जिसे इंटरनेट पर लोकप्रिय साइटों के बारे में बहुत कम जानकारी है (ऊपर देखें, "विषयांतर")।



पठनीयता का वर्तमान संस्करण बंद हो गया है और विविध प्रासंगिकता के बन्स के साथ लटका दिया गया है। एक एपीआई है ।



Apple द्वारा पठनीयता के पहले संस्करण का एक कांटा है (सफारी में रीडर सुविधा)। स्रोत कोड बहुत खुला नहीं है, लेकिन आप इसे देख सकते हैं, और भी अधिक नियमित अभिव्यक्ति और विशेष मामले हैं (उदाहरण के लिए, ऐसा एक चर है - isWordPressSite



)।



मूल स्क्रिप्ट की समस्याएं संशोधन की जटिलता, आर्केड हेयुरिस्टिक हैं। यह मुख्य रूप से काम करता है, लेकिन एक गैर-तुच्छ फ़ाइल परिशोधन की आवश्यकता होती है। Apple संस्करण भी अस्पष्ट है।

क्या लिखना है?

न्यूनतम मार्कअप ज्ञान के साथ एक साइट पार्सर। इनपुट डेटा - एक साइट का एक पृष्ठ, या एक पृष्ठ का एक टुकड़ा। परिणाम इनपुट का एक पाठीय प्रतिनिधित्व है।



एक महत्वपूर्ण मानदंड सार्वभौमिकता है: कार्यक्रम क्लाइंट और सर्वर दोनों पर काम करेगा। इसलिए, हम मौजूदा डोम कार्यान्वयन से जुड़े नहीं हैं, लेकिन अपनी स्वयं की डेटा संरचना का निर्माण करते हैं (यह एक पूर्ण डोम की तुलना में तेजी से काम भी करता है, क्योंकि हमें गुलकी से डेटा की आवश्यकता होती है, कहते हैं, एक नाक)।



उसी कारण से, प्रोग्राम इंटरनेट से पृष्ठों को स्वतंत्र रूप से डाउनलोड करने, डिस्क पर स्टोर के परिणाम, उपयोगकर्ता इंटरफ़ेस, या एक क्रॉस को कढ़ाई करने में सक्षम नहीं होगा।

एल्गोरिथम जीवन और एडवेंचर्स

खोज इंजन को ऊपर वर्णित प्रक्रिया के एल्गोरिदम पर कई लेख मिले। सबसे ज्यादा मुझे ये चीनी ^PDF पसंद ^आए ।



मेरे फॉर्मूले थोड़े अलग थे, इसलिए मैं आपको चीनी एल्गोरिथम के मेरे संस्करण के बारे में संक्षेप में बताऊंगा।



दस्तावेज़ में प्रत्येक टैग के लिए:

1. हम रेटिंग पर विचार करते हैं
   
   
   
   यहाँ वर्ण टैग के अंदर पाठ (वर्ण) की मात्रा है, हाइपरचार लिंक में पाठ की मात्रा है, टैग नेस्टेड टैग की संख्या है (सभी मैट्रिक्स पुनरावर्ती हैं)।
2. हम अनुमानों की मात्रा पर विचार करते हैं
   
   पहली पीढ़ी के बच्चों के ग्रेड का योग (यानी, पुनरावर्ती नहीं)।
3. अधिकतम राशि के साथ एक टैग मिला
   
   यह बॉडी टेक्स्ट के लिए एक उच्च संभावना वाला कंटेनर है। या सबसे लंबी टिप्पणी। किसी भी मामले में, अंदर एक पत्र है, यह अच्छा है।

लेबर के लिए भरपूर जगह

आगे अनुकूलन। मैं कई मामलों का वर्णन करूंगा, लेकिन सामान्य तौर पर यह सबसे दिलचस्प विषय है, आप टिप्पणियों में चैट कर सकते हैं।



मुख्य पाठ में कचरा। कोई भी दुर्भाग्यशाली ब्लॉगर अपने सामाजिक संपर्कों, ट्विटर आदि के कई बटन सीधे पोस्ट की बॉडी में लगाना पसंद करते हैं। अनावश्यक बातें। ऐसे बटन के लिए, स्कोर (स्कोर, ऊपर देखें) शून्य पर जाता है, इस सिद्धांत के अनुसार उन्हें ध्वस्त किया जा सकता है।



बस, मैं यह भी जांचता हूं कि कचरा हटाए जाने के बाद, माता-पिता का स्कोर बढ़ गया है, यदि नहीं (या नगण्य रूप से बढ़ा है), तो मैंने इसे नहीं हटाया।



एचटीएमएल। एल्गोरिथ्म दस्तावेज़ की संरचना के बारे में ज्ञान का उपयोग नहीं करता है, उन्हें अब कार्यक्रम में सुधार (या गति) में जोड़ा जा सकता है। अर्थात्, मान लें कि पहले से <footer>



और <nav>



pessimize करें, या अदृश्य तत्वों (ब्राउज़र में) में एनोटेशन जोड़ें और उन्हें पूरी तरह से छोड़ दें - वास्तव में गतिविधि के लिए जगह है, मैंने अभी तक कुछ भी लागू नहीं किया है।



पाठ संकेत। यदि पाठ में अल्पविराम, अवधि और अन्य विराम चिह्न शामिल हैं, तो यह सबसे अधिक संभावना है जुड़ा हुआ पाठ (उदाहरण के लिए, नेविगेशन के विपरीत)। इस तरह का एक अनुमानवाद पठनीयता में था।



यहां इस तथ्य पर ध्यान देना आवश्यक है कि अलग-अलग भाषाओं में विराम चिह्न अभी भी अलग हैं, और चीनी में कॉमा ("，" यूनिकोड यू + एफएफ 0 सी) चरित्र से अलग हैं ", (एएससीआईआई 44)।

क्या हुआ, कैसे उपयोग करना है

परिणाम मैं npretentably पठनीयता 2 कहा जाता है, npm में बाहर रखा ।

संक्षेप में परीक्षणों के बारे में

प्रतिगमन से बचने के लिए ऐसी चीज़ का परीक्षण करना आवश्यक है (और आमतौर पर स्वचालित रूप से परीक्षण ठंडा है)।



यहां एक निश्चित समस्या उत्पन्न होती है: पठनीयता परीक्षण पूरी तरह से बाहर निकलने वाली साइट का एक सहेजा गया पृष्ठ है, साथ ही हाथों से फाड़ा गया "संदर्भ" पाठ भी है। मैं वास्तव में यह नहीं समझता कि इसे इस तरह से कैसे वितरित किया जाए कि कानूनी व्यापारी साइटों और ग्रंथों की अवैध नकल के लिए मुझे नष्ट करने की कोशिश न करें।



यदि किसी को सही उत्तर पता है, तो कृपया टिप्पणियों में लिखें। अब परीक्षण एक बंद भंडार में रहते हैं, लेकिन वे वास्तव में मुक्त होना चाहते हैं।



परीक्षण के बिना स्रोत: GitHib

उदाहरण का उपयोग करें

उदाहरण के लिए, मैंने एक डेमो। Html पेज लिखा है जिसमें सभी नेविगेशन के बीच पाठ की दो पंक्तियाँ हैं।



पाठ को "शीर्षक" कहा जाता है। सामग्री हिस्सा:

पूरा मोहल्ला चुपचाप भगवान का चमत्कार देख रहा था:

पॉप इग्नाटियस टिलिबोंकली ने अपने चर्च को भड़काया।

यह कार्यक्रम चलाने का परिणाम होना चाहिए। यदि परिणाम ऐसा नहीं है, तो सब कुछ टूट गया है।



और यहाँ टिप्पणियों के साथ Demo.js कार्यक्रम का स्रोत कोड है । आइजैक जेड स्क्लुटर द्वारा सैक्स पार्सर का इस्तेमाल किया।

प्रलेखन, उर्फ ​​एपीआई

डिजाइनर:

 var reader = new Readability
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

कुछ भी स्वीकार नहीं करता



SAX इंटरफ़ेस:

 reader.onopentag(tagName) // <> reader.onattribute(name, value) // = reader.ontext(text) //  reader.onclosetag(tagName) // </>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

यहाँ सभी तर्क तार-तार हैं।



परिणाम प्राप्त करने के लिए:

 var res = reader.compute(), text = reader.clean(res)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

आउटपुट पर: res.heading



- आलेख और text



का शीर्षक - स्वरूपण के बिना मुख्य पाठ।



reader.clean



बजाय reader.clean



आप एक और फ़ॉर्मेटर लिख सकते हैं, फिर पाठ प्राप्त नहीं किया जाएगा, लेकिन सरल मार्कअप, उदाहरण के लिए।

निष्कर्ष

कार्यक्रम काम करता है। वह अभी भी उपयोग करने से थोड़ा डरती है, क्योंकि केवल लगभग 20 परीक्षण हैं, लेकिन मैं इस पर काम कर रहा हूं। अपडेट होंगे। किसी भी बेवकूफ के अलावा, पैच का स्वागत है। GitHub । MIT लाइसेंस, मैं इसे रिपॉजिटरी में अपलोड करना भूल गया।



महत्वपूर्ण नोट: बाईं ओर के चित्र का पोस्ट से कोई लेना-देना नहीं है। इसलिए, यदि यह लोड नहीं करता है, और आपको बाईं ओर कोई चित्र नहीं दिखता है, तो निराश मत हो।



टिप्पणियों में बेहतर लिखें कि आप इस सब के बारे में क्या सोचते हैं।