वेब पेजों की मुख्य सामग्री प्रोग्रामिक रूप से प्राप्त करना

सूचना शोर से वेब पृष्ठों को साफ़ करने का कार्य सूचना पुनर्प्राप्ति के तत्काल कार्यों में से एक है। इसका सार सूचना शोर को साफ़ करना और केवल मुख्य सामग्री प्राप्त करना है।



एक उदाहरण पर विचार करें:







मुख्य सामग्री को पृष्ठ के इस भाग में माना जा सकता है:







जहां इसे लागू किया जा सकता है:

• सामग्री वितरण सेवाएं जब किसी कारण से अन्य विधियां उपयुक्त नहीं हैं (उदाहरण के लिए, कोई आरएसएस फ़ीड या केवल एक परिचय नहीं है);
• विभिन्न स्रोतों से कुछ जानकारी एकत्र करने की प्रणाली
• मोबाइल अनुप्रयोगों में जहां यातायात को कम करना महत्वपूर्ण है
• डाटा माइनिंग, बीआई सिस्टम

समाधान के विवरण के साथ आगे बढ़ने से पहले, मैं मौजूदा समाधानों के बारे में संक्षेप में बताऊंगा। एचटीएमएल 5 के आगमन के साथ, मुख्य सामग्री को खोजने की समस्या गायब हो जानी चाहिए, क्योंकि विनिर्देश नए अर्थ तत्वों को दर्शाता है। आइए उन पर अधिक विस्तार से विचार करें।

HTML5 अर्थ तत्व

वर्तमान में, निम्नलिखित अर्थ तत्व माना जाता है:

• अनुभाग - एक तत्व समूह विषयगत ब्लॉक। अनुभाग तत्वों को नेस्टेड किया जा सकता है
• हेडर - इसमें एक सेक्शन, टेबल आदि का शीर्षक होता है।
• पाद लेख - वेब पेज का पाद लेख, आमतौर पर इस ब्लॉक में साइट, संपर्क, कॉपीराइट के बारे में जानकारी होती है
• नौसेना - नेविगेशन ब्लॉक, लिंक की सूची, संबंधित विषय
• लेख - मुख्य सामग्री
• एक तरफ - मुख्य ब्लॉक नहीं, आमतौर पर पृष्ठ के किनारों पर स्थित होता है

क्लासिक ब्लॉग पोस्ट संरचना:







इस पद्धति का उपयोग वर्तमान में ऐसी समस्याओं का सामना कर रहा है:

• HTML5 विनिर्देश ड्राफ्ट स्थिति में है
• IE वर्तमान में इन टैग का समर्थन नहीं करता है
• सभी डेवलपर्स को एक समान वेब पेज लेआउट नियमों का पालन करना चाहिए
• किसी ने भी बेईमान एसईओ आशावादी को रद्द नहीं किया

लेकिन इस समय सबसे बड़ी समस्या अरबों पृष्ठों की उपस्थिति है जो बहुत पहले लिखे गए थे और नए मानकों का उपयोग करके फिर से लिखे जाने की संभावना नहीं है। यही कारण है कि मुख्य सामग्री की पहचान करने का कार्य महत्वपूर्ण और प्रासंगिक है।

पठनीयता

वेबसाइट: http://lab.arc90.com/experiments/readability/



पठनीयता आर्क 90 लैब का विकास है, जो आपको एक छोटा बुकमार्क स्थापित करने की अनुमति देता है जो वेब पेजों को पढ़ने योग्य रूप में लाने में मदद करेगा। पठनीयता DOM मॉडल का विश्लेषण करने और "उपयोगी" सामग्री की पहचान करने के लिए अपने मैट्रिक्स का उपयोग करती है।



पठनीयता उदाहरण:







वर्तमान में विभिन्न ब्राउज़रों के लिए प्लगइन्स हैं, और सफारी में इस सुविधा को सफारी रीडर के रूप में जाना जाता है। जो लोग इंटरनेट पर काम करते हैं, उनके लिए यह पर्याप्त होना चाहिए, लेकिन उन लोगों के बारे में जो इस उपकरण का उपयोग अपनी स्क्रिप्ट लिखने के लिए करना चाहते हैं? दरअसल, बाद में उस पर और अधिक।

सूचना ब्लॉकों के महत्व पर शोध

मेरे पिछले लेखों की संख्या इस समस्या के अध्ययन के लिए समर्पित है, विशेष रूप से, मैं ऐसे प्रकाशनों को पढ़ने का प्रस्ताव करता हूं:

• हम सूचना शोर से वेब पेजों को साफ करते हैं
• SmartBrowser के साथ वेब पृष्ठ सामग्री विश्लेषण
• वेब पृष्ठों की मुख्य सामग्री का निर्धारण करने के लिए SeoRank मानदंड
• जानकारी पुनर्प्राप्ति के बारे में, खोज परिणामों को देखने के लिए इष्टतम तरीके ढूंढना और बहुत कुछ

खुद का विकास - स्मार्टब्रोसर - एक प्रोटोटाइप ब्राउज़र जो सूचना शोर के वेब पृष्ठों को साफ करता है, लंबे समय से http://smartbrowser.codeplex.com/ पर कोडप्लेक्स वेबसाइट पर उपलब्ध है।



स्मार्टब्राउजर का नया संस्करण जल्द ही साइट पर उपलब्ध होगा। सही ढंग से मान्यता प्राप्त वेब पृष्ठों का प्रतिशत बढ़ गया, जबकि प्रयोगों और अनुसंधान के परिणामस्वरूप मॉडल और एल्गोरिदम को सरल बनाया गया था।



वर्तमान में SmartBrowser इस तरह दिखता है:







कार्रवाई में SmartBrowser के संचालन पर विचार करें। वेब पेज प्रसंस्करण इस तरह दिखता है:



MainContentExtractor r = new MainContentExtractor(new Uri(tbUrl.Text.Trim()));

var html = r.GetContent();

webBrowser1.DocumentText = r.getTitle().InnerText + html;









सभी तर्क विकसित डेटा निकालने वाले एसडीके लाइब्रेरी से मेनकॉन्टेंट एक्स्ट्रेक्टर वर्ग में एन्कैप्सुलेट किए गए हैं (फिलहाल यह कार्यक्षमता अभी तक साइट पर उपलब्ध नहीं है), जिसे मैंने कई बार लिखा था।



परिणामस्वरूप, मुझे कई प्रसिद्ध साइटों के लिए निम्नलिखित परिणाम मिले:



























फिलहाल कुछ साइटों के साथ समस्याएं हैं, उदाहरण के लिए, एक हब्र के साथ। इसलिए, इस समय अनुसंधान और विकास जारी है, लेकिन मुझे उम्मीद है कि निकट भविष्य में किसी प्रकार की स्थिर विधानसभा के बारे में बात करना संभव होगा।



आपका ध्यान देने के लिए धन्यवाद।