वेब स्क्रैपिंग .Net

हाल ही में, मुझे वेब स्क्रैपिंग (उर्फ वेब माइनिंग) में रुचि हुई है और परिणामस्वरूप मैंने उन लोगों के लिए एक लेख लिखने का फैसला किया है जो पहले से ही सुन चुके हैं कि यह मौजूद है, लेकिन अभी तक कोशिश नहीं की है।





तो, मेरी समझ में, वेब-स्क्रैपिंग स्वयं को HTML पेज के रूप में इंटरनेट पर पोस्ट किए गए डेटा को किसी प्रकार के भंडारण में स्थानांतरित करना है। भंडारण या तो एक सादा पाठ फ़ाइल, एक XML फ़ाइल या एक डेटाबेस (DB) हो सकता है। यही है, रिवर्स (रिवर्स) प्रक्रिया स्पष्ट है - आखिरकार, एक वेब एप्लिकेशन आमतौर पर डेटाबेस से डेटा लेता है।

सिद्धांत से अभ्यास तक

एक उदाहरण के लिए हम एक साधारण मामला लेंगे - एक साइट auto.ru के एक पृष्ठ का विश्लेषण। Http://vin.auto.ru/resolve.html?vin=TMBBD41Z57B150932 लिंक पर क्लिक करके हम पहचान संख्या TMBBD41Z57B150932 (मेक, मॉडल, संशोधन, आदि) के लिए प्रदर्शित कुछ जानकारी देखेंगे। कल्पना करें कि हमें इस जानकारी को एक विंडो में प्रदर्शित करने की आवश्यकता है, उदाहरण के लिए, विंडोज-आधारित एप्लिकेशन। डेटाबेस के साथ नेट में काम करना व्यापक रूप से वर्णित है, इसलिए हम इस समस्या पर ध्यान केंद्रित नहीं करेंगे, हम सार पर ध्यान केंद्रित करेंगे।

तो, चलो एक WinForms एप्लिकेशन प्रोजेक्ट बनाते हैं, एक टेक्स्टबॉक्स घटक को नाम tbText के नाम के साथ ड्रॉप करते हैं, जिसमें हमारा पता (लिंक) लिखा जाएगा; btnStart बटन, जब क्लिक किया जाता है, तो अनुरोध निर्दिष्ट पते पर निष्पादित किया जाएगा, साथ ही लिस्टबॉक्स lbConsole, जहां हमें प्राप्त डेटा मिलेगा। एक वास्तविक एप्लिकेशन में, लिंक को कुछ बाहरी स्रोत से भी लेना पड़ता है, लेकिन यह मत भूलो कि यह केवल एक उदाहरण है।







वास्तव में इंटरफ़ेस के साथ सब कुछ, अब हम एक बटन क्लिक के जवाब में एक विधि का निर्माण करेंगे।



इस विधि में, हमें निम्नलिखित काम करने होंगे:

1. हमारे टेक्स्टबॉक्स में दिए गए पते से संपर्क करें

2. एक पृष्ठ प्राप्त करें

3. पेज से आवश्यक डेटा का चयन करें

4. प्रपत्र पर डेटा प्रदर्शित करें

हम संबोधित कर रहे हैं

सबसे पहले, एक चर बनाएं जिसमें अनुरोध द्वारा प्राप्त पृष्ठ संग्रहीत किया जाएगा:

string AutoResult = String .Empty; * This source code was highlighted with Source Code Highlighter .

1. string AutoResult = String .Empty; * This source code was highlighted with Source Code Highlighter .
   
   
   
   

string AutoResult = String .Empty; * This source code was highlighted with Source Code Highlighter .

अगला, हम एक पैरामीटर के रूप में हमारे द्वारा ज्ञात लिंक को पास करके एक अनुरोध बनाते हैं:

1. var autoRequest = (HttpWebRequest) WebRequest.Create (tbLink.Text);

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

हम अनुरोध गुण सेट करते हैं, वे हमें एक ब्राउज़र के रूप में खुद को स्थापित करने में मदद करेंगे। इस मामले में यह महत्वपूर्ण नहीं है, लेकिन कुछ साइट अनुरोध हेडर का विश्लेषण करती हैं, इसलिए यह भविष्य के लिए एक संकेत है।

1. autoRequest.UserAgent = "मोज़िला / 4.0 (संगत; MSIE 8.0; विंडोज़ एनटी 5.1; त्रिशूल / 4.0)" ;
2. autoRequest.Headers.Add ( "स्वीकार-भाषा" , "आरयू-आरयू" );
3. autoRequest.Accept = "image / gif, image / jpeg, image / pjpeg, image / pjpeg, application / x-shockwave-flash, application / x-ms-application, application / x-ms-xwap, application / vnd.ms -xpsdocument, एप्लिकेशन / xaml + xml, एप्लिकेशन / vnd.ms-excel, एप्लिकेशन / vnd.ms-powerpoint, एप्लिकेशन / msword, * / * " ;

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

हम यह भी संकेत देते हैं कि GET विधि का उपयोग किया जाएगा।

1. autoRequest.Method = "GET" ;

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

अब हम अनुरोध पूरा करते हैं और अगले आइटम पर जाते हैं -

पेज प्राप्त करना

1. HttpWebResponse AutoResponse = (HttpWebResponse) autoRequest.GetResponse ();

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

वास्तव में, सर्वर की प्रतिक्रिया, और इसलिए पृष्ठ ही, अब हमारे ऑटोरस्पॉन्स वेरिएबल में संग्रहित है। अब आपको इस उत्तर का विश्लेषण करने की आवश्यकता है, यदि सब कुछ ठीक है, तो आप पृष्ठ को एक स्ट्रिंग के रूप में प्रस्तुत कर सकते हैं:

1. यदि (autoResponse.StatusCode == HttpStatusCode.OK)
2. {
3. ( स्ट्रीम ऑटोस्ट्रीम = autoResponse.GetResponseStream ()) का उपयोग कर
4. {AutoResult = नया स्ट्रीमराइडर (AutoStream, एन्कोडिंग .GetEncoding ( "विंडोज़ -1251" ))। ReadToEnd (); }
5. }

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

और अगर सब कुछ वास्तव में ठीक है, तो अब हमारे पास AutoResult चर में उसी प्रकार की एक पंक्ति है जिसे हम ब्राउज़र में "पेज सोर्स" मेनू का उपयोग करके देख सकते हैं। खैर, शायद एक विकृत रूप में।



यह सब, ज़ाहिर है, बहुत अच्छा है। लेकिन मैं टैग्स की इस गड़बड़ी से ठीक वही चुनना चाहूंगा जो हमें चाहिए। यहां, विस्तारक विधियों की मदद से नियमित रूप से उपयोग किए जाने वाले नियमित भाव हमारी सहायता के लिए आएंगे। अनुस्मारक के तरीके, मुझे याद है, एक स्थिर वर्ग की ऐसी स्थैतिक विधियाँ हैं, जिन्हें किसी अन्य वर्ग की वस्तु की विधि के रूप में कहा जा सकता है, यदि इस वर्ग की यह वस्तु इस खोजशब्द के साथ चिह्नित स्थैतिक वर्ग की पद्धति का पहला पैरामीटर है। उदाहरण सरल है। यदि हमारे पास StringWithEq StringOperations वर्ग की विधि है

1. स्थिर वर्ग StringOperations
2. { आंतरिक स्थैतिक स्ट्रिंग StringWithEq ( यह स्ट्रिंग s) { वापसी स्ट्रिंग .ormat ( "{0} = s, s);}};

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

तब हम इस विधि का उपयोग सामान्य तरीके से (1) और विस्तारक विधि (2) के रूप में कर सकते हैं:

1. string test = "Test" ;
2. (1) Console .Write (StringOperations.StringWithEq (परीक्षण));
3. (2) कंसोल। क्राइट (टेस्ट। स्ट्रिंगविथईक ());

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

यदि आप किसी ब्राउज़र में HTML पृष्ठ के स्रोत कोड को देखते हैं, तो आप देखेंगे कि हमें जिस डेटा की आवश्यकता है वह एक टैग के अंदर समाहित है जिसका उपयोग कहीं और नहीं किया गया है:



<dl class="def-list md"><dt><strong> </strong></dt><dd>TMBBD41Z57B150932</dd><dt><strong></strong></dt><dd>SKODA</dd><dt><strong></strong></dt><dd>Octavia II (A5)</dd><dt><strong></strong></dt><dd>Elegance</dd><dt><strong> </strong></dt><dd>2007</dd><dt><strong> </strong></dt><dd></dd><dt><strong> </strong></dt><dd>5-</dd><dt><strong> , ..</strong></dt><dd>2000</dd><dt><strong> </strong></dt><dd>150</dd><dt><strong> </strong></dt><dd>BLR, BLX, BLY</dd><dt><strong> </strong></dt><dd> </dd><dt><strong> </strong></dt><dd>Solomonovo</dd><dt><strong> </strong></dt><dd></dd><dt><strong> </strong></dt><dd></dd><dt><strong></strong></dt><dd>Skoda Auto as</dd><dt><strong> </strong></dt><dd>50932</dd><dt><strong> </strong></dt><dd><span style='color: #FF0000;'>NOT OK!</span></dd></dl> - <a href="http://vinformer.su">vinformer.su</a></div>







इसलिए, हम इसका लाभ उठाएंगे, पहले हम इस टैग के अंदर से डेटा निकालते हैं, और फिर हम इसे पार्स करते हैं और इसे रखते हैं, उदाहरण के लिए, शब्दकोश वर्ग की एक वस्तु में। उसके बाद, प्राप्त डेटा को लिस्टबॉक्स lbConsole में प्रदर्शित करें। मैं अंतिम कोड को इस तरह देखना चाहूंगा:

1. स्ट्रिंग बिटडीएल = ऑटोइंडल्ट.बेटनडीडीएल ();
2. शब्दकोश < string , string > d = बीचDL.BetweenDTDD ();
3. foreach (d में var s)
4. {
5. lbConsole.Items.Add ( string .ormat ( "{0} = {1}" , s.Key, s.Value));
6. }

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

पहली पंक्ति में, हमें एक लाइन मिलती है जिसमें आवश्यक डेटा होता है। यहाँ हम इस तरह की एक विस्तारक विधि का उपयोग करते हैं:

1. आंतरिक स्थिर स्ट्रिंग बिटडीएल ( यह स्ट्रिंग डंपफाइल)
2. {
3. var _regex = new Regex ( @ "<dl [^>] *>! <?> </ s> [s \ S] +?] </ dl>" , RegexOptions.IgnoreCase | RegexOptions.Compiled);
4. मैच _match = _regex.Match (डंपफाइल);
5. वापसी _match.Success? _match.Groups [ "value" ] .Value: string .Empty;
6. }

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

अगला, एक और एक्सटेंडर विधि का उपयोग करते हुए, आवश्यक डेटा का चयन करें और इसे शब्दकोश वर्ग के ऑब्जेक्ट में लिखें:

1. आंतरिक स्थैतिक शब्दकोश < string , string > बीचDTDD ( यह स्ट्रिंग डंपफाइल)
2. {
3. var _regex = new Regex ( @ "<dt [\ s \ S] +? मजबूत> (? <valDT> [\ s \ S] +?) </ strong> </ dt> <dd [^]] *>> (? <valDD> [\ s \ S] +?) </ dd> " , RegexOptions.IgnoreCase। RegexOptions.Compiled);
4. मैचकॉलिनेशन मैच = _regex.Matches (डंपफाइल);
5. शब्दकोश < string , string > d = new Dictionary < string , string > ();
6. फॉरच (मैचों में मिलान)
7. {
8. GroupCollection groups = match.Groups;
9. d.Add (समूह [ "valDT" ]। वाल्यू , समूह [ "valDD" ] .Value);
10. }
11. वापसी d;
12. }

* इस सोर्स कोड को सोर्स कोड हाइलाइटर के साथ हाइलाइट किया गया था।

अगला, फ़ॉरच लूप में, परिणामी डेटा को एक लिस्टबॉक्स में प्रदर्शित करें।







बेशक, आप केवल दूसरे विस्तारक विधि का उपयोग कर सकते हैं, परिणाम समान होगा। वास्तविक अनुप्रयोगों में, कभी-कभी आवश्यक डेटा वाले पाठ के एक हिस्से का चयन करना अधिक सुविधाजनक होता है, और फिर इसके विश्लेषण में संलग्न होता है। इस कोड में अन्य सुधार और / या परिवर्तन किए जा सकते हैं, लेकिन मुझे आशा है कि मेरे द्वारा प्राप्त किए गए इस छोटे लेख का लक्ष्य आपको यह पता लगाना है कि वेब स्क्रैपिंग क्या है।