👩🏼‍🤝‍👨🏽 🤹🏿 👨🏿‍🚀 वॉटरिर: जटिल साइटों की आसान पार्सिंग 🤚🏾 👯 🤦

हर कोई जो पार्सर लिखता है, वह जानता है कि आप एक सौ साइटों को पार्स कर सकते हैं, और एक सौ और पहले कुछ दिनों के लिए अटक जाते हैं। अगले फ्रॉस्टबनेट साइट की संरचना मनमाने ढंग से जटिल हो सकती है, और जब बात आती है javascripts और ajax रिक्वेस्ट की, तो उन्हें डिक्रिप्ट करना और रेगुलर कर्ल और regexp का उपयोग करके जानकारी निकालना स्वयं सूचना से अधिक महंगा हो जाता है।

मोटे तौर पर, समस्या यह है कि जावास्क्रिप्ट ब्राउज़र में चल रहा है, लेकिन सर्वर पर नहीं। आपको सर्वर भाषा ( jParser और jTokenizer ) में से किसी एक में js दुभाषिया लिखना होगा, या सर्वर पर एक ब्राउज़र डालना होगा, इसके लिए अनुरोध भेजना होगा और अंतिम डोम-ट्री को बाहर निकालना होगा।

प्राचीन समय में, ऐसे मामलों में, हमने अपनी बाइक का निर्माण किया: हमने एक अलग मशीन पर एक ब्राउज़र लॉन्च किया, इसमें js कि सर्वर पर लगातार खटखटाया और इससे (नौकरी) नौकरी प्राप्त की, साइट स्वयं एक iframe में लोड की गई थी, और स्क्रिप्ट को iframe डोम ट्री वापस भेजा गया सर्वर।

अब अधिक उन्नत उपकरण हैं - ज़ुल्नर ( क्रॉबर ) और वतिर । पहला है हेडलेस फायरफॉक्स। क्रॉबर में आवश्यक डेटा को नेत्रहीन रूप से हाइलाइट करने के लिए एक ff-plugin भी है, जो एक विशेष पार्सर-js-code उत्पन्न करता है, हालाँकि कुकीज़ वहाँ समर्थित नहीं हैं, लेकिन इसे समाप्त करने के लिए अनिच्छा है। Watir डिबगिंग टूल के रूप में डेवलपर्स द्वारा पोस्ट किया जाता है, लेकिन हम इसका उपयोग अपने इच्छित उद्देश्य के लिए करेंगे और, उदाहरण के लिए, हम travelocity.com से कुछ डेटा प्राप्त करेंगे ।

वाटर एक माणिक रत्न है जिसके माध्यम से यह ब्राउज़र के साथ इंटरैक्ट करता है। विभिन्न प्लेटफार्मों के लिए संस्करण हैं - वातिर, फायरवाइटिर और सफारीविटिर। विस्तृत इंस्टॉलेशन मैनुअल के बावजूद, मुझे विंडोज और ऑबंट दोनों में समस्याएं थीं। विंडोज़ पर (यानी 6) वेटिर रूबी 1.9.1 पर काम नहीं करता है। मुझे संस्करण 1.8.6 स्थापित करना था, फिर इसने काम किया। Ubunt में - FireWatir को काम करने के लिए (या फ़ायरफ़ॉक्स के माध्यम से नियमित रूप से वियर) के लिए, आपको ब्राउज़र में jssh प्लगइन इंस्टॉल करना होगा। लेकिन स्थापना पृष्ठ पर फायरवाइटिर के लिए पेश किए गए संस्करण ने उबंटू 10.04 पर मेरे फायरफॉक्स 3.6 के साथ काम नहीं किया।

यह जांचने के लिए कि क्या jssh आपके लिए काम कर रहा है या नहीं, आपको firefox -jssh

चलाने की आवश्यकता है, और फिर पोर्ट 9997 ( telnet localhost 9997

) पर कुछ भेजें। यदि पोर्ट नहीं खुलता है, या फ़ायरफ़ॉक्स क्रैश हो जाता है (जैसे मेरा), तो आपको अपना jssh बनाने की ज़रूरत है, एक विस्तृत असेंबली इंस्ट्रक्शन यहां है ।

चलिए travelocity.com के साथ एक होटल पार्सर लिखना शुरू करते हैं। उदाहरण के लिए, आइए आज के लिए न्यूयॉर्क, एनवाई, यूएसए के सभी होटलों के कमरों की कीमत चुनें। हम Ubuntu 10.4 पर फ़ायरवाइट के साथ काम करेंगे।

हम ब्राउज़र लॉन्च करते हैं और फॉर्म के साथ पेज लोड करते हैं:

require "rubygems"<br>require "firewatir"<br>ff = FireWatir::Firefox.new<br>ff.goto("http://www.travelocity.com/Hotels")<br>

आवश्यक मूल्यों के साथ फॉर्म भरें और जमा करें:

ff.text_field(:id,"HO_to").val("New York, NY, USA")<br>ff.text_field(:id,"HO_fromdate").val(Time.now.strftime("%m/%d/%Y"))<br>ff.text_field(:id,"HO_todate").val(Time.tomorrow.strftime("%m/%d/%Y"))<br>ff.form(:name,"formHO").submit<br>

हम डाउनलोड समाप्त होने की प्रतीक्षा कर रहे हैं:

ff.wait_until{ff.div(:id,"resultsList").div(:class,"module").exists?} 

Wait_until एक बहुत ही महत्वपूर्ण निर्देश है। फॉर्म जमा करते समय, साइट पर कई रीडायरेक्ट किए जाते हैं, और उसके बाद - अजाक्स अनुरोध। अंतिम पृष्ठ लोड के लिए प्रतीक्षा करना आवश्यक है, और केवल डोम-ट्री के साथ इस काम को पूरा करें। मुझे कैसे पता चलेगा कि किसी पेज ने लोड किया है? आपको यह देखने की आवश्यकता है कि ajax के निष्पादित होने के बाद पृष्ठ पर कौन से तत्व दिखाई देते हैं। हमारे मामले में, /pub/gwt/hotel/esf/hotelresultlist.gwt-rpc के अनुरोध के बाद, कई <div class="module">

तत्व परिणामपेज में दिखाई देते हैं। हम उनके प्रकट होने तक इंतजार करते हैं। मैं ध्यान देता हूं कि कुछ कमांड, उदाहरण के लिए text_field, सबमिट करें, पहले से ही wa_until शामिल हैं, इसलिए यह कमांड उनके सामने आवश्यक नहीं है।

अब पृष्ठ नेविगेशन करें:

while true do<br> ff.wait_until{ff.div(:id,"resultsList").div(:class,"module").exists?}<br> ...<br> next_link = ff.div(:id,"resultcontrol-top").link(:text,"Next")<br> if (next_link.exists?) then next_link.click else break end<br>end<br>

जहां कोड में एक दीर्घवृत्त होता है, वहां डेटा का एक सीधा पुल होता है। वशीर का उपयोग करने का एक प्रलोभन है और इस मामले में, उदाहरण के लिए, सभी कमांड के माध्यम से परिणाम के साथ चलाएं इस आदेश के साथ:

ff.div(:id,"resultsList").divs.each.do |div| if (div.class_name != "module") then next end ... end 

और प्रत्येक दिवा से होटल का नाम और मूल्य निकालें:

m = div.h2(:class,"property-name").html.match(/propertyId=(\d+)[^<>]*>([^<>]*)<\/a[^<>]*>/)<br>data["id"] = m[1] unless m.nil?<br>data["name"] = m[2] unless m.nil?<br>data["price"] = div.h3(:class,"price").text<br>

लेकिन ऐसा नहीं किया जाना चाहिए। डोम ट्री के तत्वों के लिए प्रत्येक वॉटरिर कमांड ब्राउज़र के लिए एक अतिरिक्त अनुरोध है। यह मेरे लिए लगभग एक सेकंड का काम करता है। यह एक समय में एक ही सेकंड में पूरे डोम को बाहर निकालने के लिए बहुत अधिक कुशल है और तुरंत इसे नियमित रूप से पार्स करता है:

ff.div(:id,"resultsList").html.split(/<div[^<>]*class\s*=\s*["']?module["']?[^<>]*>/).each do |str|<br>m = str.match(/<a[^<>]*propertyId=(\d+)[^<>]*>([\s\S]*?)<\/a[^<>]*>/)<br> data["id"] = m[1] unless m.nil?<br> data["name"] = m[2] unless m.nil?<br> m = str.match(/<h3[^<>]*class\s*=\s*["']?price["']?[^<>]*>([\s\S]*?)<\/h3[^<>]*>/)<br> data["price"] = m[1] unless m.nil?<br>end<br>

मैं आपको सलाह देता हूं कि जहां आवश्यक हो, केवल वॉट का उपयोग करें। फ़ॉर्म भरना और सबमिट करना, js कोड निष्पादित करने के लिए ब्राउज़र की प्रतीक्षा करना और फिर अंतिम HTML कोड प्राप्त करना। हां, वियर के माध्यम से एलीमेंट एलिमेंट वैल्यू एक डोम स्ट्रक्चर के बिना कोड स्ट्रीम को पार्स करने से ज्यादा विश्वसनीय लगता है। कुछ दिवा के अंदर बाहर खींचने के लिए, जिसके अंदर अन्य दिवा हो सकते हैं, आपको नियमित अभिव्यक्ति को पढ़ने के लिए एक कठिन लिखने की आवश्यकता है। लेकिन फिर भी यह बहुत तेज है। यदि ऐसे कई दिवस हैं, तो टैग के लिए घोंसले के स्तर में सभी कोड को तोड़ने के लिए एक सरल पुनरावर्ती फ़ंक्शन का उपयोग करना सबसे सरल समाधान है। मैंने php में अपनी एक कक्षा में ऐसी बात लिखी थी।

वॉटरिर: जटिल साइटों की आसान पार्सिंग

More articles: