🧕 🧣 📼 एसिंक्रोनस वेब-माइनिंग नोड.जेएस का उपयोग कर 🥜 🧑‍🤝‍🧑 ⚾️

मैं वेब-माइनिंग की समस्या को हल करने में अपना अनुभव साझा करना चाहता हूं: संसाधनों की एक विशिष्ट सूची से कुछ जानकारी एकत्र करना। मैं तुरंत ध्यान देना चाहूंगा कि यह आपका "खोज इंजन" बनाने का प्रयास नहीं है - इसके लिए पूरी तरह से अलग दृष्टिकोण का उपयोग किया जाता है। वेब माइनिंग का लक्ष्य कुछ जानकारियों को बाहर निकालना है। उदाहरण के लिए, यदि कोई संसाधन "व्यवसाय कार्ड", आदि के रूप में माइक्रोफ़ॉर्मेट्स का समर्थन करता है।

अब कार्यान्वयन के बारे में: बिलकुल नोड.जेएस क्यों? वास्तव में, मुझे किसी भी विशेष तकनीक पर कोई प्रतिबंध नहीं था - आप जावा / .NET से पर्ल / पायथन तक सी ++ से सब कुछ उपयोग कर सकते हैं। मैं बताता हूँ कि मैंने नोड क्यों चुना है। js:

अतुल्यकालिक IO संचालन। हालांकि अन्य भाषाओं में एसिंक्रोनसी को व्यवस्थित करना संभव है, और कभी-कभी यह बहुत ही सरल है - एफ # में एक एसिंक्स ब्लॉक है, लेकिन नोड.जेएस बॉक्स से बाहर अतुल्यकालिक है और संचालन करने के लिए पसंदीदा तरीका है।
कम से कम बेमानी निर्माण के साथ सबसे परिचित वाक्यविन्यास। बेशक, आइटम "समग्र" है, लेकिन वास्तव में जावास्क्रिप्ट उन लोगों के करीब है जिन्होंने एफ # या पायथन की तुलना में सी / सी ++, जावा, सी # का उपयोग किया था।
अतिरिक्त मॉड्यूल स्थापित करने की आवश्यकता के बिना http क्लाइंट और "बॉक्स से बाहर" नियमित अभिव्यक्ति के लिए समर्थन।
निष्पादन की गति। यद्यपि V8 में "कमजोर" बिंदु - संदर्भ स्विचिंग है, लेकिन इस कार्य के लिए यह "संकीर्ण गर्दन" नहीं होना चाहिए और "रैखिक" गति अधिक महत्वपूर्ण है। और V8 सिर्फ यह दावा करता है (संख्या में इस बिंदु को साबित करने के लिए एनबी एक बेंचमार्क बनाता है)।

नोड स्थापित करें ।js

मेरे सर्वर पर स्थापना (FreeBSD, amd64) सुचारू रूप से अधिक चली गई - "सीडी / यूएसआर / पोर्ट / www / नोड; स्थापित करें" और नोड.जेएस उपयोग करने के लिए तैयार है।

विंडोज प्लेटफॉर्म के लिए, सबसे सुलभ इंस्टॉलेशन विकल्प साइबरविन के माध्यम से है। मुझे एक अच्छा निर्देश नहीं मिला, हालाँकि मैं .NET द्वारा पूरी तरह से नोड के कार्यान्वयन के लिए आया था।

उबंटू के लिए, यह बिना किसी समस्या के भी किया जाता है - उदाहरण के लिए, एक अच्छा निर्देश ।

इसके अलावा एक बहुत अच्छा मैनुअल पढ़ना। हालांकि मैनुअल वास्तव में बहुत सुंदर लग रहा है, यह केवल मूल तत्वों को शामिल करता है, और जब मैं चाहता था कि मेरा वेब खान अधिकांश कक्षाओं की तरह हो और घटनाओं को ट्रिगर करने में सक्षम हो, तो यह पता चला कि इस मैनुअल का बिल्कुल भी वर्णन नहीं किया गया था। लेकिन उस पर और बाद में।

पेज अनलोडर

Http.Client पर एक उदाहरण लेते हुए और संपूर्ण दस्तावेज़ को लोड करने, url को पार्स करने और वांछित अनुरोध को संकलित करने के लिए प्रतीक्षा करने के बाद, हम निम्नलिखित "वर्ग" के साथ आए:

 var webDownloader = function (sourceUrl) {<br> 
      

        
        
        
      

     events.EventEmitter.call( this );<br> 
      

        
        
        
      

     this .load = function (sourceUrl) {<br> 
      

        
        
        
      

     var src = url.parse(sourceUrl);<br> 
      

        
        
        
      

     var webClient = http.createClient(src.port==undefined?80:src.port,src.hostname);<br> 
      

        
        
        
      

     var get = src.pathname+(src.search==undefined? '' :src.search);<br> 
      

        
        
        
      

     sys.log( 'loading ' +src.href);<br> 
      

        
        
        
      

     var request = webClient.request( 'GET' , get ,<br> 
      

        
        
        
      

     { 'host' : src.hostname});<br> 
      

        
        
        
      

     request.end();<br> 
      

        
        
        
      

     var miner = this ;<br> 
      

        
        
        
      

     request.on( 'response' , function (response) {<br> 
      

        
        
        
      

     //     console.log('STATUS: ' + response.statusCode); <br> 
      

        
        
        
      

     //     console.log('HEADERS: ' + JSON.stringify(response.headers)); <br> 
      

        
        
        
      

     response.setEncoding( 'utf8' );<br> 
      

        
        
        
      

     var body = '' ;<br> 
      

        
        
        
      

     response.on( 'data' , function (chunk) {<br> 
      

        
        
        
      

     body += chunk;<br> 
      

        
        
        
      

     });<br> 
      

        
        
        
      

     response.on( 'end' , function () {<br> 
      

        
        
        
      

     miner.emit( 'page' ,body, src);<br> 
      

        
        
        
      

     });<br> 
      

        
        
        
      

     });<br> 
      

        
        
        
      

     };<br> 
      

        
        
        
      

     }<br> 
      

        
        
        
      

     sys.inherits(webDownloader, events.EventEmitter); <br> 
      

        
        
        
      

     <br> 
      

        
        
        
      

     * This source code was highlighted with Source Code Highlighter .

var webDownloader = function (sourceUrl) { events.EventEmitter.call( this ); this .load = function (sourceUrl) { var src = url.parse(sourceUrl); var webClient = http.createClient(src.port==undefined?80:src.port,src.hostname); var get = src.pathname+(src.search==undefined? '' :src.search); sys.log( 'loading ' +src.href); var request = webClient.request( 'GET' , get , { 'host' : src.hostname}); request.end(); var miner = this ; request.on( 'response' , function (response) { // console.log('STATUS: ' + response.statusCode); // console.log('HEADERS: ' + JSON.stringify(response.headers)); response.setEncoding( 'utf8' ); var body = '' ; response.on( 'data' , function (chunk) { body += chunk; }); response.on( 'end' , function () { miner.emit( 'page' ,body, src); }); }); }; } sys.inherits(webDownloader, events.EventEmitter); * This source code was highlighted with Source Code Highlighter .

 var webDownloader = function (sourceUrl) {<br> 
      

        
        
        
      

     events.EventEmitter.call( this );<br> 
      

        
        
        
      

     this .load = function (sourceUrl) {<br> 
      

        
        
        
      

     var src = url.parse(sourceUrl);<br> 
      

        
        
        
      

     var webClient = http.createClient(src.port==undefined?80:src.port,src.hostname);<br> 
      

        
        
        
      

     var get = src.pathname+(src.search==undefined? '' :src.search);<br> 
      

        
        
        
      

     sys.log( 'loading ' +src.href);<br> 
      

        
        
        
      

     var request = webClient.request( 'GET' , get ,<br> 
      

        
        
        
      

     { 'host' : src.hostname});<br> 
      

        
        
        
      

     request.end();<br> 
      

        
        
        
      

     var miner = this ;<br> 
      

        
        
        
      

     request.on( 'response' , function (response) {<br> 
      

        
        
        
      

     //     console.log('STATUS: ' + response.statusCode); <br> 
      

        
        
        
      

     //     console.log('HEADERS: ' + JSON.stringify(response.headers)); <br> 
      

        
        
        
      

     response.setEncoding( 'utf8' );<br> 
      

        
        
        
      

     var body = '' ;<br> 
      

        
        
        
      

     response.on( 'data' , function (chunk) {<br> 
      

        
        
        
      

     body += chunk;<br> 
      

        
        
        
      

     });<br> 
      

        
        
        
      

     response.on( 'end' , function () {<br> 
      

        
        
        
      

     miner.emit( 'page' ,body, src);<br> 
      

        
        
        
      

     });<br> 
      

        
        
        
      

     });<br> 
      

        
        
        
      

     };<br> 
      

        
        
        
      

     }<br> 
      

        
        
        
      

     sys.inherits(webDownloader, events.EventEmitter); <br> 
      

        
        
        
      

     <br> 
      

        
        
        
      

     * This source code was highlighted with Source Code Highlighter .

यहां दिलचस्प यह है कि घटनाओं के स्रोत के रूप में कक्षा को कैसे पंजीकृत किया जाता है:

सबसे पहले, हम कंस्ट्रक्टर में EventEmitter के साथ पंजीकरण करते हैं: घटनाओं। EventEmitter.call (यह);
"इनहेरिट" EventEmitter से एक वर्ग
"एमिट" ईमित्र विधि का उपयोग करके एक घटना

यह EventEmitter के साथ काम करता है जो अभी भी खराब दस्तावेज है, इसलिए मुझे थोड़ा सा Google करना पड़ा।

अब हम पूर्ण पृष्ठ लोड घटना की सदस्यता ले सकते हैं:

var loader = new webDownloader();<br> 
      

        
        
        
      

     loader.on('page',vcardSearch);

VCard डेटा खोजें

अब एक कम दिलचस्प फ़ंक्शन जो पृष्ठ से vCard डेटा खींचता है। मैं सही कार्यान्वयन पर बहुत समय खर्च नहीं करना चाहता था, इसलिए मैंने इसे "माथे" किया - सही वर्गों के साथ तत्वों की खोज।

पृष्ठ को पार्स करने के लिए खुबानी मॉड्यूल के उपयोग के अलावा यहां कुछ भी विशेष रूप से दिलचस्प नहीं है (हालांकि यह htmlparser का उपयोग करने के लिए वास्तव में पर्याप्त होगा, लेकिन खुबानी ने मुझे बहुत तेज कर दिया)। पहले तो मैंने आवश्यक तत्वों की खोज करने के लिए एक सीएसएस चयनकर्ता का निर्माण करने की कोशिश की और खुबानी के खोज फ़ंक्शन का उपयोग किया (जो बदले में, खोज करने के लिए सिज़ल का उपयोग करता है), लेकिन जैसा कि यह निकला, सभी तत्वों का पुनरावर्ती ट्रैवर्स तेज है।

परिणामस्वरूप, हमें एक ऐसा कार्य मिला:

 var vcardSearch = function (body,src) {<br> 
      

        
        
        
      

     sys.log( 'scaning ' +src.href);;<br> 
      

        
        
        
      

     Apricot.parse(body, function (doc) {<br> 
      

        
        
        
      

     var vcardClasses = [<br> 
      

        
        
        
      

     // required <br> 
      

        
        
        
      

     'fn' ,<br> 
      

        
        
        
      

     'family-name' , 'given-name' , 'additional-name' , 'honorific-prefix' , 'honorific-suffix' ,<br> 
      

        
        
        
      

     'nickname' ,<br> 
      

        
        
        
      

     // optional <br> 
      

        
        
        
      

     'adr' , 'contact' ,<br> 
      

        
        
        
      

     'email' ,<br> 
      

        
        
        
      

     'post-office-box' , 'extended-address' , 'street-address' , 'locality' , 'region' , 'postal-code' , 'country-name' ,<br> 
      

        
        
        
      

     'bday' , 'email' , 'logo' , 'org' , 'photo' , 'tel' <br> 
      

        
        
        
      

     ];<br> 
      

        
        
        
      

     var vcard = new vCard();<br> 
      

        
        
        
      

     var scanElement = function (el) {<br> 
      

        
        
        
      

     if (el==undefined) return ;<br> 
      

        
        
        
      

     <br> 
      

        
        
        
      

     if (el.className != undefined && el.className!= '' ) {<br> 
      

        
        
        
      

     var classes = el.className.split( ' ' );<br> 
      

        
        
        
      

     for ( var n in classes) {<br> 
      

        
        
        
      

     if (vcardClasses.indexOf(classes[n])>=0) {<br> 
      

        
        
        
      

     var value = el.text.trim().replace(/<\/?[^>]+(>|$)/g, '' );<br> 
      

        
        
        
      

     if (value != '' ) vcard.Values[classes[n]] = value;<br> 
      

        
        
        
      

     }<br> 
      

        
        
        
      

     }<br> 
      

        
        
        
      

     }<br> 
      

        
        
        
      

     for ( var i in el.childNodes) scanElement(el.childNodes[i]);<br> 
      

        
        
        
      

     }<br> 
      

        
        
        
      

     scanElement(doc. document .body);<br> 
      

        
        
        
      

     if (!vcard.isEmpty())<br> 
      

        
        
        
      

     sys.log( 'vCard = ' +vcard.toString());<br> 
      

        
        
        
      

     else <br> 
      

        
        
        
      

     sys.log( 'no vCard found on ' +src.href);<br> 
      

        
        
        
      

     });<br> 
      

        
        
        
      

     } <br> 
      

        
        
        
      

     <br> 
      

        
        
        
      

     * This source code was highlighted with Source Code Highlighter .

var vcardSearch = function (body,src) { sys.log( 'scaning ' +src.href);; Apricot.parse(body, function (doc) { var vcardClasses = [ // required 'fn' , 'family-name' , 'given-name' , 'additional-name' , 'honorific-prefix' , 'honorific-suffix' , 'nickname' , // optional 'adr' , 'contact' , 'email' , 'post-office-box' , 'extended-address' , 'street-address' , 'locality' , 'region' , 'postal-code' , 'country-name' , 'bday' , 'email' , 'logo' , 'org' , 'photo' , 'tel' ]; var vcard = new vCard(); var scanElement = function (el) { if (el==undefined) return ; if (el.className != undefined && el.className!= '' ) { var classes = el.className.split( ' ' ); for ( var n in classes) { if (vcardClasses.indexOf(classes[n])>=0) { var value = el.text.trim().replace(/<\/?[^>]+(>|$)/g, '' ); if (value != '' ) vcard.Values[classes[n]] = value; } } } for ( var i in el.childNodes) scanElement(el.childNodes[i]); } scanElement(doc. document .body); if (!vcard.isEmpty()) sys.log( 'vCard = ' +vcard.toString()); else sys.log( 'no vCard found on ' +src.href); }); } * This source code was highlighted with Source Code Highlighter .

परिणाम

परिणाम का उपयोग करना सरल है:

loader.load('http://www.google.com/profiles/olostan');<br> 
      

        
        
        
      

     loader.load('http://www.flickr.com/people/olostan/');<br>

मैं तुरंत कहना चाहता हूं कि यह एक छोटे से गंभीर उत्पाद के रूप में एक अंत के रूप में कल्पना नहीं की गई थी, बल्कि एक सबूत के रूप में और नोड महसूस करने के लिए।

पूर्ण कोड (Google डॉक्स पर अपलोड किया गया, Google खाते की आवश्यकता हो सकती है)

PS यह सैंडबॉक्स में मेरे पोस्ट का एक रिपॉस्ट है। अगर यह स्वीकार नहीं किया जाता है तो मैं माफी चाहता हूं, लेकिन यह टिप्पणी सुनना दिलचस्प होगा। धन्यवाद रोमचेव को आमंत्रित करने के लिए। विषयगत ब्लॉग पर पोस्ट करने से कर्म की कमी होती है।

एसिंक्रोनस वेब-माइनिंग नोड.जेएस का उपयोग कर

नोड स्थापित करें ।js

पेज अनलोडर

VCard डेटा खोजें

परिणाम

More articles: