ब्लेकको इन्फ्रास्ट्रक्चर: 800 सर्वर, अपने स्वयं के क्रॉलर और पर्ल मॉड्यूल

नए खोज इंजन ब्लेकोको ने डेढ़ महीने पहले काम शुरू किया और विशेषज्ञों का ध्यान आकर्षित किया। न केवल अभिनव इंटरफ़ेस और स्लैश टैग के लिए धन्यवाद, बल्कि सिद्धांत रूप में, अभी भी हमारे समय में एक नए सामान्य खोज इंजन का प्रक्षेपण एक दुर्लभ वस्तु है। कुछ ने Google के साथ प्रतिस्पर्धा करने का साहस किया। अन्य बातों के अलावा, इसके लिए काफी वित्तीय इंजेक्शनों की आवश्यकता होती है।



आइए देखते हैं कि ब्लेकको इंफ्रास्ट्रक्चर क्या है, जिसके बारे में विस्तार से वर्णन किया गया है। सीईओ रिचर्ड स्केर्ता और सीटीओ ग्रेग लिंडहल ।



ब्लेकोको डेटा सेंटर में लगभग 800 सर्वर हैं, जिनमें से प्रत्येक में 64 जीबी रैम और आठ टेराबाइट एसएटीए डिस्क हैं। RAID अतिरेक प्रणाली का उपयोग बिल्कुल नहीं किया जाता है, क्योंकि RAID नियंत्रक प्रदर्शन (800 एमबी / एस से आठ ड्राइव के लिए 300-350 एमबी / एस तक) को बहुत कम कर देते हैं।



डेटा हानि से बचने के लिए, डेवलपर्स पूरी तरह से विकेंद्रीकृत वास्तुकला और कई असामान्य चाल का उपयोग करते हैं।



सबसे पहले, उन्होंने "खोज मॉड्यूल" विकसित किया, जो एक साथ क्रॉलिंग, विश्लेषण और खोज परिणामों के कार्यों को मिलाते हैं। इसके कारण, उनके 800 सर्वरों के क्लस्टर में, पूर्ण विकेंद्रीकरण बना हुआ है। सभी सर्वर बराबर हैं, कोई समर्पित विशेष क्लस्टर नहीं हैं, उदाहरण के लिए, क्रॉलिंग के लिए।



विकेन्द्रीकृत नेटवर्क विनिमय डेटा में सर्वर, इसलिए प्रत्येक क्षण में सूचना ब्लॉक की एक प्रति तीन मशीनों पर निहित होती है। जैसे ही डिस्क या सर्वर विफल हो जाता है, अन्य सर्वर तुरंत इस पर ध्यान देते हैं और "कीटाणुशोधन" की प्रक्रिया शुरू करते हैं, अर्थात, खोए हुए सिस्टम से अतिरिक्त डेटा प्रतिकृति। Skrenta के अनुसार ऐसा दृष्टिकोण, RAID की तुलना में अधिक कुशल है।



यदि डिस्क विफल हो जाती है, तो इंजीनियर डेटा सेंटर में जाता है और इसे बदल देता है। लगभग 6400 के डिस्क की संख्या के साथ, ड्यूटी पर प्रवेश करने वालों को शायद ज्यादा सोना नहीं पड़ता है।



इंडेक्स में कुल 3 बिलियन डॉक्यूमेंट के साथ सर्वर प्रति दिन 200 मिलियन वेब पेजों को इंडेक्स करता है। लोकप्रिय समाचार साइटों के 14 दिनों के मुख्य पृष्ठों के लिए अद्यतन आवृत्ति कई मिनटों से होती है। खोज परिणामों में इस पैरामीटर को स्पष्ट रूप से प्रदर्शित किया जाता है: / दिनांक स्लैश टैग दिखाता है कि कौन से पृष्ठ अंतिम और कितने सेकंड पहले अनुक्रमित किए गए थे।







आप पृष्ठ को ताज़ा कर सकते हैं और क्रॉलर को देख सकते हैं। यह देखा जा सकता है कि नई सामग्री का जोड़ सेकंड के एक मामले के अंतराल पर होता है। यहां तक ​​कि Google कैफीन भी ऐसी गति प्रदान नहीं करता है।



तकनीकी दृष्टिकोण से, वे MapReduce के ऐसे कार्यान्वयन को बनाने में कामयाब रहे जो छोटे पुनरावृत्तियों में काम करता है और प्रत्येक पुनरावृत्ति को तुरंत प्रदर्शित करता है। यह देखा जा सकता है यदि आप एसईओ-पृष्ठ को ताज़ा करते हैं, जो प्रत्येक खोज परिणाम से जुड़ा हुआ है।







इस तरह के एक असाधारण समाधान की सफलता का रहस्य पर्ल है। डेवलपर्स का कहना है कि वे अपनी पसंद से बेहद खुश हैं, CPAN लाइब्रेरी में हर स्वाद के लिए मॉड्यूल हैं, और प्रत्येक मशीन पर 200 से अधिक मॉड्यूल स्थापित हैं। CentOS सर्वर पर स्थापित है, और चूंकि वे सभी समान हैं, आप एक समान वितरण का उपयोग कर सकते हैं।