सेंट के एक जोड़े के लिए क्लाउड (क्लस्टर) होस्टिंग कैसे करें

तीन साल पहले मेरा एक दिलचस्प काम था। यह एक मंच को इकट्ठा करने के लिए आवश्यक था, जो एलएएमपी प्लेटफॉर्म के लिए लिखी गई साइटों के बीच संसाधनों के गतिशील वितरण के लिए, सर्वरों के साथ कई रैक को एक पूरे में मिला देता है। इसके अलावा, ताकि साइटों के कोड में हस्तक्षेप न्यूनतम हो, और इससे भी बेहतर - आम तौर पर अनुपस्थित है।

इसी समय, सिस्को कंटेंट स्विच या ऑप्टिकल फाइबर डिस्क शेल्फ जैसे कोई महंगे समाधान का उपयोग नहीं किया जा सकता है - पर्याप्त बजट नहीं था।

और इसके अलावा, ज़ाहिर है, सर्वरों में से एक की विफलता की स्थिति में, इससे प्लेटफ़ॉर्म के संचालन को प्रभावित नहीं होना चाहिए।

चालाक के आविष्कार के लिए लक्ष्य

सबसे पहले, आपको मंच के निर्माण को उप-मुखौटे में विभाजित करने की आवश्यकता है। यह तुरंत स्पष्ट है कि आपको डेटा को सिंक्रनाइज़ करने के लिए कुछ करना होगा, क्योंकि साझा डिस्क उपलब्ध नहीं है। इसके अलावा, आपको ट्रैफ़िक को संतुलित करने और उस पर कुछ आंकड़े रखने की आवश्यकता है। और अंत में, आवश्यक संसाधनों के प्रावधान का स्वचालन भी एक गंभीर कार्य है।

चलो शुरू से शुरू करते हैं, केओ को मेरे साथ आने दो

मेरे पास मंच को व्यवस्थित करने का एक विकल्प था। ये OpenVZ और XEN हैं। प्रत्येक के पास इसके पेशेवरों और विपक्ष हैं। OpenVZ में एक छोटा ओवरहेड है, यह फाइलों के साथ काम करता है और उपकरणों को अवरुद्ध नहीं करता है, लेकिन यह नहीं जानता कि लिनक्स वितरण के अलावा कुछ भी कैसे चलाया जाए। एक्सईएन आपको विंडोज शुरू करने की अनुमति देता है, लेकिन इसके साथ काम करना अधिक कठिन है। मैंने OpenVZ का उपयोग किया, क्योंकि यह समस्या को हल करने के लिए अधिक उपयुक्त था, लेकिन कोई भी आपको विकल्प में सीमित नहीं करता है।



फिर मैंने सर्वर को VDS के तहत स्थानों में विभाजित किया, प्रत्येक कोर के लिए एक। सर्वर अलग थे, इसलिए मेरे पास प्रत्येक सर्वर पर 2 से 16 वर्चुअल मशीनों का एक सेट था। "औसत वार्ड" में ~ 150 आभासी मशीनें प्रति रैक जारी की गईं।

डेटा सिंक कैसे करें

अगले आइटम किसी भी सर्वर को नुकसान के खिलाफ मांग + सुरक्षा पर VDS का तेजी से निर्माण है। समाधान सरल और सुंदर था।

प्रत्येक VDS के लिए, LVM सेक्शन पर फ़ाइलों के रूप में एक प्रारंभिक छवि बनाई जाती है। यह छवि सभी प्लेटफ़ॉर्म सर्वरों पर "फैलती है"। नतीजतन, हमारे पास प्रत्येक सर्वर पर सभी परियोजनाओं का बैकअप होता है (भावनाएं रोती हैं), और छवि से स्नैपशॉट बनाने के लिए और इसे VDS के रूप में शुरू करने के लिए "मांग पर" एक नया वीडीएस "मांग" को सरल बनाया गया था (यह सचमुच कुछ सेकंड लगता है)।

आधार और एपीआई

यदि फ़ाइलों की अखंडता सरल थी, तो डेटाबेस के सिंक्रनाइज़ेशन के साथ स्थिति बदतर थी। शुरुआत से, मैंने क्लासिक उदाहरण की कोशिश की - मास्टर-स्लेव, और क्लासिक समस्या में भाग गया: दास मास्टर के पीछे पिछड़ गया (हाँ, और एक धागे की नकल करने के लिए धन्यवाद, बहुत बहुत धन्यवाद)।

अगला कदम था मैसकल-प्रॉक्सी। एक सिस्टम एडमिनिस्ट्रेटर के रूप में, मेरे लिए एक समान समाधान बहुत सुविधाजनक था - मैं सेट और भूल जाता हूं, नए टीडीएस को जोड़ते / हटाते समय केवल कॉन्फ़िगरेशन को अपडेट करने की आवश्यकता होती है। लेकिन डेवलपर्स की अपनी राय थी। विशेष रूप से, लुसा सीखने की तुलना में INSERT / UPDATE / DELETE प्रश्नों को सिंक्रनाइज़ करने के लिए एक निश्चित PHP वर्ग लिखना आसान है, जिसके बिना मैसकल-प्रॉक्सी बेकार है।

उनके काम का परिणाम तथाकथित एपीआई था, जो एक प्रसारण अनुरोध के साथ पड़ोसियों को खोजने में सक्षम था, वर्तमान स्थिति को सिंक्रनाइज़ करता है और डेटाबेस में सभी परिवर्तनों के बारे में पड़ोसियों को सूचित करता है।

लेकिन Lua का अध्ययन करना और सभी अनुरोधों को पड़ोसियों के साथ सिंक्रनाइज़ किए जाने पर एक देशी मोड बनाना सार्थक है।

FreeBSD की जय

Balancer मंच का एक महत्वपूर्ण पहलू है। यदि संतुलन सर्वर क्रैश हो जाता है, तो सभी काम का कोई मतलब नहीं होगा।

इसलिए मैंने CARP का उपयोग एक असफल-सुरक्षित बैलेंसर बनाने के लिए किया, FreeBSD को OS के रूप में और Nginx को बैलेंसर के रूप में चुनना।

हां, FreeBSD के साथ दो कमजोर मशीनों द्वारा प्रतिस्थापित किया गया है महंगी एनएलबी (विपणक उग्र हैं)।

और सबसे महत्वपूर्ण बात, यह कैसे काम किया

मंच की शुरुआत में, प्रत्येक साइट के लिए एक प्रति लॉन्च की गई थी और यह सुनिश्चित करने के लिए कि प्राथमिक प्रतिलिपि हमेशा काम करती है, मोनिट ने बैलेंसर पर निगरानी रखी।

इसके अलावा, अवनस्टस सांख्यिकी विश्लेषक बैलेंसर पर स्थापित किया गया था, जो एक सुविधाजनक प्रारूप में सभी लॉग प्रदान करता था, और सबसे महत्वपूर्ण बात - एक ऐसी स्क्रिप्ट थी जो प्रत्येक VDS को SNMP के माध्यम से उसके लोड के लिए सर्वेक्षण करती है।

जैसा कि हम याद करते हैं, मैंने प्रत्येक VDS के लिए एक कोर आवंटित किया है, इसलिए लोड औसत 1 - यह VDS के लिए एक सामान्य भार होगा। यदि LA 2 या अधिक था, तो एक स्क्रिप्ट चलाई गई थी जिसने एक यादृच्छिक सर्वर पर VDS की एक प्रति बनाई थी और इसे अपस्ट्रीम nginx में पंजीकृत किया था। और जब अतिरिक्त VDS पर लोड 1 से कम हो गया - तदनुसार, सब कुछ हटा दिया गया था।

मैं संक्षेप में बताता हूं

यदि आप सर्वर के साथ रैक लेते हैं और CARP प्रोटोकॉल का समर्थन करते हैं, तो क्लाउड होस्टिंग बनाने के लिए आपको आवश्यकता होगी:

• लुआ का अन्वेषण करें और मैसूर-प्रॉक्सी के माध्यम से पारदर्शी तुल्यकालन को कॉन्फ़िगर करें
• VDS और ट्रैफ़िक की अतिरिक्त प्रतियों के लिए खाता पेंच करें
• VDS के प्रबंधन के लिए एक वेब इंटरफ़ेस लिखें

* चार शून्य के साथ राशि रैक भरने के लिए पर्याप्त है। उन ब्रांडों के समाधानों की तुलना में जहां एक रैक की कीमत छह शून्य के साथ है, यह वास्तव में कोप्पेक का एक जोड़ा है।