बिग प्रोजेक्ट आर्किटेक्चर: फेसबुक

बिग प्रोजेक्ट आर्किटेक्चर: फेसबुक

जिस स्तर पर फेसबुक संचालित होता है, आयोजन वेबसाइटों के लिए पारंपरिक दृष्टिकोण बिल्कुल भी काम नहीं करता है या कम से कम, उचित प्रदर्शन प्रदान नहीं करता है। लगभग आधे बिलियन सक्रिय उपयोगकर्ताओं के साथ साइट के प्रदर्शन को बनाए रखने की आवश्यकता से परियोजना की विशाल उपस्थिति ने फेसबुक इंजीनियरों को चुनौती दी। इस लेख में उन सॉफ्टवेयर और तकनीकों का वर्णन किया गया है जिन्होंने इसे संभव बनाया है।

कार्य

• Facebook के लगभग 570 बिलियन मासिक विचार हैं (Google विज्ञापन नियोजक के अनुसार)
• संयुक्त रूप से अन्य सभी छवि साझाकरण सेवाओं की तुलना में फ़ेसबुक पर अपलोड किए गए हैं (फ़्लिकर जैसी साइटें)
• फेसबुक सर्वर पर हर महीने तीन बिलियन से अधिक तस्वीरें अपलोड की जाती हैं।
• फेसबुक सर्वर प्रति सेकंड लगभग 1.2 मिलियन तस्वीरें अपलोड करता है (फेसबुक सामग्री वितरण नेटवर्क द्वारा प्रस्तुत तस्वीरों को छोड़कर)
• हर महीने, उपयोगकर्ता 25 बिलियन से अधिक सूचनाओं (स्टेटस अपडेट, कमेंट्री आदि) का आदान-प्रदान करते हैं।
• मई 2010 तक, फेसबुक परियोजना में 30,000 से अधिक ऑनलाइन सर्वर थे

फेसबुक सॉफ्टवेयर

कुछ मायनों में, फेसबुक अभी भी एलएएमपी स्टैक पर चल रहा है, लेकिन परियोजना के आकार को कई अन्य तत्वों और सेवाओं की शुरूआत की आवश्यकता थी। साथ ही मौजूदा लोगों के लिए परिवर्तन। उदाहरण के लिए:

• फ़ेसबुक अभी भी PHP का उपयोग करता है, लेकिन निष्पादन से पहले, स्क्रिप्ट्स को प्रोसेसर के मूल कोड में संकलित किया जाता है, इस प्रकार यह काम को तेज करता है
• फेसबुक सर्वर लिनक्स पर चलते हैं, लेकिन लिनक्स कोड को अनुकूलित किया गया है (मुख्यतः इसके नेटवर्क भाग में)
• फेसबुक MySQL का उपयोग करता है, लेकिन मुख्य रूप से एक कुंजी-मूल्य स्टोर के रूप में। सभी डेटा कनेक्शन और व्यावसायिक तर्क को स्क्रिप्ट स्तर पर ले जाया जाता है, क्योंकि ऑप्टिमाइज़ेशन को निष्पादित करना बहुत आसान है (मेमॉश्ड स्तर के दूसरी तरफ)

परियोजना में स्क्रैच से लिखे सिस्टम हैं। उदाहरण के लिए, हेडस्टैक एक अत्यधिक स्केलेबल ऑब्जेक्ट स्टोरेज है जो तस्वीरों को स्टोर करने के लिए उपयोग किया जाता है। Scribe एक अन्य प्रणाली का एक उदाहरण है जो फेसबुक-वाइड लॉगिंग प्रदान करता है।

तो, पहले चीजें पहले।

memcached

Memcached इंटरनेट पर सबसे व्यापक रूप से ज्ञात परियोजनाओं में से एक है। इसकी वितरित सूचना कैशिंग प्रणाली का उपयोग वेब सर्वर और MySQL के बीच एक कैशिंग परत के रूप में किया जाता है (क्योंकि डेटाबेस तक पहुंच अपेक्षाकृत धीमी है)। वर्षों बीत गए और फेसबुक ने मेमकेड कोड और संबंधित सॉफ़्टवेयर (उदाहरण के लिए, नेटवर्क सबसिस्टम का अनुकूलन) में भारी संख्या में संशोधन किए।

फेसबुक के पास किसी भी समय दर्जनों कैश किए गए डेटा के दर्जनों टेराबाइट्स के साथ हजारों मेम्केड सर्वर हैं। यह शायद दुनिया का सबसे बड़ा सरणी Memcached सर्वर है।

PHP के लिए हिपहॉप

PHP, क्योंकि यह एक स्क्रिप्टिंग भाषा है, सर्वर पर निष्पादित मूल प्रोसेसर कोड के साथ तुलना में धीमी है। हिपहॉप PHP स्क्रिप्ट को C ++ सोर्स कोड में कनवर्ट करता है, जो तब अच्छा प्रदर्शन प्रदान करने के लिए संकलित किया जाता है। यह फेसबुक को कम सर्वर से बाहर निकलने की अनुमति देता है, क्योंकि फेसबुक में लगभग हर जगह PHP का उपयोग किया जाता है।

इंजीनियरों का एक छोटा समूह (शुरुआत में केवल तीन थे) ने 18 महीनों में हिपहॉप विकसित किया और अब यह प्रोजेक्ट सर्वर पर काम करता है।

सूखी घास का ढेर

हेडस्टैक एक उच्च-प्रदर्शन फोटो स्टोरेज / रिट्रीवल सिस्टम है (सख्ती से बोलना, हेडस्टैक ऑब्जेक्ट्स के लिए एक स्टोरेज सुविधा है, इसलिए यह केवल फोटो नहीं, बल्कि किसी भी डेटा को स्टोर कर सकता है)। इस प्रणाली में काम करने की एक बड़ी मात्रा है। फ़ेसबुक पर 20 बिलियन से अधिक फ़ोटो अपलोड किए गए हैं और प्रत्येक को चार अलग-अलग प्रस्तावों में सहेजा गया है, जो अंततः हमें 80 बिलियन से अधिक तस्वीरें प्रदान करता है।

हेडस्टैक को न केवल फोटो स्टोर करने में सक्षम होना चाहिए, बल्कि उन्हें बहुत जल्दी देना चाहिए। जैसा कि हमने पहले बताया, फेसबुक प्रति सेकंड 1.2 मिलियन से अधिक तस्वीरें अपलोड करता है। इस संख्या में वे फ़ोटो शामिल नहीं हैं जो फ़ेसबुक सामग्री वितरण प्रणाली द्वारा दिए गए हैं और लगातार बढ़ रहे हैं।

BigPipe

बिगपाइप फेसबुक द्वारा विकसित एक गतिशील वेब पेज डिलीवरी सिस्टम है। यह प्रदर्शन को अनुकूलित करने के लिए प्रत्येक वेब पेज को अनुभागों (पेजलेट्स) कहा जाता है।

उदाहरण के लिए, एक चैट विंडो, समाचार फ़ीड और पृष्ठ के अन्य हिस्सों को अलग से अनुरोध किया जाता है। उन्हें समानांतर में प्राप्त किया जा सकता है, जो उत्पादकता बढ़ाता है और उपयोगकर्ताओं को वेबसाइट का उपयोग करने की अनुमति देता है, भले ही इसका कुछ हिस्सा अक्षम या खराब हो।

कैसेंड्रा

कैसंड्रा एक वितरित दोष सहिष्णु डेटा वेयरहाउस है। यह उन प्रणालियों में से एक है जिसका उल्लेख हमेशा NoSQL के बारे में किया जाता है। कैसंड्रा एक ओपन सोर्स प्रोजेक्ट बन गया और यहां तक ​​कि अपाचे फाउंडेशन की सहायक कंपनी भी बन गई। फेसबुक पर, हम इनबॉक्स को खोजने के लिए इसका उपयोग करते हैं। सिद्धांत रूप में, कई परियोजनाएं इसका उपयोग करती हैं। उदाहरण के लिए, डिग। पीएसडीटी परियोजना में इसका उपयोग करने की योजना है।

मुंशी

Scribe एक सुविधाजनक लॉगिंग सिस्टम है जिसका उपयोग एक साथ कई चीजों के लिए किया जाता है। यह फेसबुक-वाइड लॉगिंग प्रदान करने के लिए डिज़ाइन किया गया था और जैसे ही वे दिखाई देते हैं, नई श्रेणियों की घटनाओं का समर्थन करता है (फेसबुक पर उनमें से सैकड़ों हैं)।

Hadoop और Hive

Hadoop एल्गोरिथ्म का एक ओपन सोर्स मैप-कम कार्यान्वयन है जो आपको भारी मात्रा में डेटा पर गणना करने की अनुमति देता है। फेसबुक पर, हम डेटा का विश्लेषण करने के लिए इसका उपयोग करते हैं (जैसा कि आप जानते हैं, फेसबुक पर उनमें से काफी हैं)। हाइव फेसबुक पर विकसित किया गया था और आपको Hadoop से जानकारी प्राप्त करने के लिए SQL प्रश्नों का उपयोग करने की अनुमति देता है, जो गैर-प्रोग्रामर के काम को सुविधाजनक बनाता है।

Hadoop और Hive दोनों खुले स्रोत हैं और अपाचे फाउंडेशन के तत्वावधान में विकसित किए गए हैं। उनका उपयोग बड़ी संख्या में अन्य परियोजनाओं द्वारा किया जाता है। उदाहरण के लिए, याहू और ट्विटर।

किफ़ायत

फेसबुक सिस्टम के विभिन्न घटकों में विभिन्न प्रोग्रामिंग भाषाओं का उपयोग करता है। PHP का उपयोग फ्रंट-एंड के रूप में किया जाता है, चैट के लिए एर्लैंग, जावा और सी ++ भी बेकार नहीं जाते हैं। थ्रिफ्ट एक क्रॉस-लैंग्वेज फ्रेमवर्क है जो सिस्टम के सभी हिस्सों को एक पूरे में जोड़ता है, जिससे उन्हें एक दूसरे के साथ संवाद करने की अनुमति मिलती है। थ्रिफ़्ट को एक ओपन सोर्स प्रोजेक्ट के रूप में विकसित किया जा रहा है और पहले से ही कुछ अन्य प्रोग्रामिंग भाषाओं के लिए समर्थन जोड़ा गया है।

वार्निश

वार्निश एक HTTP त्वरक है जो लोड बैलेंसर और सामग्री कैश के रूप में काम कर सकता है, जिसे तब उच्च गति पर वितरित किया जा सकता है। फेसबुक प्रति दिन अरबों अनुरोधों के भार को समझते हुए, फ़ोटो और प्रोफ़ाइल चित्र देने के लिए वार्निश का उपयोग करता है। जैसे सब कुछ फेसबुक वार्निश - ओपन सोर्स सॉफ्टवेयर का उपयोग करता है

कुछ और

हमने आपको कुछ सॉफ्टवेयर सिस्टम के बारे में बताया जो फेसबुक को लोड को होल्ड करने की अनुमति देते हैं। लेकिन इतनी बड़ी व्यवस्था को संभालना एक मुश्किल काम है। इसलिए, हम आपको कुछ और बताएंगे जो परियोजना को महत्वपूर्ण रूप से काम करने की अनुमति देता है।

नई सुविधाओं के चरण रिलीज़ और अंतर्निहित सक्रियण

फेसबुक गेटकीपर नामक एक प्रणाली का उपयोग करता है, जो आपको सिस्टम के स्रोत कोड के विभिन्न संस्करणों का उपयोग करके विभिन्न उपयोगकर्ताओं की सेवा करने की अनुमति देता है। यह आपको कदम दर कदम जारी रखने की अनुमति देता है, केवल फेसबुक कर्मचारियों के लिए कुछ फ़ंक्शन सक्रिय करता है, और इसी तरह।

गेटकीपर फेसबुक को प्रदर्शन करने के लिए नई सुविधाओं को सक्रिय रूप से सक्रिय करने की अनुमति देता है, उदाहरण के लिए, तनाव-परीक्षण और धीमी गति से चलने वाले सिस्टम घटकों की पहचान करना। अंतर्निहित सक्रियण में कुछ फ़ंक्शन या विशेषता शामिल हैं, लेकिन उपयोगकर्ता इंटरफ़ेस में यह नहीं दिखाता है। आमतौर पर, उपयोगकर्ताओं को एक नया अवसर प्रदान करने से दो सप्ताह पहले निहित सक्रियण किया जाता है।

सिस्टम प्रदर्शन परीक्षण

फेसबुक सिस्टम के प्रदर्शन की सावधानीपूर्वक निगरानी करता है और, दिलचस्प रूप से, सिस्टम में प्रत्येक PHP फ़ंक्शन के प्रदर्शन की निगरानी करता है। यह XHProf का उपयोग करके प्रदान किया जाता है।

कार्यों का आंशिक समापन

यदि परियोजना धीरे-धीरे काम करना शुरू कर देती है, तो हम कुंजी सिस्टम घटकों के प्रदर्शन को बढ़ाने के लिए कुछ सुविधाओं (पर्याप्त रूप से बड़ी संख्या से) को अक्षम कर सकते हैं।

जो हमने नहीं कहा है

हमने इस लेख में फेसबुक के हार्डवेयर का उल्लेख नहीं किया है, लेकिन निश्चित रूप से, यह स्केलेबल परियोजनाओं के लिए पर्याप्त है। उदाहरण के लिए, फेसबुक अपने स्थिर तत्वों को वितरित करने के लिए एक सामग्री वितरण प्रणाली का उपयोग करता है। बेशक, ओरेगन में अभी भी एक बड़ा डेटा सेंटर है ताकि अधिक सर्वरों को पेश करके स्केलेबिलिटी को बढ़ाया जा सके।

अन्य बातों के अलावा, हमारे पास अभी भी कई तरह के सॉफ्टवेयर काम कर रहे हैं। लेकिन यह हमें लगता है कि हम आपको कुछ दिलचस्प समाधानों के बारे में बताने में सक्षम थे जो परियोजना में शामिल हैं।

फेसबुक को ओपन सोर्स प्रोजेक्ट पसंद हैं

यह लेख पूरा नहीं हुआ होता अगर हमने आपको यह नहीं बताया होता कि फेसबुक ओपन सोर्स प्रोजेक्ट्स को कैसे पसंद करता है या यह कहा जाता है कि "हमें ओपन सोर्स प्रोजेक्ट्स बहुत पसंद हैं"।

फेसबुक न केवल लिनक्स, मेम्केड, MySQL, Hadoop और अन्य जैसी परियोजनाओं के विकास में शामिल है, बल्कि ओपन सोर्स सॉफ्टवेयर के रूप में अपने आंतरिक विकास को भी जारी करता है। उदाहरण के लिए, हिपहॉप, कैसेंड्रा, थ्रिफ्ट, और सीवन। फेसबुक ने टॉरनेडो परियोजना भी शुरू की, टीम द्वारा विकसित एक उच्च-प्रदर्शन ढांचा जिसने फ्रेंडफीड बनाया (यह परियोजना फेसबुक द्वारा अगस्त 2009 में खरीदी गई थी)। उन परियोजनाओं की एक सूची, जिसमें फेसबुक भाग लेता है, इस पृष्ठ पर पाई जा सकती है।

और भी समस्याएँ

फेसबुक जबरदस्त दर से बढ़ रहा है। उपयोगकर्ता आधार लगभग तेजी से बढ़ रहा है और आधे अरब सक्रिय उपयोगकर्ताओं से संपर्क कर रहा है और कौन जानता है कि वर्ष के अंत में क्या होगा। वृद्धि हर छह महीने में लगभग 100 मिलियन उपयोगकर्ता है।

यहां तक ​​कि फेसबुक के पास एक विशेष "विकास" टीम है, जो लगातार परियोजना के दर्शकों का विस्तार करने की कोशिश कर रही है।

निरंतर विकास का मतलब है कि फेसबुक को कई प्रदर्शन चुनौतियों का सामना करना होगा, जो बढ़ती हुई खोजों, विचारों, अपलोड की गई छवियों और इसी तरह की कई चुनौतियों का सामना करेंगे। लेकिन यह सेवा के दैनिक कार्य का हिस्सा है। फेसबुक इंजीनियर प्रोजेक्ट की स्केलेबिलिटी को बढ़ाने के नए तरीकों की तलाश करेंगे (और यह केवल अधिक से अधिक सर्वर को जोड़ने के बारे में नहीं है)। उदाहरण के लिए, फेसबुक फोटो स्टोरेज सिस्टम साइट की वृद्धि के साथ कई बार मेल खाती है।

आइए देखते हैं कि अगली बार फेसबुक इंजीनियर क्या सामना करेंगे। कोई यह तर्क दे सकता है कि कुछ बहुत दिलचस्प है। अंत में, वे एक परिमाण की परियोजना के साथ काम करते हैं जो केवल एक सपना देख सकता है, एक ऐसी साइट के साथ जिसमें अधिकांश देशों में निवासियों की तुलना में अधिक उपयोगकर्ता हैं। जब आप अपनी परियोजना के साथ काम कर रहे हों, तो आपके लिए रचनात्मक रूप से सोचना बेहतर होगा।



स्रोत: फेसबुक इंजीनियर प्रस्तुतियाँ और फेसबुक इंजीनियर ब्लॉग