🙅🏼 🈴 🏭 डेटा आधारित निगरानी 💴 🤦🏻 ☀️

वेबज़िला क्लाउड सेवाओं पर काम करते समय, हम निगरानी प्रणाली पर बहुत ध्यान देते हैं। हमें यकीन है कि केवल सही ढंग से काम करने और विश्वसनीय निगरानी रखने से, हम ग्राहकों द्वारा आवश्यक गुणवत्ता के स्तर पर सेवा प्रदान कर सकते हैं। कंपनी के क्लाउड उत्पादों में से पहली पर काम करते समय - वेबज़िला इंस्टेंट फाइल्स क्लाउड स्टोरेज - हमने स्वयं एक उत्पाद का निर्माण शुरू करने से पहले ही एक निगरानी प्रणाली का निर्माण शुरू कर दिया था, योजना चरण में प्रत्येक फ़ंक्शन के लिए निगरानी की सोची।

हमारी निगरानी प्रणाली के कई लक्ष्य हैं:

असफलता की स्थिति में, हमें यह पता लगाने में समय बर्बाद नहीं करना चाहिए कि क्या हुआ। हमें यह तुरंत और दृढ़ता से जानना चाहिए।
ग्राहकों को प्रभावित करने तक अधिकतम विफलताओं को रोकने के लिए, हमें उन मीट्रिक और घटनाओं की निगरानी करनी चाहिए जो समस्याओं को चित्रित करती हैं।
किसी भी घटना के बाद, हमारे पास इसके कारणों की जांच करने के लिए आवश्यक सभी डेटा तक पूर्ण पहुंच होनी चाहिए, भले ही उन्मूलन के समय इसके कारण स्पष्ट नहीं थे।
हमारी सहायता टीम को विफलताओं का तुरंत और सही तरीके से जवाब देना चाहिए। इसे प्राप्त करने का एकमात्र तरीका कर्मचारियों को एक उपकरण प्रदान करना है जो उन्हें अनावश्यक जानकारी के साथ लोड नहीं करता है।

हमने सेवा के कार्यात्मक भाग की तुलना में निगरानी प्रणाली पर काम किया - और हम अपना अनुभव साझा करते हैं।

सामान्य तौर पर, हमारी निगरानी प्रणाली में तीन मुख्य उपप्रणालियाँ होती हैं:

परिचालन डेटा का संग्रह और विश्लेषण;
लॉग का संग्रह और विश्लेषण;
घटना की निगरानी और अलर्ट।

संचालन डेटा संग्रह और विश्लेषण प्रणाली

आमतौर पर, जब वे "मॉनिटरिंग" कहते हैं, तो यह शब्द ईवेंट मॉनिटरिंग ( ** PROBLEM Host Alert: server01 is DOWN **

) को संदर्भित करता है। हमारी निगरानी की आधारशिला परिचालन डेटा के साथ निरंतर संचालन है। अवलोकन के तहत सभी प्रणालियों की स्थिति संकेतक द्वारा वर्णित है जो पूरे अवलोकन में बदलते हैं।

सबसे सरल मामले में - यदि सर्वर बंद हो जाता है (कहते हैं, एक पावर आउटेज के कारण) - इस डेटा का एक सरल रूप है: 1 सर्वर हमारी अपेक्षा से कम उपलब्ध है। यदि स्थिति अधिक जटिल है: उदाहरण के लिए, किसी कारण से, आवेदन धीरे-धीरे कम हो गया और प्रश्नों के प्रति अधिक धीरे-धीरे प्रतिक्रिया करना शुरू कर दिया, तो उदाहरण के लिए, दिखा सकता है कि "पिछले सप्ताह में प्रतिक्रिया समय का 95% प्रतिशत दोगुना हो गया है।" इसी समय, सिस्टम के "टूटने" के समय में कोई विशिष्ट बिंदु नहीं है। मेंढक उस समय का सटीक नाम नहीं बता सकता है जब उसके चारों ओर उबलते पानी का निर्माण हुआ हो।

दूसरे शब्दों में, डेटा भाषा में परिचित घटनाओं को सुधारना अक्सर आसान होता है, लेकिन डेटा का स्वतंत्र अतिरिक्त मूल्य भी होता है। हमने डेटा पर ध्यान देने के साथ निगरानी बनाने का फैसला किया।

सबसे पहले हम डेटा एकत्र करते हैं। फिर हम निर्णय लेते हैं।

परिचालन डेटा के संग्रह के लिए, हमने गंगलिया को चुना। हमने इसकी कई विशेषताओं को उपयोगी पाया:

बॉक्स के बाहर समूहों के साथ काम करता है;
स्वाभाविक रूप से तराजू;
यह नोड्स पर एक कम भार बनाता है जिससे यह डेटा एकत्र करता है;
विफलता कॉन्फ़िगरेशन का समर्थन करता है;
यह इवेंट मॉनिटरिंग सिस्टम के साथ अच्छी तरह से इंटरफेस करता है;
टूलबार को फ़ाइल के साथ अंतिम रूप देने की आवश्यकता नहीं है।

गंगालिया में तीन प्रकार के घटक होते हैं:

गैंग्लिया मॉनीटरिंग डेमन (गोंड) - गैंग्लिया मॉनीटरिंग डेमन जो प्रत्येक नोड पर चलता है। गोंड अपने सर्वर से डेटा एकत्र करता है और इसे अन्य नोड्स में भेजता है।
Ganglia meta daemon (gmetad) एक गंगालिया मेटा डेमॉन है जो डेमॉन की निगरानी और मेट्रिक्स एकत्र करता है। मेटा-डेमन द्वारा एकत्र किए गए माप परिणाम एक संरचित रूप में दर्ज किए जाते हैं और विश्वसनीय होस्ट के एक मनमाने सेट पर प्रकाशित किए जा सकते हैं। डेटा प्रारूप प्रलेखित है । हम इस डेटा का उपयोग वेब इंटरफ़ेस में रेखांकन और विसंगतियों के बारे में घटना की निगरानी के लिए करते हैं।
गंगालिया वेब इंटरफेस। एक आदर्श दुनिया में जहां सभी प्रक्रियाएं पूरी तरह से स्वचालित हैं, डेटा संग्रह प्रणाली के लिए एक वेब इंटरफ़ेस होना आवश्यक नहीं है। हम सक्रिय रूप से चार्ट को देखते हैं और अपने दम पर पैटर्न की पहचान करते हैं। आप किसी भी वेब इंटरफेस का उपयोग कर सकते हैं या अपना खुद का लिख सकते हैं। हम मानक का उपयोग करते हैं। प्रत्येक कर्मचारी एक साथ प्रदर्शन के लिए अपने स्वयं के ग्राफ का सेट बना सकता है और इस तरह उन मापदंडों की निगरानी कर सकता है जो उसे ब्याज देते हैं। कई मेजबानों पर एकत्रित ग्राफ बनाना भी संभव है।

गंगालिया को कॉन्फ़िगर करना आसान है ताकि डेटा सुलभ हो और क्रैश के दौरान खो न जाए। सिस्टम निगरानी डेमॉन के बहुस्त्र्पीय विन्यास का समर्थन करता है। इसका मतलब यह है कि सभी एकत्र किए गए परिचालन डेटा क्लस्टर में प्रत्येक नोड को वितरित किए जाते हैं और उस पर संग्रहीत होते हैं। उसके बाद, मेटा-डेमन चयन करता है कि निगरानी करने के लिए कौन से डेमॉन मतदान करते हैं, और इसे पोल करते हैं। यदि मतदान विफल हो जाता है, तो क्लस्टर में अगला नोड प्रदूषित होता है। प्रक्रिया तब तक जारी रहती है जब तक या तो सफलता नहीं मिल जाती है या पूरा क्लस्टर बाइपास हो जाता है।

ऐसी प्रणाली को कॉन्फ़िगर करना काफी सरल है।

गंगालिया का विन्यास

क्लस्टर सदस्यता को gmond.conf डेमन कॉन्फ़िगरेशन फ़ाइल की निगरानी में परिभाषित किया गया है।

 cluster { name = "databases" ... }

क्लस्टर के सभी नोड्स में मॉनीटरिंग डेमॉन के कॉन्फ़िगरेशन में लाइनें होनी चाहिए जो मल्टीकास्ट डेटा भेजने की अनुमति देती हैं:

 udp_send_channel { mcast_if = eth0 mcast_join = 239.2.11.71 port = 8651 ttl = 1 }

और अन्य नोड्स से डेटा प्राप्त करते हैं

 udp_recv_channel { mcast_if = eth0 mcast_join = 239.2.11.71 port = 8651 bind = 239.2.11.71 }

इसके अलावा, आपको मेटा डेमन को मतदान करने की अनुमति देनी चाहिए:

 tcp_accept_channel { port = 8649 }

मेटा डीमन ही, अपनी gmetad.conf कॉन्फ़िगरेशन फ़ाइल के माध्यम से कॉन्फ़िगर किया जाना चाहिए, ताकि यह सभी बॉन्ड को बायपास कर सके:

 data_source “databases” node_1_ip_address node_2_ip_address … node_N_ip_address

ऊपर वर्णित विन्यास निम्नलिखित चित्र में दर्शाया गया है:

गैंग्लिया निगरानी डेमॉन एक दूसरे के साथ संवाद करते हैं। एक मेटा डेमॉन एक क्लस्टर से डेमॉन की निगरानी करता है। अपनी दुर्गमता के साथ, वह अगले की ओर मुड़ जाता है - और इसी तरह। वेब फ्रंट फ्रंट एक्सएमएल को मॉनिटरिंग डेमॉन से प्राप्त करता है और इसे मानव-पठनीय रूप में प्रदर्शित करता है।

व्यावहारिक अनुप्रयोग

वर्णित दृष्टिकोण सभी समूहों से परिचालन डेटा के संग्रह की अनुमति देता है। प्रत्येक क्लस्टर में एकत्र किए जा रहे डेटा की प्रकृति से संबंधित अपनी विशेषताओं है। हमारे पास कई उपप्रणालियां हैं जो एक दूसरे से भिन्न हैं - लेकिन साथ ही हमारे पास उन सभी को नियंत्रित करने के लिए एक तरीका है। मैं केवल दो उदाहरणों का उल्लेख करूंगा:

हमारे प्रबंधन, संसाधन संग्रह और बिलिंग सिस्टम रूबी में लिखे गए हैं। माणिक के लिए इल्या ग्रिगोरिक द्वारा विकसित एक गैमेट्रिक रत्न है। इसकी मदद से, विकास के स्तर पर, हमने कुछ दिनों में निगरानी प्रणाली में बिलिंग को शामिल किया। ठीक इसके बाद हमने कुछ अड़चनें पाईं और उन्हें खारिज कर दिया।
सबसे महत्वपूर्ण सॉफ्टवेयर जो हम उपयोग करते हैं, वह है ओपनस्टैक स्विफ्ट । इसका डेटा संग्रह StatsD का उपयोग करके आयोजित किया जाता है । स्टैट्सड, बदले में, गंगालिया के लिए एक बैकएंड है - और इसके साथ हम अपने संग्रह प्रणाली को डेटा भेजते हैं।

यदि आप यह देखने के लिए उत्सुक हैं कि गंगालिया वेब फ्रंटएंड कैसा दिखता है, तो आप इसे विकिपीडिया ओपन फ्रंटेंड पर कर सकते हैं। हम उसी डिफ़ॉल्ट इंटरफ़ेस का उपयोग करते हैं। वह बेवफा दिखता है, लेकिन लंबे समय तक उससे दोस्ती नहीं करता। इसके अलावा, उसके पास एक बहुत ही सभ्य मोबाइल संस्करण है , जो प्रबंधक को प्रसन्न करता है। सिस्टम के संचालन को कहीं से भी और किसी भी समय अनिवार्य रूप से मॉनिटर करने की क्षमता अनमोल है।

लॉग संग्रह और विश्लेषण प्रणाली

तीन कारणों से लॉग महत्वपूर्ण हैं:

लॉग पोस्टमार्टम और घटना विश्लेषण का एक अनिवार्य तत्व है। यदि कुछ टूट गया है, तो आपको जो कुछ हुआ उसके कारणों को समझने के लिए लॉग का अध्ययन करने की आवश्यकता है।
लॉग समस्याओं की पहचान करने में मदद करते हैं। हम यह सुनिश्चित करने के लिए जानते हैं कि कार्यक्रमों के इस या उस व्यवहार से हमारे उपयोगकर्ताओं के लिए समस्याएँ होती हैं और लॉग का उपयोग करके इस व्यवहार की निगरानी की जा सकती है।
लॉग कुछ मैट्रिक्स भी प्रदान करते हैं। आप लॉग का उपयोग करके कुछ घटनाओं की आवृत्ति पढ़ सकते हैं और इसे संचालन डेटा संग्रह प्रणाली में भेज सकते हैं।

लॉग एकत्र करने की प्रणाली को व्यवस्थित करने के लिए, हमने लॉगस्टैश को चुना

आप इस तरह के एक प्यारे लोगो के साथ एक परियोजना नहीं पा सकते।

हमने लॉगस्टैश को rsyslog सर्वर के रूप में कॉन्फ़िगर किया है । इसके लिए धन्यवाद, लॉगस्टैश किसी भी सॉफ़्टवेयर से लॉग एकत्र कर सकता है जो कि सिस्लॉग को लिख सकता है।

सिर्फ एक लॉग कलेक्शन सिस्टम होना काफी नहीं है। हम इससे लाभ उठाना चाहते हैं। लॉग का केंद्रीयकृत संग्रहण एक साथ कई फायदे पहुंचाता है।

अनुक्रमण और खोज

जब सर्वर की संख्या दर्जनों में मापी जाती है, तो सैकड़ों का उल्लेख नहीं करने के लिए, लॉग मामलों के साथ काम करने की सुविधा। इस सुविधा के दो पहलू हैं: लचीलापन और उपयोग में आसानी।

लॉगस्टैश का उपयोग सॉफ्टवेयर के साथ संयोजन के रूप में किया जा सकता है जो इन क्षमताओं को प्रदान करता है - एलेस्टिक्स और किबाना ।

एलीस्टेकर्च एक खोज इंजन है जिसमें अपाचे ल्यूसिन के शीर्ष पर बनाए गए REST API है। एपीआई होने से सिस्टम लचीला हो जाता है।

किबना एक वेब फ्रंटएंड है, जो एलिस्टिक्स खोज के शीर्ष पर चलने में सक्षम है। उपयोग में आसानी के लिए वह जिम्मेदार है। किबाना के प्रदर्शन को डेमो पेज पर देखा जा सकता है ।

घटना की निगरानी

जब कोई मॉनिटरिंग सिस्टम बनाता है, तो उसके पास लॉग या ऑपरेशनल डेटा इकट्ठा करने के लिए सिस्टम नहीं हो सकता है (हालाँकि यह गलत है)। लेकिन इसकी निश्चित रूप से घटना की निगरानी है - वास्तव में, हब्राब्र की खोज हमें बताती है कि निगरानी की चर्चा करते समय, लोगों को मुख्य रूप से इस घटना घटक को ध्यान में रखना पड़ता है।

इवेंट मॉनिटरिंग महत्वपूर्ण है क्योंकि यह सिस्टम के साथ समर्थन ऑपरेटरों की बातचीत के लिए मुख्य इंटरफेस प्रदान करता है। यह उनके लिए एक डैशबोर्ड का काम करता है और सूचनाएँ भेजता है।

इवेंट मॉनिटरिंग सिस्टम के रूप में, हमने शिंकेन को चुना। यह एक Nagios जैसी निगरानी प्रणाली है, लेकिन Nagios का कांटा नहीं है। नागिन प्लगइन्स के साथ संगतता बनाए रखते हुए, शिंकेन को खरोंच से पूरी तरह से फिर से लिखा गया है।

सिस्टम की साइट पर इसे निम्नलिखित विशेषताओं के रूप में विज्ञापित किया गया है:

स्मार्ट फ़िल्टरिंग और जड़ समस्याओं का पता लगाने, अनावश्यक अलर्ट की संख्या में कमी के लिए अग्रणी;
"व्यावसायिक प्रभाव" पर ध्यान दें;
scalability;
विश्वसनीयता।

"व्यापार प्रभाव पर ध्यान केंद्रित करने" और "जड़ समस्या की खोज" में हमें अपने लिए बहुत मूल्य नहीं मिला: वास्तव में, इसके लिए नागिओस द्वारा प्रदान किया गया तर्क पर्याप्त है।

स्केलेबिलिटी और विश्वसनीयता के संदर्भ में, शिंकेन दिलचस्प अवसर प्रदान करता है।

स्केलिंग और लचीलापन

शिंकेन वास्तव में एक मॉड्यूलर प्रणाली है। शिंकेन में प्रस्तुत मुख्य नवाचारों में से एक विभिन्न राक्षसों में एक स्पष्ट विभाजन है:

पोलर - चेक और वापसी परिणाम चलाते हैं;
प्रतिक्रिया देने वाले - सूचनाएं भेजने या इवेंट हैंडलर लॉन्च करके परिणामों पर प्रतिक्रिया;
शेड्यूलर - प्रतिक्रिया के बीच मतदाताओं और परिणामों के बीच कार्य वितरित करते हैं। अनुसूचियों के पास कुछ आंतरिक बुद्धिमत्ता होती है जो उन्हें अनुमति देती है, उदाहरण के लिए, यदि चेक में से कोई एक त्रुटि देता है, तो चेक कतार को उठाने के लिए जिस पर वह निर्भर करता है।
दलाल - अनुसूचियों से डेटा प्राप्त करते हैं और भंडारण प्लग का उपयोग करके उन्हें निर्दिष्ट लोगों को बचाते हैं।
आर्बिटर - आर्बिटर सिस्टम के संपूर्ण कॉन्फ़िगरेशन को जानता है और शेड्यूलर के बीच कॉन्फ़िगरेशन और कार्यों के कुछ हिस्सों को वितरित करता है। यह अन्य डेमों के संचालन की जांच करता है, और यदि, उदाहरण के लिए, शेड्यूलर्स में से कोई भी प्रतिक्रिया नहीं करता है, तो यह दूसरों के बीच अपने कार्यों को साझा करता है। आपके पास एक क्लस्टर में एक से अधिक सक्रिय मध्यस्थ नहीं हो सकते।

इनमें से प्रत्येक डेमन को पूरी तरह से दूसरों के स्वतंत्र रूप से लॉन्च किया जा सकता है। इसके अलावा, आप आवश्यकतानुसार कई राक्षसों को चला सकते हैं (मध्यस्थ के अपवाद के साथ)।

मध्यस्थों के लिए आरक्षण करना काफी सरल है। प्रत्येक डेमॉन में एक अतिरिक्त उदाहरण हो सकता है। कॉन्फ़िगरेशन पैरामीटर 'स्पेयर' इसके लिए जिम्मेदार है। मुख्य आर्बिटर का निर्धारण करते समय, इसे शून्य के बराबर सेट किया जाता है,

 define arbiter{ arbiter_name arbiter-master address master_ip host_name master_hostname port 7770 spare 0 }

और एक अतिरिक्त इकाई को कॉन्फ़िगर करते समय,

 define arbiter{ arbiter_name arbiter-slave address spare_ip host_name slave_hostname port 7770 spare 1 }

जब मुख्य आर्बिटर विफल हो जाता है, तो विकल्प नियंत्रित होता है। यदि मध्यस्थों को पहचान योग्य रूप से कॉन्फ़िगर किया गया है (और उन्हें कॉन्फ़िगर करने का यह एकमात्र सही तरीका है), तो उनके बीच कनेक्टिविटी के नुकसान से कुछ भी खतरा नहीं है। स्पेयर सब कुछ मुख्य के रूप में ही करेगा, और नुकसान नहीं करेगा।

यदि हम उन घटनाओं का उल्लेख नहीं करते हैं जो हम देख रहे हैं, तो घटना की निगरानी का विवरण अधूरा होगा। उनमें से कई काफी विशिष्ट हैं (और इसलिए अधिकांश पाठकों के लिए बहुत कम रुचि है), अन्य बहुत सामान्य हैं (और इसलिए अच्छी तरह से एक दर्जन स्थानों पर वर्णित हैं)। हालांकि, उनमें से एक जोड़े ऊपर वर्णित पूरी प्रणाली से निकटता से संबंधित हैं और इसलिए ब्याज के हैं।

थोड़ा सा चेक के बारे में

मेजबान आजीविका

आप एक लाइव होस्ट की कई परिभाषाओं के साथ आ सकते हैं। कुछ का मानना है कि ICMP पर प्रतिक्रिया देने वाले होस्ट को लाइव माना जा सकता है। वास्तव में, सही परिभाषा चुनना कोई बड़ी बात नहीं है। होस्ट पर चलने वाली सेवा महत्वपूर्ण है, न कि होस्ट ही। मुख्य कारण हमें यह जानना होगा कि मेजबान ज़िंदा है या नहीं औपचारिक अर्थों में निर्भरता की सही परिभाषा है। वर्णित प्रणाली का निर्माण करने के बाद, हमने मेजबान की आजीविका "मुफ्त में" की जाँच की। प्रत्येक मेजबान को अपना डेटा गंगालिया को भेजना होगा। जबकि वह वास्तव में उन्हें बाहर भेजता है - एक अर्थ में, वह "जीवित है।" यदि वह नहीं भेजता है, तो यह निश्चित रूप से उसके साथ ठीक नहीं है। हम अपने उद्देश्यों के लिए थोड़ा संशोधित नागोसि गंगालिया प्लगइन का उपयोग करके इस डेटा की उपलब्धता की जांच करते हैं।

प्रदर्शन सत्यापन

परिचालन डेटा एकत्र करने के लिए एक प्रणाली होने के कारण, यह अनुचित होगा कि इसे इवेंट मॉनिटरिंग में उपयोग न किया जाए। ऐसा करने का सबसे आसान तरीका कुछ थ्रेसहोल्ड मूल्यों के साथ परिणामी मूल्यों की तुलना करना है। पिछले पैराग्राफ में उल्लिखित नागियोस गंगालिया प्लगइन इसे बॉक्स से बाहर करता है।

टीएल, डॉ

उच्च स्तरीय निगरानी घटक बातचीत योजना

आकर्षित करने की तुलना में समझना आसान है

एप्लिकेशन क्लस्टर गैंग्लिया के लिए ऑपरेशनल डेटा भेजता है, लॉगस्टैश में लॉग करता है, और शिंकेन को इवेंट चेक करता है।

गैंग्लिया, शिंकेन को होस्ट लाईनेस और परफॉर्मेंस डेटा भेजता है।

शिनकेन दो तरीकों से परिणामस्वरूप प्रक्रिया करता है। यह ऑपरेटरों को सूचनाएं भेजता है और कुछ समस्याओं को ठीक करने के लिए इवेंट हैंडलर चलाता है।

लॉग, परिचालन डेटा और घटनाओं के बारे में जानकारी "डैशबोर्ड्स" को भेजी जाती है - किबाना, गंगालिया वेब फ्रंटएंड और शिंकेन वेब, क्रमशः, जहां ऑपरेटर उन्हें देखते हैं।

हमने इसके बारे में लिखने का फैसला क्यों किया?

निगरानी प्रणाली जिसे हमने बनाया था वह एक रामबाण के रूप में कल्पना नहीं की थी जो कुछ "सही" प्रथाओं के अनुरूप थी। फिर भी, जीवन में, उसने खुद को एक विश्वसनीय सहायक साबित किया, जिस पर आप भरोसा कर सकते हैं।

हमारी आकस्मिक प्रबंधन प्रणाली का मूल तत्व हमारी चल रही सहायता टीम है। हमने एक स्वायत्त प्रणाली के साथ आने की कोशिश नहीं की जो मानवीय हस्तक्षेप के बिना काम कर सके।

यह तथ्य कि वह हमारे वातावरण में काम करती है इसका मतलब यह नहीं है कि वह इसमें बदलाव किए बिना दूसरे में काम करेगी। निगरानी हमारे सामान्य पारिस्थितिकी तंत्र का हिस्सा है, जिसमें हमारी सहायता टीम के काम में दोनों तकनीकी उपाय (जैसे कॉन्फ़िगरेशन प्रबंधन प्रणाली की उपलब्धता और उचित उपयोग) और व्यावसायिक प्रक्रियाएं शामिल हैं।

फिर भी, हमें पूरा विश्वास है कि हमारा दृष्टिकोण काफी लचीला है और इसे एक रूप में या किसी अन्य रूप में उन स्थितियों में लागू किया जा सकता है, जो आईटी सेवाओं का समर्थन करने वाली टीमों को उनके काम में मिलती हैं।

डेटा आधारित निगरानी