Hadoop और स्वचालन: भाग 2

नमस्कार, हेब्रतितेली!





Hadoop और क्लस्टर तैनाती को स्वचालित करने के बारे में जानने के लिए मेरे "मज़ेदार" लेख को जारी रखना।



पहले भाग में, मैंने संक्षेप में बताया कि यह क्या हासिल करने के लिए आवश्यक था, कौन सा क्लस्टर वास्तुकला का निर्माण करना है, और एक Hadoop क्लस्टर वास्तुकला के दृष्टिकोण से क्या है। इसके अलावा, मैंने माना, शायद, क्लस्टर का सबसे सरल हिस्सा - ग्राहक , जो कार्यों को सेट करने, गणना के लिए डेटा प्रदान करने और परिणाम प्राप्त करने के लिए जिम्मेदार है।



अब यह है कि मास्टर्स का प्रतिनिधित्व करने वाले क्लस्टर आर्किटेक्चर के भाग के बारे में बात करने का समय है - अर्थात्, एचडीएफएस और यार्न ।

मैं आपको वास्तुकला का एक उदाहरण देता हूं जिसे एक निजी बादल में तैनात किया जाना था। यह केवल परीक्षण जरूरतों के लिए था, वास्तविक डेटा लोड प्रदान नहीं किया गया था।



कुल मिलाकर, यह माना गया कि NameNode भूमिका के लिए हमारे पास 2 नोड होंगे, जिनके बीच Zookeeper पर आधारित HA + Failover कॉन्फ़िगर किया गया है। NameNode, बदले में, हमारे वितरित HDFS फ़ाइल सिस्टम में रहने वाले डेटा के समन्वय के लिए जिम्मेदार है। NameNode वह है जो डायरेक्टरी ट्री का मालिक है और हमारे क्लस्टर में वितरित फ़ाइलों की निगरानी करता है। अपने आप से, NameNode नोड डेटा संग्रहीत नहीं करते हैं, क्योंकि इस भूमिका के लिए हमारे पास दास हैं ।

जर्नलनोड , बदले में, हमारे लिए आवश्यक है अगर हम QJM (कोरम जर्नल मैनेजर) के आधार पर उच्च उपलब्धता को लागू करते हैं, जिसका सार यह है कि सक्रिय और स्टैनबडी नेमोडेशन के बीच सिंक्रनाइज़ेशन के लिए हम समर्पित वर्चुअल मशीनों का उपयोग करते हैं ( जर्नलकोड जिसमें बदलावों की सूची है। में एच.डी.एफ.एस. इन परिवर्तनों के लॉग क्रमशः NameNode दोनों के लिए उपलब्ध हैं, विफलता के किसी भी मामले में, हम अपने NameNode नोड्स के सिंक्रनाइज़ेशन को प्राप्त करते हैं।

एक और उच्च उपलब्धता विकल्प NFS / NAS का उपयोग कर रहा है। सार लगभग एक ही है - एक " माउंटेड " नेटवर्क स्टोरेज है, जिसमें सभी तथाकथित हैं एचडीएफएस में साझा संपादन , उल्लिखित परिवर्तन लॉग।

हमारे मामले में, 1 नोड YARN के लिए जिम्मेदार है - संसाधन प्रबंधक , जो कार्यों का प्रबंधन करता है, गणना करता है, कार्यों के बीच कंप्यूटिंग संसाधनों को वितरित करता है, और निष्पादन के लिए कार्यों को स्वीकार करने और स्थापित करने के लिए भी जिम्मेदार है।

एचडीएफ की तैनाती

<गीतात्मक विषयांतर>

यह ध्यान देने योग्य है कि शुरू में इस के बजाय "निविदा" प्रकृति (हालांकि यह मेरा व्यक्तिगत अनुभव हो सकता है ...) के मद्देनजर हडूप क्लस्टर की तैनाती प्रक्रियाओं को स्वचालित करने का विचार काफी विदेशी लग रहा था। मेरा क्या मतलब है? स्वचालन के दौरान, यह पता चला कि दस्तावेज़ीकरण से थोड़ी सी विचलन से बड़ी संख्या में प्रश्न सामने आए थे या Hadoop वितरण के डेवलपर्स के JIRA में पहले से दर्ज समस्याओं की पहचान की गई थी।

संक्षेप में, मेरी समझ में रसोई की किताब " सर्वोत्तम प्रथाओं " के सबसे करीब नहीं थी, क्योंकि इसमें बैश कोड की एक सभ्य मात्रा शामिल है, संसाधनों को निष्पादित करें, और केवल कभी-कभी (जहां संभव हो) रूबी डीएसएल और बावर्ची संसाधनों का उपयोग करता है।

यह विचार कि अपाचे अम्बारी , देशी Hadoop क्लस्टर प्रबंधन प्रणाली, भी सता रही थी । लेकिन फिर से - यह हमारी विधि नहीं है, और मैं तीसरे पक्ष के सॉफ़्टवेयर की मदद के बिना प्रक्रिया को समझना चाहता था।

</ गीतात्मक विषयांतर>



यह तैनाती की प्रक्रिया और कुकबुक कोड में थोड़ा गहरा जाने का समय है, जो क्लस्टर तैनाती प्रक्रिया को स्वचालित करने के लिए जिम्मेदार होगा।

मैंने पहले लेख में उल्लेख किया है कि मैंने जो रसोई की किताब लिखी थी, वह सामुदायिक विकास पर आधारित थी जिसके आसपास मैंने रैपर बनाया था। वास्तव में, सब कुछ सुचारू रूप से नहीं चला, जैसा कि सामुदायिक कुकबुक संस्करण, जिस समय मैंने काम शुरू किया था, उसमें कई समस्याएं थीं, कभी-कभी बहुत कष्टप्रद - एक टाइपो, गलत टीम, और अन्य छोटी चीजें (हमें डेवलपर को श्रद्धांजलि देनी चाहिए, जिन्होंने मेरे विनम्र योगदान और निरंतर सवालों पर बहुत जल्दी प्रतिक्रिया दी)।

वास्तव में, समुदाय की उपलब्धियां काम शुरू करने के लिए एक उत्कृष्ट आधार थीं, यदि संभव हो तो अपने स्वयं के कुछ समाधानों को जोड़ना।

खैर, मैंने NameNode और HA + Failover तंत्र की तैनाती करके शुरुआत की। लिनक्स नोड्स के लिए इस प्रक्रिया को निम्नानुसार वर्णित किया जा सकता है:

• जावा के रूप में आवश्यक शर्तें स्थापित करना;
• Hadoop वितरण के पैकेज के साथ रिपॉजिटरी जोड़ना;
• NameNode को स्थापित करने के लिए आवश्यक निर्देशिकाओं की रीढ़ बनाना;
• टेम्पलेट और कुकबुक विशेषताओं के आधार पर कॉन्फ़िगरेशन फ़ाइलों की पीढ़ी
• वितरण पैकेज स्थापित करना (hdfs-namenode, zookeeper-server, आदि)
• NameNode (नियंत्रित फ़ेलओवर के लिए आवश्यक) के बीच ssh- कुंजियों का आदान - प्रदान;
• नोड ( सक्रिय / स्टैंडबाय ) की भूमिका के आधार पर - क्लस्टर के लिए काम करने की प्रक्रिया शुरू करना (बाद में विवरण के रूप में संदर्भित);
• तैनाती प्रक्रिया की स्थिति का पंजीकरण।

NameNode को कार्य करने के लिए आवश्यक प्रक्रियाएँ शुरू करने में निम्नलिखित चरण होते हैं:

• Hadoop घटकों (उदाहरण के लिए, HDFS NameNode स्थापना निर्देशिका) से संबंधित गाउन निर्देशिकाएं एक बहुत ही महत्वपूर्ण कदम हैं, क्योंकि ज्यादातर मामलों में समस्याओं की ओर जाता है;
• hdfs namenode -format
  
  
  
  , जो प्रारूप और dfs.namenode.name.dir के रूप में निर्दिष्ट निर्देशिका को इनिशियलाइज़ करता है;
• service zookeeper-server start
  
  
  
  - service zookeeper-server start
  
  
  
  होने पर उपयोग किए जाने वाले Zookeeper सर्वर को प्रारंभ करें
• hdfs zkfc -formatZK
  
  
  
  - एक ज़नोड बनाता है ( ज़ुकीपर डेटा नोड, दूसरे शब्दों में, विफलता प्रक्रिया का सदस्य);
• $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config /etc/hadoop/conf.chef/ --script hdfs start namenode"
  
  
  
  - सक्रिय NameNode प्रक्रिया शुरू करने के लिए
  
  या
  
  hdfs namenode -bootstrapStandby
  
  
  
  - नोड पर Standby NameNode प्रक्रिया शुरू करने के लिए;
• $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config /etc/hadoop/conf.chef/ start zkfc
  
  
  
  - ZooKeeper विफलता नियंत्रक प्रक्रिया शुरू करने के लिए;
• node.set['hadoop_services']['already_namenode'] = true
  
  
  
  - प्रक्रिया की स्थिति सेट करना, रूबी कोड जो विशेषता को नोड विशेषता के मान पर सेट करता है।

इन चरणों का पालन करते हुए शेफ ने सफलतापूर्वक 2 नोड्स पर काम किया - आप स्थापना को सत्यापित करने की प्रक्रिया शुरू कर सकते हैं। कई सत्यापन विकल्प हैं जिनका सबसे अच्छा उपयोग किया जाता है:

1. NameNode DFS स्वास्थ्य वेब पेज को खोलना, डिफ़ॉल्ट रूप से, ऐसे पते पर - FQDN: 50070 - जो नोड भूमिका ( सक्रिय या स्टैंडबाय ), उपलब्ध दासों के साथ-साथ विभिन्न सिस्टम जानकारी और लॉग के बारे में जानकारी प्रदान करता है;
2. जेपीएस उपयोगिता का उपयोग करना ( Hadoop वितरण में प्रदान किया गया और जो ps का एक एनालॉग है), जिसके आउटपुट में NameNode , DFSZKFailoverController और QuorumPeerMain प्रक्रियाओं को शामिल करना चाहिए;
3. स्थानीय उपयोगिताओं को hdfs haadmin -healthCheck
   
   
   
   और hdfs haadmin -getServiceState
   
   
   
   , जिसके परिणामस्वरूप, वेब पेज पर अधिक विस्तृत प्रारूप में दिखाया गया है;
4. फ़ेलओवर प्रक्रिया को सत्यापित करने के लिए, आप नियंत्रित फ़ेलओवर तंत्र को निम्नानुसार कॉल कर सकते हैं: hdfs haadmin -failover
   
   
   
   , जिसके परिणामस्वरूप NameNode नोड्स को सक्रिय / स्टैंडबाय भूमिकाओं का आदान - प्रदान करना चाहिए।

एक सफल परिणाम 2 नोड्स का एक गुच्छा होता है, जिनमें से एक सक्रिय NameNode की भूमिका लेता है, अन्य - Standby NameNode ; नोड्स ( ज़्नोड ) के बीच ज़ुकीपर नियंत्रण स्थापित किया गया है, जो एक विफलता प्रक्रिया को पूरा करने में सक्षम है; स्लेव नोड्स और फाइल सिस्टम तक पहुंच (हम अगले लेख में स्लेव की तैनाती पर चर्चा करेंगे)।



जैसा कि पहले ही उल्लेख किया गया है - हमारे क्लस्टर की उच्च उपलब्धता 2 तरीकों से प्राप्त की जा सकती है - एनएफएस / एनएएस या समर्पित जर्नलनोड नोड का उपयोग करके।

एनएफएस / एनएएस के मामले में, हम सभी को अपने नामनोड पर नेटवर्क पर भंडारण "माउंट" करने में सक्षम होना चाहिए। भंडारण 24/7 (अत्यधिक वांछनीय) उपलब्ध होना चाहिए, कम विलंबता के साथ उपलब्ध है, और नेटवर्क पर संचालन पढ़ने / लिखने के लिए जल्दी से प्रतिक्रिया देता है।

जर्नलनोड का उपयोग करने के मामले में, आपको उस नोड का चयन करना होगा जिस पर Hadoop वितरण से जर्नलकोड पैकेज स्थापित है। मूल संस्करण में कॉन्फ़िगरेशन के लिए 2 पैरामीटर जिम्मेदार हैं: dfs.journalnode.http-address - एक पैरामीटर जो FQDN और उस पोर्ट को इंगित करता है जिस पर जर्नलकोड सेवा चल रही है ); dfs.journalnode.edits.dir - वह निर्देशिका जिसमें HDFS में होने वाली घटनाओं के लॉग जोड़े जाते हैं ।

YARN तैनात करें

क्लस्टर का YARN भाग रिसोर्समैन नोड द्वारा हमारे आर्किटेक्चर में दर्शाया गया है, जो उनके कार्यान्वयन के लिए कार्यों और संसाधनों के साथ काम करता है। इस नोड के लिए परिनियोजन प्रक्रिया NameNode की तुलना में सरल लगती है:

• जावा के रूप में आवश्यक शर्तें स्थापित करना;
• Hadoop वितरण के पैकेज के साथ रिपॉजिटरी जोड़ना;
• NameNode को स्थापित करने के लिए आवश्यक निर्देशिकाओं की रीढ़ बनाना;
• टेम्पलेट और कुकबुक विशेषताओं के आधार पर कॉन्फ़िगरेशन फ़ाइलों की पीढ़ी
• वितरण पैकेज स्थापित करना ( हडूप-यार्न-रिसोर्समैनगर )
• service hadoop-yarn-resourcemanager start
  
  
  
  प्रक्रिया को service hadoop-yarn-resourcemanager start
  
  
  
  द्वारा service hadoop-yarn-resourcemanager start
  
  
  
  ;
• तैनाती प्रक्रिया की स्थिति का पंजीकरण।

एक सफल तैनाती को सत्यापित करने के लिए, आप निम्न कार्य कर सकते हैं:

1. ऐसे पते पर, डिफ़ॉल्ट रूप से, सुलभ, संसाधन प्रबंधक पेज को खोलना - FQDN: 8088 - जो उपलब्ध दासों पर डेटा प्रदान करता है, साथ ही उनके कार्यान्वयन के लिए आवंटित कार्यों और संसाधनों के बारे में विभिन्न जानकारी;
2. जेपीएस उपयोगिता का उपयोग करना ( Hadoop वितरण में प्रदान किया गया है और जो ps का एक एनालॉग है), जिसके आउटपुट में ResourceManager प्रक्रिया शामिल होनी चाहिए;

यह सब मास्टर्स भाग के बारे में है। अगले लेख के अंत में, मैं एक खंड को उजागर करने की योजना बना रहा हूं जिसमें मैं न्यूनतम क्लस्टर सेटिंग्स का वर्णन करूंगा जो चलाने के लिए आवश्यक हैं। इसके अलावा, अगले लेख में, मैं अपनी मामूली परियोजना और उपयोगी दस्तावेज के लिंक प्रकाशित करूंगा जो मैंने इसे बनाने की प्रक्रिया में उपयोग किया था।



आपका ध्यान देने के लिए आप सभी का धन्यवाद! टिप्पणियाँ और विशेष रूप से संशोधन बहुत स्वागत है!