जैसा कि आप जानते हैं, सभी लोग दो प्रकारों में विभाजित हैं: वे जो अभी भी बैकअप नहीं बनाते हैं, और जो पहले से ही उन्हें करते हैं। जो लोग अभी बैकअप बनाना शुरू कर रहे हैं, उनके लिए पहला सवाल यह है कि आमतौर पर डेटा संग्रह कैसे किया जाता है। हम सरल विकल्पों पर विचार नहीं करेंगे (मैन्युअल रूप से रिक्त स्थान को काटते हैं, अन्य सर्वरों को पूरी तरह से संग्रह निर्देशिकाएं) - उनके पास संग्रह फ़ाइलों को अनुक्रमित करने और खोजने के लिए बहुत मामूली क्षमताएं हैं। इसके बजाय, हम विशेष रूप से बेकुला में स्वचालित बैकअप सिस्टम की ओर मुड़ते हैं। यह लेख बकुला के प्रश्न का समाधान नहीं करता है। मुख्य कारण - यह एक मुफ्त लाइसेंस के तहत वितरित किया जाता है, प्लेटफार्मों के एक समूह के लिए उपलब्ध है और इसमें बहुत लचीलापन है।



एक संग्रह प्रणाली चुनने के बाद दूसरा सवाल बैकअप स्टोर करने के लिए एक जगह चुनना है। Bacula आपको स्ट्रीमर्स, सीडी का उपयोग करने, FIFO उपकरणों को अभिलेखागार लिखने और नियमित फ़ाइलों की अनुमति देता है। स्ट्रीमर कॉर्पोरेट सर्वर पर सुविधाजनक है, जहां हार्डवेयर के लिए एक स्थायी भौतिक है। फाइलों में अभिलेखागार का भंडारण उपयुक्त है जब अभिलेखागार की मात्रा हार्ड ड्राइव की मात्रा से अधिक नहीं होती है, साथ ही भंडारण की विश्वसनीयता के लिए यह अतिरेक के साथ RAID सरणी या बैकअप के लिए कई भौतिक सर्वरों को अधिमानतः विभिन्न कमरों में बनाने के लिए वांछनीय है। अन्यथा, यह सब पहली आग तक। डिस्क में कटौती एक घरेलू विकल्प है, जिसका मुख्य नुकसान नियमित रूप से ताजा डिस्क को छड़ी करने की आवश्यकता है। हमने Amazon S3 पर डेटा संग्रह करने के लिए bacula को कॉन्फ़िगर किया है।



अमेज़न S3 अमेज़न का क्लाउड-आधारित फ़ाइल स्टोरेज है जिसकी कीमत काफी कम है और यह उन सभी सर्वरों को संग्रहित करने के लिए उपयुक्त है जो लगातार इंटरनेट से जुड़े रहते हैं। यह घर कंप्यूटर, और कार्यालय सर्वर और डेटा केंद्रों की साइटों पर सर्वर हो सकता है।



तो, चलो स्थापित करने के लिए नीचे उतरें। एक कार्यालय स्थानीय नेटवर्क और एक डेटा सेंटर में एक छोटा सा क्लस्टर हमारे खेत में संग्रहीत है।

निदेशक

बकुला को इस तरह से डिज़ाइन किया गया है कि केंद्रीय सर्वर, निदेशक, इसमें केंद्रीय भूमिका निभाता है। इसका कार्य पूरे संग्रह प्रणाली के बारे में जानकारी संग्रहीत करना है, अनुसूची के अनुसार, आवश्यक कार्य शुरू करें और उनके कार्यान्वयन के परिणामों को लॉग करें। कार्यालय नेटवर्क सर्वर (जैसा कि इसे डेबियन में कहा जाता है) पर Bacula-director-mysql पैकेज स्थापित करें।



बकुला का उत्कृष्ट विन्यास दस्तावेज है। मैं केवल मुख्य सेटिंग्स पर ध्यान केन्द्रित करूंगा। कैटलॉग अनुभाग MySQL सर्वर के पते को इंगित करता है जहां संग्रह सूचकांक, डेटाबेस का नाम, नाम और पासवर्ड संग्रहीत किया जाएगा। संदेश अनुभाग में, हम व्यवस्थापक का ई-मेल लिखते हैं, जहाँ निष्पादन के परिणामों पर रिपोर्ट डंप की जाएगी:

 mailcommand = "/usr/lib/bacula/bsmtp -h smtp.example.com -f \"\(Bacula\) %r\" -s \"Bacula daemon message\" %r" mail = sysadmin@example.com = all, !skipped
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

भंडारण

बकुला के पास एक वितरित वास्तुकला है। जिन सर्वरों को स्टोरेज मीडिया से जोड़ा जाता है, जिन अभिलेखों को रिकॉर्ड किया जाएगा, उन्हें स्टोरेज कहा जाता है। यह स्टोरेज सर्वर है जो अमेजन S3 के साथ इंटरैक्ट करेगा। हमारी प्रणाली में, हमें दो संग्रहण सर्वरों की आवश्यकता थी - एक कार्यालय में स्थापित किया गया है, सीधे निदेशक के साथ सर्वर पर स्थापित किया गया है (कार्यालय कंप्यूटर से सभी डेटा को इसका बैकअप लिया जाएगा), डेटा केंद्र में एक सर्वर पर अन्य (डेटा केंद्र में अन्य कंप्यूटरों से डेटा वहां जाएगा)। पृथक्करण का अर्थ डाटा सेंटर और कार्यालय के बीच सशुल्क यातायात को चलाना नहीं है।



अमेज़ॅन एडब्ल्यूएस के लिए पंजीकरण करके और अपने चुने हुए नाम के साथ एक बाल्टी बनाकर, आपके पास निम्नलिखित विवरण होंगे: बाल्टी नाम, एक्सेस_की और सीक्रेट_की। अगला कदम हमारी फाइल को सीधे सर्वर फाइल सिस्टम में माउंट करने के लिए फ्यूज के लिए s3fs मॉड्यूल का उपयोग करना है। s3fs डेबियन वितरण का हिस्सा नहीं है - आपको इसे मैन्युअल रूप से बनाने की आवश्यकता होगी। किसी कारण से, नवीनतम संस्करण अभी काम नहीं कर रहे हैं (फ़ाइलों को हटाने के बाद कुछ प्रकार के फ़्रीज थे, और मुझे फ़ाइल सिस्टम को रिमूव करना पड़ा), लेकिन संस्करण 1.16 ने बिना किसी समस्या के तुरंत काम किया। हम सर्वर बूट में लिखते हैं:

 s3fs your-bucket-name /mnt/backup -o allow_other,retries=10,connect_timeout=30,readwrite_timeout=30
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

और S3 पासवर्ड के साथ / etc / passwd-s3fs फाइल बनाएं:

 access_key:secret_key
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

फ़ाइल सिस्टम के माउंट होने के बाद, हम S3 में संग्रह फ़ाइलों को सहेजने के लिए Bacula-sd पैकेज स्थापित करते हैं और bacula को पूछते हैं। ऐसा करने के लिए, संग्रहण अनुभाग में Bacula-sd.conf कॉन्फ़िगरेशन फ़ाइल में, नाम निर्दिष्ट करें ताकि हम इसे आसानी से पहचान सकें, उदाहरण के लिए नाम = companyname-office-sd, अधिकतम समवर्ती नौकरियां = 1 ताकि S3 के माध्यम से अलग-अलग फ़ाइलों तक एक साथ पहुंच न हो। । निदेशक अनुभाग में, हमारे निदेशक सर्वर का नाम और कुछ यादृच्छिक पासवर्ड लिखें। संग्रहण अनुभाग में, हम डिवाइस का वर्णन करते हैं - संग्रह संग्रहीत करने के लिए वास्तविक भौतिक स्थान:

 Device { Name=S3-companyname-office Media Type=file ArchiveDevice=/mnt/backup/office Label Media=yes; Random Access=yes; AutomaticMount=yes; RemovableMedia=no; AlwaysOpen=no; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अब एक मिनट के लिए निर्देशक सर्वर पर वापस जाएँ और इसके विन्यास में एक नया संग्रहण खंड बनाएँ:

 Storage { Name = S3-companyname-office Address = storage.server.domain.name SDPort = 9103 Password = "storage-server-password" Device = S3-companyname-office Media Type = File Maximum Concurrent Jobs = 1 }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

पासवर्ड डायरेक्टर सेक्शन में स्टोरेज कॉन्फिगर के समान है।

फ़ाइल डेमॉन

फ़ाइल डेमॉन वास्तव में कंप्यूटर पर स्थापित एक डेमॉन है जिसे बैकअप करने की आवश्यकता होती है। Bacula-fd पैकेज क्लस्टर डेटा के सभी कंप्यूटरों पर, मूल्यवान डेटा वाले कार्यालय कंप्यूटरों में स्थापित किया गया है, और इसका bacula-fd.conf कॉन्फ़िगरेशन कॉन्फ़िगर किया गया है। निदेशक अनुभाग में, हम अपने निदेशक सर्वर के पहचानकर्ता को लिखते हैं और एक नया यादृच्छिक पासवर्ड के साथ आते हैं। इस पर, इसका कॉन्फ़िगरेशन समाप्त होता है, और हम फिर से एक नए क्लाइंट को पंजीकृत करने के लिए निर्देशक सर्वर पर लौटते हैं।



निर्देशक कॉन्फ़िगरेशन में, एक नया अनुभाग बनाएँ:

 Client { Name = server-name-fd Address = this.server.host.name FDPort = 9102 Catalog = MyCatalog Password = "file-server-password" Maximum Concurrent Jobs = 1 AutoPrune = yes Job Retention = 365 days }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

पासवर्ड डायरेक्टर सेक्शन में फाइल डेमन कॉन्फिगर के समान है।



एक महत्वपूर्ण पैरामीटर जॉब रिटेंशन है। इस समय के बाद, पुराने डेटा को संग्रह सूचकांक से हटा दिया जाएगा। इस समय, आपकी पुरानी पुरालेख फाइलें अब अधिलेखित नहीं की जाएंगी, और जितना अधिक पैसा आप अमेजन S3 के लिए भुगतान करेंगे। छोटे, सस्ते बैकअप आपको खर्च होंगे, लेकिन संग्रह की गहराई भी कम होगी। इसके अलावा, सुनिश्चित करें कि आप नौकरी प्रतिधारण की तुलना में अधिक बार पूर्ण संग्रह करते हैं, अन्यथा आपके पास ऐसे क्षण होंगे जब पुराना डेटा पहले ही हटा दिया गया है और नए अभी तक संग्रहीत नहीं किए गए हैं।

खाली जगह

कृपया ध्यान दें कि शारीरिक रूप से डेटा को आर्काइव से डिलीट नहीं किया जाता है, भले ही रिटेंशन अंतराल समाप्त हो जाने के बाद इसके लिंक इंडेक्स से हटा दिए जाएं। सूचकांक से हटाने का सीधा मतलब है कि पुरानी के स्थान पर नई फाइलें लिखी जा सकती हैं। डिस्क स्थान को मुक्त नहीं किया गया है, और आप पूरे सूचकांक को साफ़ करने पर भी कम भुगतान नहीं करते हैं। शारीरिक रूप से, फ़ाइलों को या तो मैन्युअल रूप से हटाया जा सकता है, यह सुनिश्चित करते हुए कि सूचकांक में कोई लिंक नहीं बचा है, या बकुला के नवीनतम संस्करण को स्थापित करें, जो स्वचालित रूप से मुक्त वॉल्यूम को छोटा कर सकता है। व्यवहार में, इसकी शायद ही कभी आवश्यकता होती है, और हम इस अवसर का उपयोग नहीं करते हैं।

फ़ायरवॉल सेटिंग्स

ऑपरेशन के दौरान, बकुला को तीन प्रकार के टीसीपी कनेक्शन की आवश्यकता होती है: डायरेक्टर से स्टोरेज तक पोर्ट 9103 पर, डायरेक्टर से फाइल डेमन तक पोर्ट 9102 पर और फाइल डेमॉन से स्टोरेज पोर्ट 9103 पर। इन सभी दिशाओं में, फायरवॉल खुला होना चाहिए, और पते भंडारण और फ़ाइल डेमॉन पर पता मापदंडों में निर्धारित, निर्दिष्ट दिशाओं में उपलब्ध होना चाहिए। विशेष रूप से, यदि आपके पास अचानक स्थानीय नेटवर्क के अंदर संग्रहण है, तो निदेशक और फ़ाइल डेमॉन, जो इसे संग्रहीत किया जाएगा, को भी उसी नेटवर्क के अंदर होना चाहिए। यदि अचानक किसी कारण से आपको नेटवर्क के अंदर स्टोरेज रखने की आवश्यकता होती है, तो आपको राउटिंग को कॉन्फ़िगर करने की आवश्यकता है ताकि संबंधित पोर्ट नेटवर्क के अंदर की ओर अग्रेषित हो।

सुविधाएँ s3fs

फ़ाइल में लिखते समय, s3fs कंप्यूटर में फ़ाइल के पूरे पिछले संस्करण को पढ़ता है, सभी संशोधन स्थानीय प्रतिलिपि में होते हैं, और फ़ाइल को बंद करने के बाद, यह पूरी तरह से S3 पर अपलोड किया जाता है। इसका मतलब यह है कि आकार में 500 मेगाबाइट की संग्रह फ़ाइल में कुछ बाइट्स जोड़ने से भी नेटवर्क पर गीगाबाइट का स्थानांतरण होगा। चूंकि अमेज़ॅन S3 पर ट्रैफ़िक चार्ज किया गया है, इसलिए आपको s3fs की इस सुविधा के बारे में नहीं भूलना चाहिए। फ़ाइल का आकार बहुत बड़ा नहीं होना चाहिए ताकि डाउनलोड और अपलोड छोटा हो। हमारे पास प्रत्येक संग्रहण सर्वर पर 3 पूल हैं - पूर्ण-बैकअप के लिए (अधिकतम वॉल्यूम बाइट्स = 500000000, वॉल्यूम प्रतिधारण = 12 महीने), डिफ-बैकअप के लिए (अधिकतम वॉल्यूम बाइट्स = 300000000, वॉल्यूम प्रतिधारण = 7 महीने) और वृद्धिशील के लिए -बैकअप (अधिकतम वॉल्यूम बाइट्स = 100000000, वॉल्यूम प्रतिधारण = 2 महीने)। कृपया ध्यान दें कि इस उदाहरण में, अंतर बैकअप हर 2 महीने (हमारे पास 1 महीने) में कम से कम एक बार किया जाना चाहिए, अन्यथा ऐसे समय होंगे जब वृद्धिशील बैकअप पहले ही हटा दिए गए हैं और कोई ताज़ा अंतर बैकअप नहीं है। इसी तरह, हर 7 महीने में कम से कम एक बार पूर्ण बैकअप किया जाना चाहिए (हमारे पास 6)।



इसके अलावा, चूंकि आपको स्थानीय प्रतियों को संग्रहीत करने के लिए जगह की आवश्यकता होती है, इसलिए आपको इसे हमेशा फ़ाइल सिस्टम पर रखना होगा। बढ़ते हुए s3fs का उपयोग करते समय स्थानीय प्रतियों को जोड़ने के लिए उपयोग_चेचे विकल्प में निर्दिष्ट किया जाता है। डिफ़ॉल्ट रूप से, यह मूल FS है। आपके पास जितनी अधिक समवर्ती फाइलें होंगी, उतनी अधिक जगह की आवश्यकता होगी। इसलिए, हम एक स्टोरेज सर्वर पर अधिकतम समवर्ती नौकरियां दोनों को सीमित करते हैं (ताकि कई फाइलें खुली न रहें), और अधिकतम वॉल्यूम बाइट्स। यदि स्थान अचानक बाहर निकलता है, तो s3fs फ्रीज हो जाएगा और जगह खाली होने का इंतजार करेगा।

मूल्य जारी करें

भंडारण मूल्य प्रति माह $ 0.037 प्रति गीगाबाइट से (प्रति माह 99.99% की कम विश्वसनीयता के साथ बड़े भंडारण संस्करणों के लिए) प्रति माह 0.14 डॉलर प्रति गीगाबाइट (99.999999999% की मानक विश्वसनीयता के साथ छोटे भंडारण संस्करणों के लिए) होता है। हमने अभिलेखीय मानक के बारे में मानक विश्वसनीयता और स्टोर को चुना - यह लागत (यातायात की लागत के साथ) लगभग 180 डॉलर प्रति माह।

सुरक्षा

यहां एक छोटी सुरक्षा जांच सूची है:

• सभी के लिए बायकुला कॉन्फिग और / etc / passwd-s3fs फाइल के लिए ब्लॉक रीड एक्सेस, क्योंकि वहाँ दर्ज पासवर्ड का खुलासा करना बेहद खतरनाक है;
• बंदरगाहों के लिए 9101, 9102 और 9103 तक पहुंच को प्रतिबंधित करना, बकुला संचालन के लिए आवश्यक निर्देशों के अपवाद के साथ;
• सार्वजनिक नेटवर्क पर डेटा संचारित करते समय टीएलएस का उपयोग करने के लिए बकुला को कॉन्फ़िगर करें;
• पास के आँखों से अभिलेखागार के साथ करीब कैटलॉग;
• फ्यूज इनक्रिप्शन का मतलब होता है एनक्रिप्टिंग डेटा जो अमेजन S3 तक पहुंचेगा;
• विभिन्न संग्रहण सर्वरों पर विभिन्न S3 बाल्टी के लिए, ताकि एक संग्रह के समझौते के मामले में, हैकर दूसरों तक पहुंच हासिल न कर सके;
• यह सुनिश्चित करने के लिए कि आप अभिलेखागार में कुछ महत्वपूर्ण रखना चाहते हैं, नियमित रूप से परीक्षण पुनर्स्थापन करें।

संदर्भ

• बकुला - www.bacula.org
• अमेज़न S3 - aws.amazon.com/s3
• s3fs - code.google.com/p/s3fs/wiki/FuseOverAmazon
• फ्यूज में एन्क्रिप्शन - prefetch.net/blog/index.php/2007/05/29/encrypting-data-with-the-fuse-enc एन्क्रिप्शन- module