PostgreSQL का बैकअप लेने के 10 तरीके

बैकअप के बारे में कई वार्तालाप यह कहने के साथ शुरू होते हैं कि लोग दो श्रेणियों में विभाजित हैं ... और इसलिए मैं उन लोगों से संबंधित हूं जो बैकअप बनाते हैं। ठीक से कॉन्फ़िगर किया गया बैकअप और बैकअप की मान्यता नींद को बढ़ाती है। और पूर्व-लिखित और खोई हुई बहाली के निर्देशों की उपस्थिति आम तौर पर पाचन और प्रतिरक्षा को मजबूत करती है। इसलिए, PostgreSQL के साथ काम करते समय, मुझे अक्सर एक बैकअप सेट करना पड़ता था, जबकि शर्तें और आवश्यकताएं बहुत अलग थीं। हालाँकि, कुछ अपवादों के साथ, टूलबॉक्स अपरिवर्तित रहा। इस लेख में, मैं अपने अनुभव को PostgreSQL बैकअप लेने के तरीके में साझा करूंगा।









यदि आप बैकअप को एक बहुत ही विशिष्ट प्रक्रिया मानते हैं, तो दो सरल प्रश्न उत्पन्न होते हैं:

1. बैकअप कहाँ शुरू करें?

2. बैकअप के लिए किन टूल्स का इस्तेमाल करना चाहिए?



पहले प्रश्न के दो संभावित उत्तर हैं: आप बैकअप कार्य को समर्पित बैकअप सर्वर से चला सकते हैं, मेरी राय में यह सबसे उपयुक्त विकल्प है। या डेटाबेस सर्वर से सीधे कार्य चलाएं, यह तब है जब कोई समर्पित बैकअप सर्वर नहीं है।



उपकरणों के साथ, सब कुछ बहुत अधिक दिलचस्प है। यहां मैं दो समूहों को भेद करता हूं, मुख्य उपकरण और सहायक। मुख्य वे हैं जो वास्तव में बैकअप करते हैं। सहायक वे हैं जो बैकअप प्रक्रिया में कुछ विशेष जोड़ते हैं, जैसे संग्रह, एन्क्रिप्शन, लोड प्रबंधन, आदि।



PostgreSQL 2 उपयोगिताओं के साथ आता है जो आपको बैकअप करने की अनुमति देते हैं, ये हैं pg_dump / pg_dumpall और pg_basebackup । इसके अलावा, फ़ाइल कॉपी उपयोगिताओं जैसे rsync, टार, cp, आदि का उपयोग करना संभव है।

तो, बैकअप चलाने के लिए कौन सा टूल?

pg_dump - उन मामलों के लिए उपयुक्त है जब आपको किसी तालिका, डेटाबेस, स्कीमा या डेटा का बैकअप लेने की आवश्यकता होती है।

pg_basebackup - ऐसे मामलों के लिए उपयुक्त है, जब आपको संपूर्ण डेटाबेस क्लस्टर की बैकअप प्रतिलिपि बनाने या किसी हॉट स्टैंडबाय प्रतिकृति को कॉन्फ़िगर करने की आवश्यकता होती है।

rsync / tar / cp - पूरे क्लस्टर को कॉपी करते समय मामलों के लिए भी उपयोग किया जाता है।



जब PostgreSQL 9.0 जारी किया गया था, तो बैकअप rsync का उपयोग करके किया गया था, लेकिन pg_basebackup 9.1 में दिखाई दिया, जिसमें rsync पर कुछ फायदे हैं:

• pg_basebackup को ssh एक्सेस की आवश्यकता नहीं है, लेकिन pg_hba.conf में निर्दिष्ट डेटाबेस तक पहुँच की आवश्यकता होती है;
• pg_basebackup कार्यक्षमता में समृद्ध है (वाल की प्रतिलिपि बनाना, पुनर्प्राप्ति बनाना ।conf, अंतर्निहित gzip संपीड़न, आदि);
• rgync / tar / cp का उपयोग करते समय pg_basebackup को pg_start_backup / pg_stop_backup कार्यों के लिए एक अलग कॉल की आवश्यकता नहीं होती है;
• pg_basebackup स्ट्रीमिंग प्रतिकृति प्रोटोकॉल का उपयोग करके rsync की तुलना में तेज़ी से प्रतिलिपि बनाता है।

लेकिन कुछ नुकसान भी हैं:

• pg_basebackup आउट-ऑफ़-द-बॉक्स जाता है, और तदनुसार स्थापित पोस्टग्रेज की आवश्यकता होती है;
• pg_basebackup की कॉपी गति (केवल 9.4 में वादा) को सीमित करने के लिए कोई अंतर्निहित कार्य नहीं है;
• pg_basebackup के लिए postgresql.conf में शामिल विकल्पों में शामिल हैं wal_level = hot_standby, max_wal_senders।

यहाँ मैं pg_basebackup पर विचार करूँगा, हालाँकि pg_dump का उपयोग नीचे सूचीबद्ध तरीकों में भी किया जा सकता है।



1. बैकअप सर्वर से / बैकअप निर्देशिका के लिए सरल और बैकअप-मुक्त बैकअप (निर्देशिका पहले बनाई जानी चाहिए):

backup@backup ~ $ pg_basebackup -x -h db01.example.com -U backup -D /backup
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2. आयनों के उपयोग से आईओ संचालन की कम प्राथमिकता के साथ नकल करना, ऐसे मामलों के लिए जब आपको बैकअप से डिस्क I / O पर लोड कम करने की आवश्यकता होती है:

 postgres@db01 ~ $ ionice -c 3 pg_basebackup -x -h db01.example.com -U backup -D /backup
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

3. bzip2 में संपीड़न के साथ कॉपी करें, ऐसे मामलों के लिए जब आपको संपीड़न एल्गोरिदम (gzip) का उपयोग करने की आवश्यकता होती है, pg_basebackup के लिए गैर-मानक। यहां हम bzip2 प्रोग्राम के लिए मानक आउटपुट (स्टडआउट) से मानक इनपुट (स्टडिन) तक डेटा पास करते हैं।

 backup@backup ~ $ pg_basebackup -x --format=tar -h db01.example.com -U backup -D - |bzip2 -9 > /backup/db01/backup-$(date +%Y-%m-%d).tar.bz2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

4. कई धाराओं में संपीड़न के साथ नकल (हम lbzip2 का उपयोग करते हैं और 6 कोर का उपयोग करते हैं)। इस परिदृश्य में, आप निष्क्रिय कोर का उपयोग कर सकते हैं और संपीड़न प्रक्रिया को गति दे सकते हैं।

 backup@backup ~ $ pg_basebackup -x --format=tar -h db01.example.com -U backup -D - |lbzip2 -n 6 -9 > /backup/db01/backup-$(date +%Y-%m-%d).tar.bz2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

5. यहां, डेटाबेस सर्वर पर प्रतिलिपि शुरू की गई है। उत्पन्न बैकअप ssh के माध्यम से दूरस्थ सर्वर पर भेजा जाता है।

 postgres@db01 ~ $ pg_basebackup -x --format=tar -h 127.0.0.1 -U backup -D - |ssh backup@backup.example.com "tar xf - -C /backup/"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

6. यहाँ, डेटाबेस सर्वर पर भी कॉपी करना शुरू किया जाता है और रिमोट सर्वर को भेजा जाता है, लेकिन lbzip2 का उपयोग करके 6 धाराओं में संग्रहित किया जाता है।

 backup@backup ~ $ pg_basebackup -x --format=tar -h 127.0.0.1 -U backup -D - |ssh backup@backup.example.com "lbzip2 -n 6 -9 > /backup/db01/backup-$(date +%Y-%m-%d).tar.bz2"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

7. 10 एमबी तक की बैंडविड्थ सीमा के साथ रिमोट सर्वर पर कॉपी करना और रिमोट साइड पर पाइव और बाद में आर्काइविंग का उपयोग करना। यह विकल्प उन मामलों के लिए है जब आपको नेटवर्क लोड किए बिना संचारित करने की आवश्यकता होती है।

 backup@backup ~ $ pg_basebackup -x --format=tar -h 127.0.0.1 -U backup -D - |pv -r -b -L 10M |ssh backup@backup.example.com "bzip2 -9 > /backup/db01/backup-$(date +%Y-%m-%d).tar.bz2"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

यह ध्यान देने योग्य है कि 9.4 pg_basebackup के बाद से पहले से ही ट्रांसमिशन गति (-r, --max-rate) को सीमित करने की क्षमता है।

8. बैकअप सर्वर पर कॉपी करना शुरू हो जाता है, और फिर स्ट्रीम दो भागों में विभाजित हो जाती है। एक स्ट्रीम bzip2 (बैकअप खुद) के साथ संपीड़ित होती है और टार के माध्यम से दूसरी धारा को बाद के सत्यापन के लिए अस्थायी निर्देशिका में कॉपी किया जाता है। विधि का उपयोग शायद ही कभी किया जाता है, लेकिन कार्यान्वयन स्वयं यहां दिलचस्प है।

 backup@backup ~ $ pg_basebackup -x --format=tar -h db01.example.com -U backup -D - |tee >(bzip2 -9 -c > /backup/db01/backup-$(date +%d-%b-%Y).tar.bz2) |tar xf - -C /backup/validation/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

9. दोनों नोड्स पर lbzip2 का उपयोग करते हुए नकल करना, ऐसे मामलों के लिए जब नेटवर्क की एक छोटी बैंडविड्थ होती है, स्ट्रीम को पहले संकुचित किया जाता है, फिर नेटवर्क पर प्रसारित किया जाता है और फिर रिमोट की तरफ से विघटित हो जाता है। यह टार का उपयोग करता है और पोस्टग्रेज साइड पर निष्पादित करने के लिए pg_start_backup ('label_name') की आवश्यकता होती है।

 postgres@master # cd /var/lib/pgsql/9.3/data postgres@master # tar cfO - ./ |lbzip2 -n 2 -5 |ssh postgres@standby "lbunzip2 -c -n 2 |tar xf - -C /var/lib/pgsql/9.3/data"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

10. GPG के माध्यम से एन्क्रिप्शन के साथ बैकअप, ऐसे मामलों के लिए जब आपको बैकअप एन्क्रिप्ट करने की आवश्यकता होती है। सबसे पहले आपको gpg --gen-key (मेरे मामले में, नाम बैकअप के साथ कुंजियाँ बनाई गई हैं) के माध्यम से कुंजियाँ बनाने की आवश्यकता है

 backup@backup ~ $ pg_basebackup -x --format=tar -h db01.example.com -U backup -D - |gpg -r backup -e |bzip2 -9 > /backup/db01/backup-$(date +%d-%b-%Y).tar.bz2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

बैकअप को डिक्रिप्ट करने के लिए, निम्न कमांड चलाएँ

 backup@backup ~ $ bzcat /backup/backup-09-May-2014.tar.bz2 |gpg -r backup -d |tar xf - -C /example/dir/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

यह सब है, चलो उपकरण संक्षेप:

• pg_basebackup - पोस्टग्रेज बैकअप बनाने के लिए उपयोगिता;
• lbzip2 - bzip2 संपीड़न कई कर्नेल का उपयोग करके - यदि आपको तेजी से पैक करने की आवश्यकता है (एनालॉग्स: pbzip2 , pigz );
• आयनिस - I / O अनुसूचक के लिए वर्ग और प्राथमिकता समायोजन (आप सीपीयू अनुसूचक के लिए प्रक्रियाओं की प्राथमिकता को समायोजित करने के लिए अच्छा भी उपयोग कर सकते हैं);
• पीवी - पाइप, आदि के माध्यम से प्रेषित डेटा की मात्रा को नियंत्रित करें। समय की प्रति यूनिट प्रसारित डेटा की मात्रा को सीमित करने के लिए उपयोग (एनालॉग - थ्रॉटल );
• टार - संग्रहण उपयोगिता, सहायक उद्देश्यों के लिए आवश्यक जब bzip2 / gzip संपीड़न का उपयोग नहीं किया जाता है;
• टी - स्टडआउट से लेखन के साथ स्टडआउट और अन्य फाइलों (कोर्यूटिल्स का हिस्सा) को पढ़ना;
• gpg - एन्क्रिप्शन कार्यों को हल करता है।

आपका ध्यान देने के लिए आप सभी का धन्यवाद!