🐴 🈸 🎅🏿 लिनक्स: होम सर्वर में सॉफ्टवेयर और RAID6 को गति देना 🧖🏿 🤞🏿 🙈

मास्को में आप 0 घंटे 0 मिनट पर क्या कर सकते हैं? उत्सव की मेज पर बैठो और जश्न मनाओ? कोई फर्क नहीं पड़ता कि कैसे। इस उत्सव के क्षण में, मैं आपके साथ अपने वर्तमान शोध को होम सर्वर में सॉफ्ट्रेड की उत्पादकता को साझा करना चाहता हूं। आप सिद्धांत को छोड़ सकते हैं और अंतिम पैराग्राफ को तुरंत पढ़ सकते हैं जहां मुख्य नमक है।

RAID 6 क्यों?

जैसा कि आप जानते हैं, RAID-5 एक झाड़ू की मृत्यु का सामना कर सकता है, और उस मृत्यु के बाद - जब तक कि नई हार्ड ड्राइव के साथ छापे की वसूली खत्म नहीं हो जाती, तब तक आपका डेटा जोखिम में है - वसूली में आमतौर पर बड़े सरणियों के लिए 70 घंटे लगते हैं और एक अन्य झाड़ू इस समय आसानी से मर सकता है। ।

RAID-6 किसी भी झाड़ू की मौत का सामना कर सकता है। मिनीस की - आम तौर पर स्वीकृत राय जो धीमी हो जाती है, विशेषकर रिकॉर्डिंग, यहां तक कि RAID-5 की तुलना में। खैर, इसकी जाँच करें।

क्यों नरम व्यापार?

लोहे के छापे की जरूरत केवल एक मामले में होती है - अगर इसमें बैटरी और ऑन-बोर्ड कैश हो। तब नियंत्रक तुरंत ओएस को जवाब देता है कि डिस्क पर लिखना भौतिक स्तर पर पूरा हो गया है और सभी प्रकार के एसीआईडी डेटाबेस बहुत जल्दी और सुरक्षित रूप से काम करते हैं।

अन्य मामलों में, नरम-छापे की तुलना में कोई बोनस नहीं है, केवल कुछ नुकसान हैं:

1) क्या लोहा जल गया है? नया सर्वर? कृपया एक ही नियंत्रक खरीदें, या संगतता के लिए प्रार्थना करें। उसी ड्राइव से सॉफ्टड्रिंक कहीं भी जा रहा है।

2) मूल्य :-) दरअसल, इस वजह से मैंने अपने हाथों में बैटरी के साथ सामान्य छापे नहीं रखे हैं :-)

खैर, उन "छापे नियंत्रक" जो सामान्य मदरबोर्ड पर होते हैं, उन्हें कभी भी उपयोग नहीं किया जाना चाहिए। वे बस ऑनबोर्ड BIOS (जो केंद्रीय प्रोसेसर द्वारा निष्पादित किया जाता है, इसका कोई प्रोसेसर नहीं है) के कारण ओएस को छापे से लोड होने देता है, यह वह जगह है जहां उनकी उपयोगिता समाप्त हो जाती है, और केवल मीनू बने रहते हैं।

कुछ नरम व्यापार मिथकों के बारे में

1) वह बहुत कीमती प्रोसेसर खाता है

यदि हम लिनक्स कर्नेल में RAID ड्राइवर के स्रोत पर एक नज़र डालते हैं, तो हम देखेंगे कि सब कुछ लंबे समय से SSE2 के लिए अनुकूलित किया गया है। और SSE2 के साथ, प्रोसेसर एक आधुनिक प्रोसेसर के 1 कोर पर 1 घड़ी में 16 बाइट्स से XOR पढ़ सकता है और सब कुछ मेमोरी एक्सचेंज की गति पर निर्भर करता है। आप अनुमान लगा सकते हैं कि एक कोर के भार का कितना% 1Gb / s :-) की एक धारा उत्पन्न करेगा लेकिन कई कोर हैं :-) व्यवहार में, मेरे Opteron 165 (1.8Ghz 2 कोर) के साथ सीपीयू पर गति कभी आराम नहीं करती है।

2) यह अलग हो जाता है और फिर आप सहिजन इकट्ठा करते हैं।

यदि कुछ गिरता है, तो यह लोहे के कारण होता है (उदाहरण के लिए, साधारण शिकंजा कभी-कभी सभी प्रकार के पृष्ठभूमि कार्यों को करना पसंद करता है)। टंबल-डाउन झाड़ू जोड़ना एक सरल ऑपरेशन है जो स्वचालित रूप से भी किया जा सकता है। हालांकि, औसतन यह साल में एक बार किया जाना चाहिए।

mdadm / dev / md0 -a / dev / sde1

3) सॉफ्ट्रेड में हॉर्सरैडिश मॉनिटरिंग है

निगरानी के साथ, सब कुछ ठीक और अनुकूलन योग्य है। उदाहरण के लिए, यह सिर्फ mdadm कॉन्फिग में साबुन को इंगित करने के लिए पर्याप्त है और अगर आपके एरे से कुछ होता है तो यह आपको एक ईमेल भेजेगा। बहुत सहज)

यहाँ एक उदाहरण है कि अगर एक झाड़ू गिर जाए तो क्या होगा:

यह XXXXX पर चलने वाले mdadm से स्वचालित रूप से जनरेट किया गया मेल संदेश है

Md डिवाइस / dev / md0 पर एक DegradedArray ईवेंट का पता लगाया गया था।

विश्वासपूर्वक तुम्हारा, आदि।

वर्तमान में PS / proc / mdstat फ़ाइल में निम्नलिखित शामिल हैं:

व्यक्तित्व: [छापे ६] [छापे ५] [छापे ४]

md0: सक्रिय raid6 sda1 [1] sdc1 [4] sdd1 [3] sde1 2]

2929683456 ब्लॉक सुपर 1.2 स्तर 6, 1024k चंक, एल्गोरिथ्म 2 [5/4] [_UUUU]

अप्रयुक्त उपकरण: कोई नहीं

मैं उपयोग करने से पहले परीक्षण की सलाह देता हूं:

mdadm --monitor -1 -m myname@myisp.com / dev / md0 -t

4) सॉफ्ट्रेड में एक बहुत कम सरणी पुनर्निर्माण की गति है

डिफ़ॉल्ट कॉन्फ़िगरेशन में, हाँ। और अगर आप लेख के अंत में पढ़ते हैं, तो आप सीखेंगे कि सबसे धीमी झाड़ू की गति से सब कुछ कैसे बनाया जाए :-)

बिटमैप की भूमिका के बारे में

लिनक्स आधारित सॉफ्ट ट्रेड एक महान विशेषता का समर्थन करता है: बिटमैप। डिस्क पर परिवर्तित ब्लॉक वहाँ चिह्नित हैं, और यदि किसी कारण से सरणी से एक डिस्क बंद हो गई, और फिर आपने इसे वापस जोड़ा, तो सरणी के पूर्ण पुनर्निर्माण की आवश्यकता नहीं है। धिक्कार है उपयोगी। आप इसे स्वयं छापे पर संग्रहीत कर सकते हैं - आंतरिक, या आप इसे एक अलग फ़ाइल में उपयोग कर सकते हैं - लेकिन सीमाएं हैं (उदाहरण के लिए, फ़ाइल सिस्टम का प्रकार)। मैंने एक आंतरिक बिटमैप बनाया। और व्यर्थ। आंतरिक बिटमैप तब से ईश्वर को धीमा कर देता है रिकॉर्डिंग करते समय झाडू के सिर को लगातार घुमाएं।

आइए गति को देखें:

उदाहरण के लिए गति का परीक्षण इस प्रकार किया जा सकता है:

समय sh -c "dd if = / dev / zero of = ddfile bs = 1M count = 5000"

समय sh -c "dd if = ddfile of = / dev / null bs = 1M count = 5000"

5xWD 1TB के मेरे RAID-6 के परिणाम निम्नानुसार थे: 268MB / s पढ़ें, 37MB / s लिखें। वे चौंक कर बोले: अच्छा, आप क्या चाहते थे? लिखते समय RAID -6 धीमा हो जाता है, क्योंकि सभी डिस्क के लिए अद्यतन चेकसमों की गणना करने के लिए इसे पहले जो लिखा गया था उसे पढ़ने की आवश्यकता है। और यह बिटमैप भी ...

ऐरे पुनर्निर्माण गति - लगभग 25 एमबी / एस - पूर्ण सरणी 15 घंटे तक पुनर्निर्माण। यहाँ यह है, आपका बुरा सपना है।

समस्याओं को आसानी से हल किया जाता है:

लिनक्स छापे चालक के पास ऐसा एक उपयोगी पैरामीटर है: स्ट्राइप_कैशे_साइज

जिसका डिफ़ॉल्ट मान 256 है। बहुत कम - तेजी से लिखने की गति कम कर देता है (जैसा कि यह निकला)। कई के लिए इष्टतम मूल्य 8192 है। यह 1 डिस्क प्रति मेमोरी ब्लॉकों की संख्या है। 1 ब्लॉक आमतौर पर 4kb (प्लेटफॉर्म पर निर्भर करता है) है, 5-डिस्क सरणी के लिए कैश 8192 * 4kb * 5 = 160MB लगेगा।

गूंज 8192> / sys / block / md0 / md / stripe_cache_size

यह तुरंत अभिनय शुरू कर देता है। अब, ज्यादातर मामलों में, ड्राइवर को लिखने से पहले डिस्क को पढ़ने की ज़रूरत नहीं है (विशेष रूप से रैखिक रिकॉर्डिंग के साथ), और प्रदर्शन नाटकीय रूप से बढ़ जाता है। रिबूट के बाद, यह गायब हो जाता है ताकि यह गायब न हो - हम /etc/rc.local को किसी प्रकार के बूट में जोड़ते हैं।

सरणी पुनर्निर्माण की गति अब 66MB / s है (यह तुरंत सभी डिस्क के लिए है, पूरे सरणी के लिए लगभग 5 घंटे है), रीड गति समान रहती है, लेकिन लेखन की गति 130MB / s (37 से) तक बढ़ गई है।
हम बिटमैप को एक अलग डिस्क पर स्थानांतरित करते हैं (मेरे मामले में - एक सिस्टम एक)। यदि सिस्टम झाड़ू मर जाता है - यह ठीक है, तो सरणी को बिटमैप के बिना पुनर्स्थापित किया जाएगा।

फिर से रिकॉर्डिंग करने पर सिर नहीं मुड़ता है, और रिकॉर्डिंग की गति 165MB / s तक बढ़ जाती है।

mdadm -G / dev / md0 -b / var / md0_intent

इसलिए, 10 सेकंड में हमने निराशाजनक 37 एमबी / एस से लेखन की गति को बहुत सभ्य 165 एमबी / एस (10 गुना से अधिक !!) से बढ़ा दिया। नेटवर्क पर सांबा के माध्यम से, फाइलें 95-100 एमबी / एस लिखी और पढ़ी जाती हैं, और छापे की कम गति के कारण योजनाबद्ध सर्वर के उन्नयन को अनिश्चित काल के लिए स्थगित करना होगा - मृत ओप्टर 165 का प्रदर्शन अब सभी कार्यों के लिए पर्याप्त से अधिक है :-)

नया साल मुबारक हो :-)

पुनश्च। चेतावनी! रूट के तहत, केवल एक शांत सिर पर चलना!

पुनश्च। एक कठिन लड़ाई में, 2011 में हैबे पर पहली पोस्ट मेरे द्वारा फिर भी प्रकाशित की गई थी

पुनश्च। infi

लिनक्स: होम सर्वर में सॉफ्टवेयर और RAID6 को गति देना