मैं क्लाउड के साथ काम करने के तरीके पर आधिकारिक ब्लॉग पोस्टों की श्रृंखला जारी रखूंगा, लेकिन समानांतर में मैं उन समस्याओं के बारे में बात करना चाहता हूं जो हमने क्लाउड क्लाउड के अपने मॉडल में एक्सपी क्लाउड प्लेटफॉर्म को एडॉप्ट करते समय सामना किया था। ये पोस्ट थोड़ी अधिक जटिल होंगी और सुझाव देंगी कि कम से कम सामान्य शब्दों में पाठक को पता है कि कैसे एक्सएन काम करता है।



जब "उपभोग द्वारा भुगतान" की अवधारणा बस आकार ले रही थी, और मैंने "कैसे गिनना है," के लिए खोज की, तो मुझे लगा कि प्रोसेसर और मेमोरी दो सबसे सरल संसाधन थे।



दरअसल, हमारे पास xencontrol (Xen हाइपरवाइजर मैनेजमेंट लाइब्रेरी) है, जो आपको प्रत्येक डोमेन (वर्चुअल मशीन चलाने) के बारे में बिल्कुल बता सकता है कि उसमें कितनी मेमोरी है, कितने नैनोसेकेंड खर्च किए गए थे। यह लाइब्रेरी हाइपरविज़र से सीधे (xenbus के माध्यम से) जानकारी का अनुरोध करती है और इसे न्यूनतम प्रोसेसिंग के अधीन करती है।



यह जानकारी कुछ इस तरह दिखती है (अजगर के लिए xencontrol बाइंडिंग आउटपुट):

 {
     'रुका हुआ': 0, 
     'cpu_time': 1038829778010L, 
     'ssidref': 0, 
     'hvm': 0, 
     'shutdown_reason': 0, 
     'मर रहा है': 0, 
     'मेम_बेक': 262144L, 
     'प्रधान': 3, 
     'max_vcpu_id': 7, 
     'दुर्घटनाग्रस्त': 0, 
     'चल रहा है': 0, 
     'maxmem_kb': 943684L, 
     'शटडाउन': 0, 
     'online_vcpus': 8, 
     'हैंडल': [१४ handle, ३ 148, १२, ११०, १४१, २४, २४, २२६, 148, १०४, १ ९ 148, ५, २३ ९, १६, २०, २५] 
     'अवरुद्ध': 1
 }

जैसा कि हम देख सकते हैं, वर्चुअल मशीन के लिए आवंटित मेमोरी के अनुरूप एक mem_kb क्षेत्र है और एक cpu_time फ़ील्ड है जिसमें कुछ प्रकार की माइंड-ब्लोइंग संख्या होती है (हालांकि वास्तव में यह केवल 17 मिनट है)। cpu_time नैनोसेकंड्स के लिए सटीक मायने रखता है (अधिक सटीक रूप से, जो मूल्य यहां संग्रहीत किया गया है वह नैनोसेकंड में गिना जाता है, वास्तविक सटीकता माइक्रोसेकंड के बारे में है)। मेमोरी, जैसा कि समझा जा सकता है, किलोबाइट्स में है (हालांकि लेखांकन की आंतरिक इकाई है कि हाइपवाइज़र कि लिनक्स कर्नेल एक पृष्ठ है - इसका डिफ़ॉल्ट आकार 4 किलोबाइट है)।



ऐसा लगता है कि "ले और गिनें", हालांकि, शैतान विवरण में है ...



नीचे दी गई पीली हेडिंग के लिए क्षमा करें, लेकिन इस तरह से समस्याओं में से एक की चर्चा के दौरान विवाद में सवाल आया:

हाइपर-थ्रेडिंग + एक्सएन = ग्राहकों से पैसे की चोरी

प्रश्न: ज़ेन के साथ मेजबानों पर हाइपरथ्रेडिंग को सक्षम करना है या नहीं? इसका समावेश आपको ग्राहक को अधिक कोर की पेशकश करने की अनुमति देता है। प्रत्येक पर 4 कोर वाले दो ज़ोन के लिए, यह 16 कोर देगा, और अगर हम अपनी जरूरतों के लिए एक जोड़े को आरक्षित करते हैं, तो 14 कोर। 14 8 की तुलना में ठंडा है? ढलान। तो यह 14 होना चाहिए।



इसके अलावा, यदि आप एक मल्टीथ्रेड एप्लिकेशन चलाते हैं, तो यह 7 असली लोगों की तुलना में 14 "नकली" गुठली पर डेढ़ गुना तेजी से गिना जाएगा। यह सच है, मैंने एक परीक्षण सर्वर पर नंगे लिनक्स पर परीक्षणों की जाँच की।



... रुक जाओ। डेढ़? यानी, 14 कोरें डेढ़ गुना कम काम करेंगी और दो गुना ज्यादा कोर के साथ?



जी हां, बिल्कुल ऐसा ही हुआ। स्थिति उस समय विशेष रूप से नाटकीय हो गई जब मैंने अधिकतम लोड के साथ एक वर्चुअल मशीन में एक नंबर कोल्हू चलाने की कोशिश की और एक कार्य जो स्पष्ट रूप से कई घंटों के लिए अस्वीकार्य था, और दूसरे में मैंने एक एप्लिकेशन लॉन्च किया जो एक निश्चित मात्रा के साथ एक कम्प्यूटेशनल कार्य मानता है। और उन्होंने तुलना की कि हाइपरट्रेडिंग को बंद करने और उस पर गणना करने में कितना समय लगा।

लोड स्तर	प्रोसेसर समय एचटी के बिना गिना जाता है	एचटी के साथ
पड़ोसी बेकार, 1 कोर	313,758	313,149
पड़ोसी बेकार, 4 कोर	79.992 * 4	80.286 * 4
पड़ोसी बेकार, 8 कोर	40.330 * 8	40.240 * 8
पड़ोसी बेकार, 16 कोर	-	29.165 * 16
पूरी तरह से भरा हुआ पड़ोसी, 1 कोर	313,958	469,510
पूरी तरह से भरा हुआ पड़ोसी, 4 कोर	९। 4१२ * ४	119.33 * 4
पूरी तरह से भरा हुआ पड़ोसी, 8 कोर	40.119 * 8	५ ९ .३ 59६ * 8
पूरी तरह से भरी हुई पड़ोसी, 16 कोर	-	29.634 * 16

यह देखना आसान है, 29.6 * 16 473.6 है, ठीक 59.376 * 8 (475) की तरह। और यह 40.119 * 8 (320) से डेढ़ गुना अधिक है।



दूसरे शब्दों में, हाइपर-थ्रेडिंग प्रोसेसर की संख्या को धीमा कर देती है जब उनकी संख्या दोगुनी हो जाती है।



यह मदद करता है अगर प्रोसेसर पूरी तरह से आपका है। और अगर प्रोसेसर समय का भुगतान किया जाता है और पास में "सहकर्मी" भी नहीं हैं, लेकिन बस "अजनबी" हैं?



उसके बाद, हमारे बीच एक बड़ी चर्चा हुई (इसमें लगभग तीन दिन का समय लगा) - क्या हमें ग्राहकों के लिए मेजबानों के बादलों पर एचटी करना चाहिए? स्पष्ट रूप से "ईमानदारी से बेईमान" और "किसी को पता नहीं चलेगा" के अलावा और भी कई गंभीर तर्क थे:

• एक सर्वर अधिक प्रोसेसर संसाधन उत्पन्न करेगा (इंटेल ने इस तकनीक के लिए क्या किया)
• हम मशीन समय की कीमत कम करने में इस "प्रदर्शन हानि" को ध्यान में रख सकते हैं
• हम मेजबान भार की निगरानी कर सकते हैं और 50% से अधिक भार को रोक सकते हैं, लेकिन हम ग्राहक को अधिक कोर प्रदान कर सकते हैं

चर्चा के बाद, हम तर्कों के निम्नलिखित सेट पर आए: हम नियंत्रण नहीं कर सकते हैं और वास्तव में (और सांख्यिकीय रूप से नहीं) कंप्यूटर समय की खपत की भविष्यवाणी करते हैं। प्रवासन, हालांकि एक रास्ता है, लेकिन आंशिक है, क्योंकि प्रवास की प्रतिक्रिया न्यूनतम 30-40 के क्रम की होनी चाहिए, और लोडिंग पर शॉट तात्कालिक हो सकता है (एक सेकंड से भी कम)। इस संबंध में, हम नहीं जानते हैं कि हमने ग्राहक को किस प्रकार का मशीन समय (पूर्ण या नहीं) प्रदान किया है, और किसी भी मामले में, ग्राहक को इस तथ्य के कारण बिना किसी कारण के प्रदर्शन का अनुचित नुकसान उठाना पड़ेगा कि उसका पड़ोसी कितना भारी गणना करना चाहता था।



हाइपर-थ्रेडिंग के साथ वर्चुअल मशीन के निरंतर प्रदर्शन को सुनिश्चित करने में असमर्थता के कारण, हमने अभी भी यह जीता है कि कंप्यूटर समय के लिए भुगतान के साथ क्लाउड में HT को बंद कर दिया जाना चाहिए (इसलिए वर्चुअल मशीन प्रति 8 कोर की सीमा)।

माइग्रेशन: कॉपी और डिलीट करें

प्रवास के दौरान संसाधनों के लिए लेखांकन का दूसरा मज़ेदार क्षण था। डिफ़ॉल्ट रूप से, यह माना जाता है कि संभाल (उर्फ यूआईडी) किसी वस्तु की विशिष्टता का प्रमाण है, और एक यूआईडी के साथ दो आभासी मशीनें नहीं हो सकती हैं। वास्तव में यह है। हालाँकि, यह वर्चुअल मशीन पर लागू होता है, डोमेन पर नहीं। माइग्रेशन के दौरान, डोमेन की सामग्री (RAM) को कॉपी किया जाता है, नए नोड पर लॉन्च किया जाता है, और उसके बाद ही पुराने पर हटा दिया जाता है। यह सब डोमेन के टुकड़े की कई फिर से नकल के साथ है (क्योंकि वर्चुअल मशीन काम करना जारी रखती है)। किसी भी स्थिति में, हमें एक वर्चुअल मशीन से दो डोमेन मिलते हैं। यदि हम अंको और अंकों की गणना (सारांश) करते हैं, तो अंतिम काउंटरों में हमें पूरी तरह से गलत नंबर मिलेंगे। (वैसे, यह समस्या काफी देर से पता चली थी और देरी से लॉन्च होने का एक कारण था)।



समस्या का समाधान सुरुचिपूर्ण और वास्तुशिल्प रूप से सुंदर था। एक डोमेन की केवल एक प्रति एक समय में काम कर सकती है - अन्य सभी पॉज़ मोड में हैं। यह बहुत महत्वपूर्ण है, क्योंकि अगर दो डोमेन हमारे लिए काम करते हैं, तो वे दुर्लभ जलाऊ लकड़ी को तोड़ सकते हैं। इस प्रकार, समाधान इस तरह दिखता है: रुके हुए डोमेन की गणना नहीं की जाती है। इसके कई छोटे नकारात्मक प्रभाव हैं:

• हम अपने ग्राहकों को एक शानदार "ठहराव" बटन नहीं दे सकते थे (इस मोड में, डोमेन मौजूद है, लेकिन निष्पादित नहीं किया गया है)। चूँकि ऐसा डोमेन मेमोरी की खपत करता है, हम इसे ध्यान में नहीं रख सकते हैं यदि क्लाइंट वर्चुअल मशीन को रोक देता है और छुट्टी पर चला जाता है। और हम "प्रवास के दौरान विराम" और सिर्फ एक "ठहराव" के बीच अंतर नहीं कर सकते (कम से कम राज्यों और डेटाबेस के साथ बहुत बड़े और गैर-तुच्छ नृत्य के बिना)।
• जब क्लाइंट मशीन को रिबूट करता है, तो एक छोटा क्षण होता है जब डोमेन पहले से मौजूद होता है, लेकिन फिर भी रुका हुआ होता है - हम इस पर विचार नहीं करते हैं (इस प्रकार, मशीन को लगातार रिबूट करने वाला क्लाइंट थोड़ी मात्रा में मेमोरी को कम कर पाएगा)। यह संभव है कि यह और भी अधिक ईमानदार है, क्योंकि ये हमारी समस्याएं हैं - जहां सब कुछ वहां बनाया जा रहा है, जब तक मशीन काम करना शुरू नहीं करती है, तब तक ग्राहक के पास इसके लिए भुगतान करने का कोई कारण नहीं है।

लेकिन अन्यथा, इस समाधान का कोई दुष्प्रभाव नहीं है। और कई चर्चा की गई: लेखांकन डेटाबेस में एक लॉक की उपस्थिति, डोमेन के जीवनकाल के लिए लेखांकन, आदि। समाधान की लालित्य की पृष्ठभूमि के खिलाफ सभी, बंद किए गए डोमेन को अनदेखा करते हुए, भारी और बदसूरत दिखते हैं (आप खुद की प्रशंसा नहीं करेंगे, कोई भी प्रशंसा नहीं करेगा, अफसोस)।

Dom0 के लिए कौन भुगतान करेगा?

एक और विशाल समस्या थी, बूट की समस्या। जब कोई उपयोगकर्ता नेटवर्क पर अनुरोध करता है या डिस्क संचालन करता है, तो अनुरोध को ड्राइवर के दूसरे भाग में dom0 (डोमेन जो कि वर्चुअल मशीन चल रहा है) से स्थानांतरित किया जाता है। ड्राइवर kommetsya अनुरोध पर, लोहे के इन टुकड़ों के असली ड्राइवरों को देता है। और मुझे कहना होगा, गहन डिस्क संचालन के साथ, वह kumecha ओह कैसे। हमें 50-80% पर देखें - कैसे nefig करते हैं। और इस संख्या में सबसे अधिक ओवीएस, ब्ल्टकैप, एक्सनस्टोर आदि हैं। (बाकी xapi, निचोड़ा हुआ, स्टनेल हैं, जो क्लाउड मैनेजमेंट सिस्टम का हिस्सा हैं)। इस मशीन समय के लिए किसे बिल किया जाना चाहिए? और सबसे महत्वपूर्ण बात, एक उपयोगकर्ता को दूसरे से कैसे अलग किया जाए? ड्राइवर के स्तर पर, यह संभव हो सकता है, लेकिन अधिक ...

वही OVS (Open vSwitch, एक प्रोग्राम जो एक वर्चुअल नेटवर्क प्रदान करता है) फ्रेम करता है, और वह परवाह नहीं करता है कि वे किस डोमेन से संबंधित हैं।



ज़ेनोवाइट्स (हाइपरविज़र और इसके बाइंडिंग के डेवलपर्स) ने इस मुद्दे पर अपने सिर तोड़ दिए। मैं भी सोचने लगा, लेकिन समय रहते होश में आ गया। यदि डिस्क संचालन का भुगतान किया जाता है, तो उनकी कीमत, वास्तव में अनुरोध को संसाधित करने की लागत भी शामिल है। ये न केवल IOPS डिस्क हैं, छापे नियंत्रकों पर लोड, SAN, 10G कार्ड का परिशोधन, आदि। यह (उपरोक्त के खिलाफ कीमत में बहुत ही नगण्य) मशीन समय dom0। सब कुछ तार्किक और अपने आप से तय किया गया था।