कैसे मैंने फिरेक्सिस को सजा दिया या एक साइलेंसर के माध्यम से बाइनरी इंजन के माध्यम से लूप कैसे करें की कहानी

हम दूर 2005 की बात कर रहे हैं, जब सिड मीयर की सभ्यता 4 अभी-अभी सामने आई थी। उस समय तक, मैंने सभ्यता 3 में कसकर लटका दिया, विभिन्न प्रकार के मानचित्रों पर बीस बार गया, और यहां लंबे समय से प्रतीक्षित चार आए। ये मिड-एंड के लिए P3-512Mb और हाई-एंड में P4-1Gb के साल थे। उन वर्षों में केवल टॉप-एंड कॉन्फिग्स में दो गीगाबाइट मेमोरी थी।



सभ्यता 4 को वर्ष 2002-2003 के स्तर के साथ जारी किया गया था, जो मूल रूप से उन समय की मुख्यधारा के लिए सामान्य है, खासकर यह देखते हुए कि यह एक शूटर नहीं बल्कि एक बारी-आधारित रणनीति है। लेकिन इसने गेम के दौरान 900Mb तक की रैम का सेवन किया, जिसके कारण विशेष रूप से लैपटॉप पर, विशेष रूप से गेम के अंत में, बड़े मानचित्रों पर एक भयानक स्वैप हुआ। लोग हैरान थे, इसलिए मैं था। यह देखते हुए कि सुदूर रो उन वर्षों में बहुत अधिक सुंदर ग्राफिक्स के साथ बाहर आया था, और जो बोर्ड पर 512Mb के साथ भी अधिकतम खेला गया था, सभ्यता 4 का यह व्यवहार बेहद अजीब लग रहा था। मैं इसका पता लगाना चाहता था और सजा देना चाहता था ...



तो, मैं उठा। पहला संदेह पायथन पर पड़ा, क्योंकि फिरेक्सिस ने हर मोड़ पर एक महत्वपूर्ण विशेषता के रूप में इसके उपयोग का उल्लेख किया है, और कचरा संग्रहकर्ता हैं, और पीक लोड के बाद मेमोरी को जारी नहीं करते हैं, और बहुत से अलग-अलग मज़े होते हैं। यह लोलुपता के आरोप में नंबर एक उम्मीदवार था। पायथन डीएल का स्रोत कोड डाउनलोड किया गया था, सभी मेमोरी आवंटन के लॉगिंग को जोड़ा गया था, देशी के बजाय सभ्यता में फिसल गया था और ... कुछ भी दिलचस्प नहीं दिखा। भगवान ने 25Mb की स्मृति को अजगर के लिए छोड़ दिया। कुछ और ड्रंकनियन संसाधन खा रहा था।







एक स्मृति रिसाव का विचार साधारण सी-शनी मेमोरी आवंटन में क्रेप करता है। चूंकि डीएलएल में सीआरटी (सी रनटाइम लाइब्रेरी) का उपयोग किया गया था, अल- डेट्रोस हुक को सभी कॉलों पर मॉलोक, रियललॉक, मुफ्त और ... शून्य परिणाम के साथ लटका दिया गया था। तब यह सोचा गया था कि सब कुछ का कारण अक्सर वास्तविक प्राप्ति पर स्मृति का विखंडन है, शायद अजगर के दोष के माध्यम से भी। मैंने अपने प्रबंधक को लिखा था, जो हमेशा मात्रा 2 आवंटित करता है जो कि 2 डिग्री का गुणक है - जिसका कोई फायदा नहीं है। सभ्यता 800Mb पर खा गई, और उन्हें खाना जारी रखा। मैं एक छोटे-से स्तूप में गिर गया - यह इतनी स्मृति कहाँ जाता है।



मैंने सभी VirtualAlloc पर API हुक लटकाए हैं, CS की गणना के साथ: EIP कॉलर, civ4.exe या python24.dll पता लगाने के लिए अधिकांश पता स्थान आवंटित करता है। और फिर यह पता चला कि d3d9.dll इसे खा रहा था। यह पहले से ही अधिक दिलचस्प हो गया है, क्यों वह संसाधनों को खाएगा यदि सब कुछ (या लगभग सब कुछ) वीडियो मेमोरी में होना चाहिए। उसके बाद, मैंने डायरेक्टएक्स कॉल को ठीक करना शुरू कर दिया - एक उपकरण बनाने से लेकर बनावट, शीर्ष और सूचकांक बफ़र्स बनाने तक।



जब Civilization4 क्या और कैसे करता है, इसका अध्ययन करते हुए, यह पता चला कि यह D3DPOOL_DEFAULT में कुछ संसाधनों को रखता है (बाद में यह पता चला कि ये एक थर्ड-पार्टी कंपनी Scaleform द्वारा लिखे गए चित्रमय इंटरफ़ेस के संसाधन थे, ये लोग अब काफी विकसित हो गए हैं, क्योंकि क्रायटेक के लोग भी अपने उत्पादों का उपयोग करते हैं। )। सभ्यता 4 ने अन्य सभी को प्रबंधित पूल में रखा, इसने 500mb मेमोरी खा ली।



DirectX में संसाधनों के लिए MANAGED और DEFAULT पूल के बारे में एक छोटा सा विषयांतर। वीडियो मेमोरी का उपयोग एक साथ कई अनुप्रयोगों द्वारा किया जा सकता है, और इसमें वांछित बनावट या वर्टेक्स / इंडेक्स बफर की उपस्थिति या अनुपस्थिति किसी चीज़ को खींचने की क्षमता के लिए महत्वपूर्ण है। DEFAULT पूल के मामले में, एक प्रक्रिया की वीडियो संसाधनों को दूसरे द्वारा प्रतिस्थापित करने के मामले में, वीडियो मेमोरी को बड़े पैमाने पर अधिलेखित किया जाता है, और बाद में खोए हुए क्षेत्र का उपयोग करते हुए ड्राइंग ऑपरेशन एक त्रुटि लौटाते हैं, यह कहते हुए कि "ऑब्जेक्ट खो गया है"। इस तरह के नुकसान की प्रतिक्रिया डिस्क से बनावट को फिर से पढ़ने और वीडियो मेमोरी में बनावट को फिर से बनाने के द्वारा वस्तु की बहाली होनी चाहिए।



MANAGED पूल के मामले में, तंत्र लगभग समान है, लेकिन सभी textures और अन्य संसाधनों को RAM में DirectX द्वारा कैश किया जाता है, जिससे त्रुटियों की प्रतिक्रिया पारदर्शी हो जाती है - यह RAM से वीडियो मेमोरी की एक कॉपी को पुनर्स्थापित करेगा यदि यह अन्य प्रोग्रामों के लिए अधिलेखित है, नियमित रूप से स्मृति के अनुसार सादृश्य द्वारा। "बैकअप" एक स्वैप फ़ाइल है। यह प्रोग्रामर के जीवन को सरल बनाता है, क्योंकि अब उसे रेंडरिंग चक्र के दौरान वीडियो ऑब्जेक्ट्स को फिर से पढ़ने के बारे में चिंता करने की आवश्यकता नहीं है, लेकिन अनुचित रूप से रैम की खपत बढ़ जाती है, खासकर जब खेल ज्यादातर समय अग्रभूमि में होता है, किसी के साथ साझा नहीं करता है, और यदि पर्याप्त वीडियो मेमोरी है अधिकता में।



पारंपरिक स्मृति और एक हार्ड ड्राइव के साथ सादृश्य, दुर्भाग्य से, अंत तक काम नहीं करता है। हार्ड डिस्क की मात्रा आमतौर पर ऑन-बोर्ड मेमोरी की मात्रा से 100 गुना अधिक होती है, इसलिए रैम के बराबर स्वैप फ़ाइल के आकार के साथ कुछ भी गलत नहीं है। RAM और VIDEOMEM का अनुपात प्रायः 4/1 है, न कि 100/1। इसलिए, MANAGED एक उत्पादन समाधान नहीं है, बल्कि आलसी के लिए एक विधा है, जो trifles के लिए उपयुक्त है जो अधिक वजन नहीं करता है। यदि आप MANAGED में एक पंक्ति में सब कुछ हिलाते हैं, तो यह चित्र की तरह होगा:







सभी गंभीर इंजन DEFAULT पूल के साथ काम करते हैं, डिस्क से पुन: पढ़ने वाली वस्तुओं का उपयोग करते हैं या अत्यधिक मामलों में, रैम में अपने स्वयं के कैशिंग का उपयोग करते हैं, लेकिन प्रबंधित पूल नहीं। वास्तव में, DEFAULT पूल के साथ काम करते समय संसाधन हानि की स्थिति को सही ढंग से संभालने की क्षमता Alt (टैब) के लिए (अन) अनुकूल खेलों का कारण है।



सबसे पहले, वस्तुओं को बनाने के हुक के माध्यम से, मैंने सब कुछ DEFAULT पूल में अनुवाद करने की कोशिश की। चित्र गिर गया। पहले तो मुझे समझ में नहीं आया कि क्या चल रहा है, फिर मेरे दिमाग में आया ... स्वाभाविक रूप से 500Mb किसी भी वीडियो मेमोरी में फिट नहीं होगा (उन वर्षों में, टॉप-एंड वीडियो कार्ड में 256Mb बोर्ड पर था)। यह स्पष्ट हो गया कि उन्होंने MANAGED पूल का उपयोग क्यों किया - यहां तक ​​कि उनकी अपनी ग्राफिक ऑब्जेक्ट्स भी वीडियो मेमोरी में फिट नहीं हुईं, ऑल्ट-टैब के साथ अन्य प्रक्रियाओं के साथ वीडियो मेमोरी के लिए प्रतियोगिता का उल्लेख करने के लिए नहीं!



यह भी स्पष्ट हो गया कि स्वैप कभी कम क्यों नहीं हुआ। अतिरिक्त वीडियो मेमोरी के मामले में, रैम का प्रबंधित हिस्सा धीरे-धीरे स्वैप में बदल जाएगा, वास्तव में उपयोग किए गए पृष्ठों द्वारा निचोड़ा जा रहा है, और ब्रेक गायब हो जाएंगे। लेकिन ऐसा नहीं हुआ, क्योंकि यह प्रबंधित कैश लगातार एक्सेस किया गया था। सामान्य तौर पर, सब कुछ स्पष्ट था। एक का कोमा। सुदूर क्राई में कुछ प्रकार के खौफनाक स्वैप के बिना 512Mb रैम और 128Mb वीडियो का अभाव था। और उस ग्राफिक्स के साथ! Civ4, यदि आप इसे आजकल स्थानांतरित करते हैं, तो 5Gb RAM की आवश्यकता के साथ 2005 का स्तर निर्धारित था।



डायरेक्टएक्स स्तर पर पहले से ही एक मेमोरी लीक खोजने का प्रयास भी किसी भी परिणाम के लिए नेतृत्व नहीं करता था। मैं जल्दी से बचाता है - कम स्मृति खपत। Ill जहाज देर से बचाता है - पागल स्मृति की खपत। यदि कुछ बहता है, तो यह बचत में बह जाता है - मैं निश्चित रूप से बिना रिसाव के इस तरह के रिसाव को ट्रैक नहीं करूंगा। मैं इस परिकल्पना से शुरू करता हूं कि कहीं कुछ बर्बाद हो गया है ... मैं सबसे अधिक वजनदार के रूप में बनावट की जांच करना शुरू करता हूं।



बनावट की जाँच करने से एक और आश्चर्य हुआ। 50Mb के आसपास कुछ कम था और 120Mb के आसपास कुछ। शेष 400mb कहाँ गया? मैं Direct3D के माध्यम से कॉल की जाने वाली सभी चीज़ों को लॉग करना शुरू करता हूं और ढूँढता हूं ... 400 मेगाबाइट्स वर्टेक्स बफ़र्स! वर्टेक्स बफर ज्यामिति डेटा, इकाइयों, शहरों और इलाके के तीन आयामी मॉडल हैं। बुरे विचार उनके सिर में चढ़ने लगते हैं कि उन्होंने फ्रेम द्वारा सभी इकाइयों के फ्रेम का एनीमेशन तैयार किया है, और कुछ भी नहीं किया जाना है ... अपने विवेक को शांत करने के लिए, मैं FVF द्वारा वर्टेक्स बफ़र्स के साथ मेमोरी खपत को सॉर्ट करता हूं (वर्टेक्स का प्रारूप यह है कि यह क्या है और क्या नहीं है, उदाहरण के लिए, निर्देशांक , रोशनी, बनावट के लिए तड़क, आदि)। वर्टेक्स बफ़र्स की कई किस्में हैं, उनमें से सभी बहुत ज्यादा नहीं खाती हैं, सिवाय एक के जो 280Mb जितना खाती है।



यह कैसे पता करें कि यह किस प्रकार का बफर है? डेटा भरने के दौरान, उस बनावट, उस शीर्ष बफ़र्स को पहले लॉक किया जाता है, फिर डेटा फिलिंग होती है, फिर अनलॉक किया जाता है। मैं वहाँ मिलाप - अनलॉक में। अनलॉक करने से पहले, मैं लंबवत दिशाओं के निर्देशांक में यादृच्छिक मान मिलाता हूं, और देखता हूं कि क्या बदल गया है। मुझे उम्मीद है कि सैनिक हाथ और पैर मरोड़ना शुरू कर देंगे। लेकिन नरक ... पृथ्वी तैर गई! और यहाँ आत्मज्ञान मेरे लिए कृपालु है, यह खेल के अंत तक धीमा क्यों होता है और मानचित्र जितना बड़ा होता है, ब्रेक उतना ही मजबूत होता है। यह नक्शे पर इकाइयों की सभी किस्मों की संख्या में नहीं है। बिंदु दृश्यमान मानचित्र टाइलों की संख्या है! खेल की दुनिया के प्रत्येक सेल के लिए परिदृश्य आस-पास के सभी पहाड़ों, नदियों, समुद्रों, सतह के प्रकारों (रेत, घास, बर्फ) को ध्यान में रखता है, और इस तरह यह पता चलता है कि कई पड़ोसी कोशिकाएं परिदृश्य के प्रत्येक सेल को प्रभावित करती हैं, जो पहले से टाइलों के सभी ज्यामितीय विन्यास को तैयार करना मुश्किल बनाता है। ।







लेकिन मुझे विश्वास नहीं था कि वास्तव में इन विभिन्न विन्यासों में से कई थे जैसे कि मानचित्र पर कोशिकाएं थीं, आम लोगों को कम से कम पानी और मैदानों में पाया जाना था। स्वाभाविक रूप से, स्रोत कोड के बिना, मैं इस वर्गीकरण को सही ढंग से नहीं कर सकता था, इसलिए मैंने इन सभी बफ़र्स को हैश करने का फैसला किया। इस तथ्य से स्थिति और जटिल हो गई थी कि नई टाइलें समय-समय पर उत्पन्न होती थीं, अर्थात। हाशिंग पर्याप्त तेजी से होनी चाहिए थी।



हैश के रूप में, हमने अंकों के रूप में मूल बाइट्स पर बेस 5 में वर्टेक्स बफर डेटा प्रतिनिधित्व का चयन किया। इसने इनपुट को बिना टकराव के अच्छी तरह मिलाया, क्योंकि 5 एक अभाज्य है और दो की शक्ति नहीं है, और क्योंकि प्रोसेसर में 5 से गुणा करने को LEA EAX, [EAX * 4 + EAX] के रूप में कार्यान्वित किया जाता है, जो जल्दी से मायने रखता है। हैश ही अनलॉक () शीर्ष बफर पर अटक गया था। अनलॉक करते समय, हैशटैड कैश में समान वर्टेक्स बफर को खोजा गया था, और यदि यह था, तो अनलॉक किए गए बफर डेटा को हटा दिया गया था, और जब मेरे IDirect3DVertexBuffer के बजाय DrawIndexedPrimitive के माध्यम से ड्राइंग, जो मैंने civ4.exe का उपयोग किया था, मैंने कैश्ड डेटा के साथ एक वास्तविक बफर का उपयोग किया था, ऐसे सभी बफ़र्स के लिए एक। ।



आधे दिन के लिए मैंने सी + + से इस स्नैग को असेंबलर आवेषण के साथ मिश्रित किया और COM कॉल को डेट्रॉइस हुक (किसी कारण से, vtbl पैच काम नहीं किया) के साथ लिखा, तो मैंने शुरू किया ... वाह! - मेमोरी की खपत 800Mb से घटकर 300-400Mb हो गई! 2010 के मानकों के अनुसार - यह मेमोरी खपत को 4 गिग्स से घटाकर डेढ़ करने के लिए टैंमाउंट है।



मैं अंत में एक जंगली स्वैप के कारण प्रत्येक मोड़ के दौरान एक कप चाय खत्म किए बिना खेल शुरू करने में सक्षम था। मैंने civfanatics.com पर पैच पोस्ट किया है, लोग बहुत खुश थे ( लिंक )। केवल शुरुआती दिनों में 150k डाउनलोड नागरिक शास्त्र के साथ किए गए थे, और पैच को विभिन्न प्रकार के प्रशंसक साइटों पर फिर से पोस्ट किया गया था। जो मैंने अनुभव किया वह शब्दों में वर्णन करना कठिन है ... यह एक चर्चा थी! अंत में, इस गंभीर समस्या को ठीक करने में कामयाब रहे, सोर्सा के बिना, और यहां तक ​​कि यह एक तुच्छ स्मृति रिसाव नहीं है, लेकिन एक गंभीर वास्तु दोष है। Firaxis कई महीनों तक इस कदम को दोहरा नहीं सका, यहां तक ​​कि हाथ पर अपना कोड भी। लंगड़ी कोडिंग के लिए सार्वजनिक रूप से फ़्लॉगिंग एक सफलता थी।







PS: मैंने सभ्यता 5 की स्थिति को नहीं देखा।



PPS: जब StarCraft 2 गुजर रहा था, मैं Crysis के साथ ग्राफिक्स / मेमोरी खपत की तुलना करने में मदद नहीं कर सका। सौभाग्य से मेरी नींद के लिए और, संभवतः, बर्फ़ीला तूफ़ान के लिए, लैपटॉप में 4 जीबी रैम था। इसलिए, SC2 मेमोरी का अनुचित भोजन खराब हो गया था, स्वैप नहीं। अगर उसने मुझे लोहे के 2Gb के टुकड़े पर पकड़ा होता, तो मुझे पुराने को पकड़ना पड़ता। :)