👋🏻 👩‍💼 🔢 डिस्टेक और ccache का उपयोग करना, कॉन्फ़िगर करना और परीक्षण करना 🐹 👦🏻 🤓

प्रागितिहास:

एक बार मुझे डिस्टेक और ccache जैसे उपकरणों की प्रभावशीलता की जांच करने का विचार मिला। उनका उपयोग लंबे समय से किया गया है, लेकिन इस सब की समीचीनता का विचार अभी भी मेरे दिमाग में घूम रहा है। और अंत में, मेरे हाथ अभ्यास में जांच के लिए आए, मैंने तुरंत आपको चेतावनी दी कि सब कुछ अपने लिए किया गया था, वास्तविक परिस्थितियों में, और आपके परीक्षणों के परिणाम नीचे दिए गए लोगों के साथ मेल नहीं खा सकते हैं। इन घटकों को स्थापित करने और कॉन्फ़िगर करने पर विचार करें, और फिर समय कमांड का उपयोग करके निर्माण की गति का परीक्षण करें।

सिद्धांत:

शुरू करने के लिए, हम यह निर्धारित करेंगे कि यह क्या है और इसके लिए क्या उपयोगी हो सकता है। यद्यपि यदि आप इसे पढ़ते हैं, तो आप शायद पहले से ही समझते हैं कि इन उपकरणों का उपयोग किस लिए किया जाता है।

विकिपीडिया से Distcc के बारे में कुछ शब्द।

Distcc (अंग्रेजी से वितरित C / C ++ / ObjC संकलक) एक उपकरण है जो आपको दूरस्थ मशीनों पर C / C ++ / ObjC संकलक का उपयोग करके स्रोत कोड संकलित करने की अनुमति देता है, जो आपको संकलन प्रक्रिया में तेजी लाने की अनुमति देता है। इसमें दो मुख्य भाग होते हैं - सर्वर (distccd) और क्लाइंट। (distcc)।

Ccache (अंग्रेजी संकलक कैश से; उच्चारित "सिकेश") लिनक्स और अन्य यूनिक्स जैसी प्रणालियों के लिए C और C ++ संकलक का कैश है।

Csache का उपयोग करने से कुछ संकुल या प्रोजेक्ट्स की असेंबली को कई बार संकलित किया जा सकता है, क्योंकि पिछले संकलन के बाद से परिवर्तित की गई फ़ाइलों को केवल पुन: संकलित किया जाएगा।

हम क्या करेंगे?

स्थापित करें और distcc और ccache कॉन्फ़िगर करें।
आइए देखें कि ये तंत्र कितनी कुशलता से एक साथ और अलग-अलग काम करते हैं।

निम्नलिखित इंफ्रास्ट्रक्चर उपलब्ध है: 100 मिब / एस नेटवर्क, निम्नलिखित मशीनों के साथ:

	ग्राहक को परेशान करें	Distcc सर्वर	Distcc सर्वर	Distcc सर्वर
प्रोसेसर	इंटेल पेंटियम डुअल E2160 1.80GHz	Intel Xeon 3.20GHz	इंटेल पेंटियम डी सीपीयू 3.00GHz	इंटेल पेंटियम 4 सीपीयू 3.00GHz
स्मृति	1 जीबी	1 जीबी	1 जीबी	1 जीबी
जीसीसी	4.4.5	4.4.5	4.4.5	4.4.5
ऑपरेटिंग सिस्टम	gentoo x86	gentoo x86	डेबियन 5.0.7 x86	डेबियन 5.0.7 x86

जैसा कि आप देख सकते हैं, मशीनें बल्कि कमजोर हैं, लेकिन वे अपने कार्यों का सामना करते हैं, परीक्षणों के समय, सभी तृतीय-पक्ष सेवाएं अक्षम थीं। इसके अलावा, जैसा कि आप देख सकते हैं, सभी मशीनों में जीसीसी का एक संस्करण स्थापित है (यह उसी संस्करण का उपयोग करने की सिफारिश की गई है, संस्करण 4.4 के अंतिम अंक में अंतर करना संभव है। *), हालांकि, पहले कुछ मशीनों पर जीसीसी 4.4.3 का भी उपयोग किया गया था और सब कुछ ठीक काम किया था।

स्थापना और सेटअप:

पहले आपको हमारे टूल को इंस्टॉल और कॉन्फ़िगर करना होगा।

Gentoo

डिस्टेक और ccache की स्थापना प्रक्रिया को मैनुअल में विस्तार से वर्णित किया गया है , मैं केवल मुख्य चरणों से गुजरूंगा, और कुछ बारीकियों को दिखाऊंगा।

डिस्टेक स्थापित करें:

emerge -avt distcc

हम यूएसई झंडे को देखते हैं, जिसे हमें छोड़ने की आवश्यकता है, जिसे हमें हटाने और स्थापना शुरू करने की आवश्यकता नहीं है।

Distcc के निर्माण और स्थापित करने के बाद, distccd डेमॉन सेटिंग्स /etc/conf.d/distccd फ़ाइल, / etc / distcc / होस्ट में प्रयुक्त मेजबानों की सूची में स्थित होगी। /Etc/conf.d/distccd में, आपको distccd सर्वर सेटिंग्स में बदलाव करने की आवश्यकता है।

लॉग इन करने की क्षमता जोड़ें, यह डीबगिंग के लिए आवश्यक है, भविष्य में आप अक्षम कर सकते हैं:

DISTCCD_OPTS="${DISTCCD_OPTS} --log-file /var/log/distcc.log --log-level info "

मेजबानों (नेटवर्क) की एक सूची को परिभाषित करें जिनके अनुरोध हम संसाधित करेंगे:

DISTCCD_OPTS="${DISTCCD_OPTS} --allow 192.168.0.0/24"

इंटरफ़ेस और पोर्ट निर्दिष्ट करें जिस पर डेमन लॉन्च किया जाएगा:

DISTCCD_OPTS="${DISTCCD_OPTS} --listen 192.168.0.174"

यह निर्दिष्ट करना भी संभव है कि सेवा को किस प्राथमिकता से लॉन्च किया जाएगा, यह मान व्यक्तिगत रूप से कड़ाई से निर्धारित किया जाना चाहिए, डिफ़ॉल्ट रूप से इसका मूल्य 15 है:

DISTCCD_OPTS="${DISTCCD_OPTS} -N 15"

सिस्टम को यह बताना आवश्यक है कि distcc का उपयोग किया जा सकता है, make.conf में जोड़ें:

FEATURES="distcc"

और अस्थायी डिस्टेक फ़ाइलों के लिए एक निर्देशिका को परिभाषित करें:

DISTCC_DIR="/tmp/.distcc"

उन लोगों के लिए जो स्मृति को पसंद नहीं करते हैं और प्रदर्शन को बढ़ाना चाहते हैं, आप अस्थायी फ़ाइलों की निर्देशिका को tmpfs में स्थानांतरित कर सकते हैं (फ़ाइल सिस्टम को वर्चुअल मेमोरी (RAM + स्वैप) में व्यवस्थित किया गया है। अस्थायी फ़ाइलों को संग्रहीत करने के लिए उपयुक्त है।)

mount -t tmpfs tmpfs -o size=850M /tmp/

Tmpfs के अतिप्रवाह के मामले में, डेटा स्वैप में लिखा जाएगा, जो अन्य कार्यक्रमों के प्रदर्शन को नकारात्मक रूप से प्रभावित कर सकता है।

स्थायी उपयोग के लिए, इस लाइन को / etc / fstab में जोड़ें:

tmpfs /tmp tmpfs size=850M,mode=0777 0 0

अगला, आपको स्वयं सेवा शुरू करने की आवश्यकता है:

/etc/init.d/distccd start

और आप इसे स्टार्टअप से भी जोड़ सकते हैं:

rc-update add distccd default

मुझे आपको distcc के सर्वर साइड के लिए किए गए परिवर्तनों की याद दिलाता है।

अब देखते हैं कि क्लाइंट की तरफ से क्या किया जाना चाहिए। यहां सब कुछ सरल है, हमें मेजबानों की एक सूची को जोड़ने की जरूरत है जो एक पंक्ति में एक स्थान के साथ / etc / distcc / Host फ़ाइल में सर्वर के रूप में कार्य करता है (आप मशीन नाम और उनके आईपी पते दोनों निर्दिष्ट कर सकते हैं)। बिजली की कमी के क्रम में मशीनों की सूची शुरू करने की सिफारिश की गई है। एक क्लाइंट एक सर्वर हो सकता है, और इसके विपरीत।

Ccache मैन्युअल स्थापित करें

emerge -avt ccache

हम यूएसई झंडे को देखते हैं, जिसे हमें छोड़ने की आवश्यकता है, जिसे हमें हटाने और स्थापना शुरू करने की आवश्यकता नहीं है।

Ccache बनाने और स्थापित करने के बाद, /etc/make.conf में परिवर्तन करें और उस सिस्टम को बताएं जिसे आपको ccache का उपयोग करने की आवश्यकता है:

FEATURES="distcc ccache "

कैश आकार सेट करें:

CCACHE_SIZE="2G"

निर्धारित करें कि कैश कहाँ स्थित होगा:

CCACHE_DIR="/var/tmp/ccache"

कैश डायरेक्टरी को tmpfs में भी संग्रहीत किया जा सकता है:

mount -t tmpfs tmpfs -o size=2G /var/tmp/ccache

या fstab में पंजीकरण करें:

tmpfs /var/tmp/ccache tmpfs size=2G,mode=0777 0 0

हालांकि, एक सिस्टम रिबूट की स्थिति में, tmpfs का सारा डेटा खो जाएगा, जो ccache की सभी उपलब्धियों को शून्य कर देगा।

डेबियन

डिस्टेक स्थापित करें। चूंकि ग्राहक बोर्ड पर जेंटू के साथ एक मशीन होगा, इसलिए डेबियन मशीनों पर कुछ तय करना होगा।

डिस्टेक और ccache स्थापित करें:

apt-get install distcc 
      

        
        
        
      

     apt-get install ccache

डिस्केड डेमॉन के पैरामीटर फ़ाइल / etc / default / distcc में हैं, उपयोग किए गए होस्ट की सूची / etc / distcc / होस्ट में है।

हम / etc / default / distcc में परिवर्तन करेंगे। हम मशीन के बूट होने पर डेमॉन की शुरुआत को चालू करते हैं:

STARTDISTCC="true"

हम सबनेट को इंगित करते हैं जिसके साथ हम अनुरोधों को सुनते हैं:

ALLOWEDNETS="192.168.3.0/24"

उस पते को निर्दिष्ट करें जिस पर सेवा बंदरगाह को सुनेगी:

LISTENER="192.168.3.103"

प्राथमिकता जिसके साथ चलने की प्रक्रिया काम करेगी:

NICE="15"

MDNS / DNS-SD के माध्यम से सक्षम या डिस्कवरी

ZEROCONF="false"

/ Etc / distcc / मेजबान में मानों को gentoo पर भी भरा जाता है, यदि आवश्यक हो (मेरे डेबियन का उपयोग केवल distcc सर्वर के रूप में किया जाता है)।

अब हमें इस्तेमाल किए गए gcc के संस्करण में एक प्रतीकात्मक लिंक जोड़ने की जरूरत है, लिंक पर क्लाइंट पर निष्पादन योग्य फ़ाइल का नाम होना चाहिए (i686-pc-linux-gnu-c ++):

cd /usr/bin/ 
      

        
        
        
      

     ln -s ./g++-4.4 ./i686-pc-linux-gnu-c++ 
      

        
        
        
      

     ln -s ./cpp-4.4 ./i686-pc-linux-gnu-cpp 
      

        
        
        
      

     ln -s ./gcc-4.4 ./i686-pc-linux-gnu-gcc 
      

        
        
        
      

     ln -s ./g++-4.4 ./i686-pc-linux-gnu-g++

Distcc सर्वर चलाएँ:

/etc/init.d/distccd start

यह स्पष्ट किया जाना चाहिए कि i686-pc-linux-gnu-c ++ जैसे लिंक बनाए जाने चाहिए, क्योंकि क्लाइंट सिस्टम (gentoo) पर इसी नाम से एक हार्ड लिंक, जो कि gcc-4.4 भी है, संकलन के दौरान लॉन्च किया गया है।

इसके अलावा, सर्वोत्तम परिणामों के लिए, मैंने tmpfs फाइल सिस्टम में अस्थायी फ़ाइलों के लिए बिल्ड डायरेक्टरी रखी।

परीक्षण

अब आइए उदाहरणों की प्रभावशीलता को जांचने का प्रयास करें। प्रयोग की शुद्धता के लिए, विधानसभा को 3 बार किया गया। हम mplayer इकट्ठा करेंगे, बस पहले एक हाथ में आ गया। हम समय उपयोगिता का उपयोग करके परीक्षण करेंगे, जो आउटपुट पर निम्नलिखित संकेतक देता है:

उपयोगकर्ता - सीपीयू समय की कुल संख्या जो प्रक्रिया उपयोगकर्ता मोड में खर्च होती है।

sys CPU समय की कुल संख्या है जो प्रक्रिया कर्नेल मोड में खर्च होती है।

वास्तविक - वास्तविक बीता हुआ समय (सेकंड में)।

1 -जैक विकल्प के साथ डिस्टेक और ccache (-distcc -ccache) का उपयोग किए बिना स्थानीय होस्ट पर मेपर का निर्माण करें

time MAKEOPTS="-j2" FEATURES="-distcc -ccache" emerge -vt mplayer

1	2	3
असली 3m56.979s उपयोगकर्ता 6m11.729s sys 0m44.551s	असली 3m55.825s उपयोगकर्ता 6m12.151s sys 0m43.660s	असली 3m55.745s उपयोगकर्ता 6m12.351s sys 0m43.671s

2 -J3 विकल्प के साथ डिस्टेक और ccache (-distcc -ccache) का उपयोग किए बिना स्थानीय होस्ट पर मेपर का निर्माण करें

time MAKEOPTS="-j3" FEATURES="-distcc -ccache" emerge -vt mplayer

1	2	3
असली 3m57.662s उपयोगकर्ता 6m15.214s sys 0m43.392s	असली 3m58.108s उपयोगकर्ता 6m14.779s sys 0m43.656s	असली 3m57.901s उपयोगकर्ता 6m14.894s sys 0m43.464s

3 डिस्टेक का उपयोग किए बिना स्थानीय होस्ट पर मेपर का निर्माण करें, लेकिन -j2 विकल्प के साथ ccache सक्षम (-distcc ccache) के साथ

time MAKEOPTS="-j2" FEATURES="-distcc ccache" emerge -vt mplayer

1	2	3
असली 4m14.438s उपयोगकर्ता 6m28.199s sys 1m0.705s	वास्तविक 0m58.587s उपयोगकर्ता 0m39.101s sys 0m25.706s	वास्तविक 0m57.901s उपयोगकर्ता 0m38.940s sys 0m25.564s

स्थानीय मेजबान पर 4 मील का पत्थर का उपयोग कर distcc का उपयोग करें, लेकिन बिना ccache (distcc -ccache) -j10 विकल्प के साथ

time MAKEOPTS="-j10" FEATURES="distcc -ccache" emerge -vt mplayer

1	2	3
असली 2m26.516s उपयोगकर्ता 1m6.692s sys 0m34.821s	वास्तविक 2m27.065s उपयोगकर्ता 1m6.643s sys 0m34.856s	असली 2m26.965s उपयोगकर्ता 1m6.593s sys 0m34.569s

5 -j10 विकल्प के साथ डिस्टेक और ccache (distcc ccache) का उपयोग करते हुए स्थानीय होस्ट पर mplayer बनाएँ

time MAKEOPTS="-j10" FEATURES="distcc ccache" emerge -vt mplayer

1	2	3
असली 2m28.590s उपयोगकर्ता 1m16.117s sys 0m45.723s	असली 0m57.456s उपयोगकर्ता 0m39.892s sys 0m24.781s	असली 0m57.411s उपयोगकर्ता 0m39.947s sys 0m24.692s

मैंने कुछ कठिन प्रयास करने का फैसला किया, उदाहरण के लिए, क्रोमियम

5 पहले हम डिस्टेक और ccache के बिना एक स्थानीय मशीन पर इकट्ठा करते हैं।

time MAKEOPTS="-j2" FEATURES="-distcc -ccache" emerge -vt chromium

1	2	3
असली 67m30.435s उपयोगकर्ता 116m58.378s sys 11m57.523s	असली 66m50.345s उपयोगकर्ता 115m48.389s sys 11m59.223s	असली 67m45.165 उपयोगकर्ता 116m59.548s sys 11m57.530s

6 डिस्ट (distcc -ccache) का उपयोग करके निर्माण करने की कोशिश करते हैं

time MAKEOPTS="-j10" FEATURES="distcc -ccache" emerge -vt chromium

1	2	3
असली 36m25.392s उपयोगकर्ता 16m2.063s sys 8m8.307s	असली 35m15.291s उपयोगकर्ता 15m10.604s sys 7m4.378s	असली 35m22.390s उपयोगकर्ता 15m1.423s sys 7m5.156s

7 पहले से ही बेहतर है, अब चलो एक ही बात की कोशिश करते हैं, लेकिन distcc और ccache का उपयोग करते हैं।

time MAKEOPTS="-j10" FEATURES="distcc ccache" emerge -vt chromium

1	2	3
असली 32m2.656s उपयोगकर्ता 18m56.006s sys 10m57.023s	असली 17m22.228s उपयोगकर्ता 18m1.757s sys 9m36.169s	असली 16m59.284s उपयोगकर्ता 17m59.577s sys 8m35.679s

निष्कर्ष:

खैर, आप पूरी तस्वीर को देख सकते हैं, और परीक्षणों के परिणामों को संक्षेप में बता सकते हैं। और निष्कर्ष निम्नलिखित है: डिस्टेक का उपयोग करने से बिल्ड समय लगभग आधा हो जाता है, और जब ccache के साथ जोड़ा जाता है, तो गति लगभग चार गुना बढ़ जाती है। अपने लिए, मैंने तय किया कि मैं इन उपकरणों का उपयोग करना जारी रखूंगा।

डिस्टेक और ccache का उपयोग करना, कॉन्फ़िगर करना और परीक्षण करना