🏵️ 🤦🏽 ☘️ कैसे gzip संपीड़न काम करता है 🌋 🛕 😯

हर आदमी के जीवन में एक समय आता है जब यातायात बढ़ रहा है और ~~सर्वर मर रहा है,~~ आपको अनुकूलन के बारे में सोचने की जरूरत है। नवीनतम PHP डाइजेस्ट ( नं। 40 ) में, "हाउ GZIP कम्प्रेशन वर्क्स" लेख को संदर्भित किया गया था। आंकड़ों के आधार पर, 56% वेबसाइटें GZIP का उपयोग करती हैं। मुझे उम्मीद है कि यह लेख पाठक को इस तकनीक की खूबियों का खुलासा करेगा।

पाठ में त्रुटियां संभव हैं (मैंने कई बार प्रूफरीडिंग की, लेकिन अभी भी अचानक), इसलिए मैं पहले से माफी मांगता हूं और आपको निजी संदेशों के माध्यम से सभी समस्याओं के बारे में सूचित करने के लिए कहता हूं यदि अनुवाद का कुछ हिस्सा आपको गलत लगता है।

यहां तक कि आधुनिक दुनिया में, एक हाई-स्पीड इंटरनेट कनेक्शन और जानकारी के असीमित भंडारण के साथ, डेटा संपीड़न अभी भी प्रासंगिक है, विशेष रूप से मोबाइल उपकरणों और धीमे इंटरनेट कनेक्शन वाले देशों के लिए। यह पोस्ट वेबसाइटों पर पाठ डेटा को संपीड़ित करने के लिए एक वास्तविक तथ्यात्मक संपीड़न विधि का वर्णन करता है: GZIP।

Gzip संपीड़न

GZIP दोषरहित संपीड़न प्रदान करता है, दूसरे शब्दों में, मूल डेटा अनपैकिंग के दौरान पूरी तरह से बहाल किया जा सकता है। यह DEFLATE एल्गोरिथम पर आधारित है, जो LZ77 एल्गोरिथ्म और हफमैन एल्गोरिथ्म के संयोजन का उपयोग करता है।

एलगोरिदम LZ77

LZ77 एल्गोरिथ्म "लिंक" के साथ डेटा की बार-बार होने वाली घटनाओं की जगह लेता है। यानी यदि उपलब्ध डेटा में तत्वों की कुछ श्रृंखला एक से अधिक बार होती है, तो इसके बाद की सभी घटनाओं को "लिंक" द्वारा इसके पहले उदाहरण में बदल दिया जाता है। एल्गोरिथ्म हॉरर_एक्स द्वारा अच्छी तरह से समीक्षा की गई है और यहां वर्णित है । इस तरह के प्रत्येक लिंक के दो अर्थ हैं: ऑफसेट और लंबाई।

आइए एक उदाहरण देखें:

मूल पाठ: "ServerGrove, PHP होस्टिंग कंपनी, PHP परियोजनाओं के लिए होस्टिंग समाधान प्रदान करता है" (81 बाइट्स)

LZ77: "सर्वर ग्रोव, PHP होस्टिंग कंपनी, पी <3.32> आईडी <9.26> <5.52> <3.35> जेसेस" के लिए समाधान (73 बाइट्स, यह मानते हुए कि प्रत्येक संदर्भ 3 बाइट्स है)

जैसा कि आप देख सकते हैं, "होस्टिंग" और "PHP" शब्द दोहराए जाते हैं, इसलिए दूसरी बार जब एक विकल्प पाया जाता है, तो इसे एक लिंक से बदल दिया जाएगा। अन्य मैच हैं, जैसे "एर", लेकिन क्योंकि यह महत्वहीन है (इस मामले में - "एर" दूसरे शब्दों में अनुपस्थित है) , मूल पाठ बना हुआ है।

हफ़मैन कोडिंग

हफ़मैन कोडिंग एक चर लंबाई कोडिंग विधि है जो अधिक बार "वर्ण" के लिए छोटे कोड असाइन करती है। चर कोड लंबाई के साथ समस्या आमतौर पर यह है कि हमें यह पता लगाने के लिए एक तरीका चाहिए जब कोड समाप्त हो गया और इसे डिक्रिप्ट करने के लिए एक नया शुरू हुआ।

हफ़मैन कोडिंग एक उपसर्ग कोड बनाकर इस समस्या को हल करती है जहाँ कोई कोडवर्ड दूसरे का उपसर्ग नहीं होता है। यह एक उदाहरण के साथ अधिक स्पष्ट हो सकता है:

> मूल पाठ: "ServerGrove"

ASCII कोडीकरण: "01010011 01100101 01110010 01110110 01100101 01110010 01000111 01110010 01101111 01110110 01100101" (88 बिट्स)

ASCII एक निश्चित-लंबाई वाला वर्ण एन्कोडिंग सिस्टम है, इसलिए "ई" अक्षर, जो तीन बार दोहराया जाता है, और अंग्रेजी भाषा का सबसे सामान्य अक्षर भी है, अक्षर "G" के समान आकार है, जो केवल एक बार दिखाई देता है। इस सांख्यिकीय जानकारी का उपयोग करते हुए, हफमैन सबसे अनुकूलित प्रणाली बना सकता है।

हफ़मैन: "1110 00 01 10 00 01 1111 01 110 10 00" (27 बिट)

हफ़मैन पद्धति हमें "ई", "आर" और "वी" के लिए छोटे कोड प्राप्त करने की अनुमति देती है, जबकि "एस" और "जी" लंबे समय तक हैं। यह बताते हुए कि हफ़मैन पद्धति का उपयोग कैसे किया जाना इस पद के दायरे से परे है, लेकिन यदि आप रुचि रखते हैं, तो मेरा सुझाव है कि आप अपने आप को कंप्यूटरफाइल (या हैबे पर एक लेख) पर उत्कृष्ट वीडियो से परिचित कराएं ।

DEFLATE, GZIP संपीड़न में प्रयुक्त एल्गोरिदम के रूप में, इन दोनों एल्गोरिदम का एक संयोजन है।

Gzip सबसे अच्छा संपीड़न विधि है?

जवाब है नहीं। ऐसे अन्य तरीके हैं जो उच्च संपीड़न दर देते हैं, लेकिन इस एक का उपयोग करने के कई अच्छे कारण हैं।

सबसे पहले, भले ही GZIP सबसे अच्छा संपीड़न विधि नहीं है, यह गति और संपीड़न अनुपात के बीच एक अच्छा समझौता प्रदान करता है। GZIP संपीड़न और विघटन तेज हैं और संपीड़न अनुपात उच्च है।

दूसरे, एक नई वैश्विक डेटा संपीड़न विधि को लागू करना आसान नहीं है जिसका उपयोग हर कोई कर सकता है। ब्राउज़रों को एक अपडेट की आवश्यकता होगी, जो आज ऑटो-अपडेट के कारण बहुत आसान है। जैसा कि यह हो सकता है, ब्राउज़र केवल समस्या नहीं है। क्रोमियम ने BZIP2 के लिए समर्थन जोड़ने की कोशिश की, जो बरोज़-व्हीलर ट्रांसफ़ॉर्म पर आधारित एक बेहतर तरीका है, लेकिन इसे छोड़ना पड़ा, क्योंकि कुछ मध्यवर्ती परदे के पीछे डेटा विकृत कर दिया क्योंकि bzip2 हेडर को पहचान नहीं सका और उसने gzip सामग्री को संसाधित करने का प्रयास किया। एक बग रिपोर्ट यहां उपलब्ध है ।

Gzip + http

क्लाइंट (ब्राउज़र) और सर्वर के बीच संपीड़ित सामग्री प्राप्त करने की प्रक्रिया काफी सरल है। यदि ब्राउज़र में GZIP / DEFLATE समर्थन है, तो यह सर्वर को "स्वीकार-एन्कोडिंग" शीर्षक के लिए इस धन्यवाद को समझता है। फिर, सर्वर यह चुन सकता है कि सामग्री को संपीड़ित या मूल रूप में भेजा जाए या नहीं।

कार्यान्वयन

DEFLATE विनिर्देश डेवलपर्स को विभिन्न दृष्टिकोणों का उपयोग करके एल्गोरिथ्म को लागू करने के लिए कुछ स्वतंत्रता प्रदान करता है, जब तक कि परिणामी स्ट्रीम विनिर्देश के साथ संगत है।

GNU GZIP

GNU कार्यान्वयन सबसे आम है और इसे एक संग्रह उपयोगिता के लिए एक प्रतिस्थापन बनने के लिए डिज़ाइन किया गया है जो कि मालिकाना एल्गोरिदम से मुक्त है। GNU GZIP उपयोगिता का उपयोग करके किसी फ़ाइल को संपीड़ित करने के लिए:

$ gzip -c file.txt> file.txt.gz

9 संपीड़न स्तर हैं, "1" (सबसे कम संपीड़न अनुपात के साथ सबसे तेज़) से "9" (सबसे अच्छा संपीड़न अनुपात के साथ सबसे धीमा)। डिफ़ॉल्ट रूप से, "6" का उपयोग किया जाता है। यदि आपको अधिक मेमोरी और समय का उपयोग करके अधिकतम संपीड़न की आवश्यकता होती है, तो "-9" (या "-एज़ेंट") ध्वज का उपयोग करें:

$ gzip -9 -c file.txt> file.txt.gz

7-ज़िप

7-ज़िप अलग DELFATE एल्गोरिथ्म को अलग करता है और आमतौर पर एक उच्च संपीड़न अनुपात के साथ अभिलेखागार। फ़ाइल को यथासंभव संपीड़ित करने के लिए:

7z a -mx9 file.txt.gz file.txt

7-ज़िप विंडोज के लिए भी उपलब्ध है और अन्य संपीड़न विधियों के लिए एक कार्यान्वयन प्रदान करता है, जैसे 7z, xz, bzip2, zip और अन्य।

Zopfli

ज़ोफ़ली एक बार के संपीड़न के लिए आदर्श है, उदाहरण के लिए उन स्थितियों में जहां एक फ़ाइल को एक बार संकुचित और पुन: उपयोग किया जाता है। यह 100 गुना धीमा है, लेकिन संपीड़न दूसरों की तुलना में 5% बेहतर है। हबप्रोस्ट ।

गज़िप सक्षम करें

अपाचे

Mod_deflate मॉड्यूल GZIP समर्थन प्रदान करता है, इसलिए नेटवर्क पर क्लाइंट को भेजे जाने से पहले सर्वर प्रतिक्रिया मक्खी पर संपीड़ित होती है। पाठ फ़ाइलों के संपीड़न को सक्षम करने के लिए, आपको लाइनों के साथ .htaccess जोड़ना होगा:

AddOutputFilterByType पाठ / सादे को हटाएं

AddOutputFilterByType पाठ / HTML को हटाएं

AddOutputFilterByType पाठ / xml को हटाएं

AddOutputFilterByType पाठ / सीएसएस को हटा दें

AddOutputFilterByType आवेदन / xml को हटाएं

AddOutputFilterByType एप्लिकेशन को हटाएं / xHTML + xml

AddOutputFilterByType आवेदन / rss + xml को हटा दें

AddOutputFilterByType आवेदन / जावास्क्रिप्ट को हटा दें

AddOutputFilterByType एप्लिकेशन / X-javascript को हटाएं

ब्राउज़रों के कुछ संस्करणों में कई ज्ञात कीड़े हैं, इसलिए इसे जोड़ने के लिए भी * की सिफारिश की जाती है:

BrowserMatch ^ मोज़िला / 4 gzip-only-text / html

BrowserMatch ^ मोज़िला / 4 \ .0 [678] नो-जीज़िप

BrowserMatch \ bMSIE! नहीं-gzip! Gzip-only-text / html

हैडर ने वरी यूजर-एजेंट को जोड़ा

* यह समाधान पहले ही प्रासंगिकता, साथ ही साथ उपरोक्त ब्राउज़रों को खो चुका है, इसलिए यह जानकारी सूचना के उद्देश्यों के लिए ली जा सकती है

इसके अलावा, आप प्रत्येक बार उन्हें संपीड़ित करने के बजाय पूर्व-संकुचित फ़ाइलों का उपयोग कर सकते हैं। यह उन फ़ाइलों के लिए विशेष रूप से उपयोगी है जो सीएसएस और जावास्क्रिप्ट जैसे हर अनुरोध के साथ नहीं बदलते हैं, जिन्हें धीमी एल्गोरिदम का उपयोग करके संकुचित किया जा सकता है। ऐसा करने के लिए:

रेवेरिटेंगिन पर

AddEncoding gzip .gz

रिवाइटरकंड% {HTTP: स्वीकार-एन्कोडिंग} gzip

% ReriteCond% {REQUEST_FILENAME} .gz -f

रेवेरिटुले ^ (। *) $ $ 1.gz [QSA, L]

यह अपाचे को समझता है कि .gz एक्सटेंशन वाली फ़ाइलों को संपीड़ित (पंक्ति 2) प्रदान की जानी चाहिए, आपको ब्राउज़र (लाइन 3) द्वारा gzip स्वीकृति की उपलब्धता की जांच करने की आवश्यकता है, और यदि संपीड़ित फ़ाइल मौजूद है (पंक्ति 4), हम अनुरोधित फ़ाइल के लिए .gz जोड़ते हैं।

nginx

Ngx_http_gzip_module मॉड्यूल आपको मक्खी पर GZIP का उपयोग करके फ़ाइलों को संपीड़ित करने की अनुमति देता है, जबकि ngx_http_gzip_static_module आपको सामान्य के बजाय ".gz" एक्सटेंशन के साथ पूर्व-संकुचित फ़ाइलें भेजने की अनुमति देता है।

एक उदाहरण विन्यास इस प्रकार है:

पर gzip;

gzip_min_length 1000;

gzip_types text / plain application / xml;

गज़िप + php

यद्यपि आमतौर पर PHP का उपयोग करके डेटा को संपीड़ित करने की अनुशंसा नहीं की जाती है, क्योंकि यह धीमी है, आप zlib मॉड्यूल का उपयोग करके ऐसा कर सकते हैं। उदाहरण के लिए, हम jQuery.min लाइब्रेरी पर अधिकतम संपीड़न का उपयोग करते हैं:

$originalFile = __DIR__ . '/jquery-1.11.0.min.js'; $gzipFile = __DIR__ . '/jquery-1.11.0.min.js.gz'; $originalData = file_get_contents($originalFile); $gzipData = gzencode($originalData, 9); file_put_contents($gzipFile, $gzipData); var_dump(filesize($originalFile)); // int(96380) var_dump(filesize($gzipFile)); // int(33305)

आउटपुट के बजाय (अनुवादक का नोट)

लेखक के लेख के तुलना परीक्षणों के एल्गोरिदम, आंकड़ों और परिणामों के अपने विवरणों को जोड़ने के लिए खुजली वाले हाथ कैसे थे, इसके बावजूद अनुवादक से हस्तक्षेप के बिना अनुवाद व्यावहारिक रूप से किया गया था। यह लेख लेखक और ServerGrove पोर्टल की अनुमति के साथ अनुवादित किया गया था ।

कैसे gzip संपीड़न काम करता है