मैंने अपाचेडेव को कैसे बचाया ।.ru

मैंने अपाचे 2 के इंटर्नल को समर्पित एक साइट (जो मैंने कई सालों तक नहीं देखी थी) का दौरा करने का फैसला किया। लेकिन मुझे होस्टर से केवल एक संदेश दिखाई दिया कि साइट अस्थायी रूप से अवरुद्ध थी । मैंने यैंडेक्स में एक अनुरोध किया: खोज इंजन में पहले से ही कैश में कुछ भी नहीं है। मुझे लगता है कि साइट लंबे समय से अवरुद्ध है। एसएमएस की मदद से, मैंने एक दिन के लिए होस्टिंग बढ़ा दी और देखा कि दिसंबर 2007 से कोई अपडेट नहीं था। मैंने डोमेन संपर्कों में निर्दिष्ट ईमेल के माध्यम से लेखक से संपर्क करने की कोशिश की। मुझे उत्तर नहीं मिला ...







यह ध्यान दिया जाना चाहिए कि मैं बचाया साइट के साथ भाग्यशाली था। यह सरल और तार्किक है। लेखों की प्रतिलिपि बनाना, चित्र एक लंबी और उबाऊ प्रक्रिया है। मैंने एक ही बार में सब कुछ कॉपी करने का फैसला किया। हमारे पास क्या है:

• स्रोत साइट पूरी तरह से स्थिर है
• ModRewrite सब कुछ एक php स्क्रिप्ट में फेंकता है
• स्क्रिप्ट कैश में फ़ाइल की तलाश करती है, यदि कैश में नहीं है, तो स्रोत साइट से अनुरोध करता है
• सब कुछ साइक्लाइट में स्टोर करने का फैसला किया

डेटा स्टोर के रूप में, मैंने इनके बीच चयन किया:

फ़ाइलों को निम्नानुसार संग्रहीत करें : i.e. यदि पृष्ठ का स्रोत पता /topic/123.html है, तो एक विषय निर्देशिका बनाएं और उसमें फाइलें डालें। उदाहरण के लिए, wget यह करता है। लेकिन मुझे यह तरीका पसंद नहीं आया।



URI से एक md5 हैश बनाएँ और डेटा / TUTHESH.db फ़ाइल में बहुत सारी फाइलें सेव करें। तब आपको इस फ़ोल्डर में कुछ भी नहीं मिल सकता है। मुझे यह पसंद नहीं आया



Sqlite बेस में md5 हैश और स्टोर करें । इसके मूल में, यह पिछले संस्करण के समान है, लेकिन केवल एक फ़ाइल के साथ। Mysql में भंडारण के लिए एक और विकल्प पर विचार किया गया था - लेकिन यह पहले से ही दर्दनाक रूप से मोबाइल और भारी नहीं है। और साइक्लाइट: कई फ़ाइलों को एक नई जगह पर लिखा है - साइट तैनात है और जाने के लिए तैयार है।

ModRewrite - मैंने कुछ नया आविष्कार नहीं किया है:

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule . /index.php

# :

RewriteCond %{HTTP_HOST} !^apache2dev\.ru$

RewriteRule ^ apache2dev.ru%{REQUEST_URI} [R=301,L]

यह कैसे काम करता है - index.php

स्रोत कोड यहां पाया जा सकता है: apache2dev.ru/index.phps



1. हम $ _SERVER ['REQUEST_URI'] लेते हैं, बस अगर हम लक्ष्य साइट का पता जोड़ते हैं,

2. md5 हैश प्राप्त करें

3. हम देखते हैं कि क्या स्थानीय कैश में कोई अनुरोधित पृष्ठ है

4. यदि नहीं, तो हम साइट पर स्रोत का अनुरोध करते हैं, हम प्रतिक्रिया हेडर को पार्स करते हैं। हम केवल दो में रुचि रखते हैं: 'सामग्री-प्रकार' और 'अंतिम-संशोधित'

5. कैश हेडर और प्रतिक्रिया। हम HTML फाइल को थोड़ा प्रोसेस करने के बाद क्लाइंट को रिजल्ट देते हैं। मानदंड सामग्री-प्रकार = पाठ / html

6. एक दिन के लिए समय सीमा समाप्त करें।



मैंने अपने लिए निर्णय लिया कि कैश में मैं डेटा को उसके मूल रूप में संग्रहीत करूंगा।



एक डेटाबेस बनाएँ:

CREATE TABLE storage (loc TEXT PRIMARY KEY, heads TEXT, fdata TEXT, location TEXT);

अब जब मैंने अपनी साइट खोली और उस पर चित्रों के साथ एक पृष्ठ देखा, तो डेटा का पहला टुकड़ा एक स्थानीय कैश में सहेजा गया था।



मैं दौड़ता हूं 'wget -r .ru'



'wget -r .ru'



और 'wget -r .ru'



थोड़ा काम करने 'wget -r .ru'



। wr -r स्विच के साथ पूरी साइट को पुन: डाउनलोड करने का प्रयास करता है। वह इसे बहुत अच्छी तरह से नहीं करता है। उदाहरण के लिए, वह नहीं जानता कि जावास्क्रिप्ट क्या है। अब मैं साइट खोलता हूं और पृष्ठों पर जाता हूं कि क्या छूट गई।



अंत में, मैंने अपने घुटने पर एक और स्क्रिप्ट को स्केच किया जो दिखाता है कि अब स्थानीय डेटाबेस में क्या है। जल्दी से सूची को देखते हुए, कुछ पंक्तियों को हटा दें।



स्रोत: apache2dev.ru/list.phps



मैंने साइट को एक ऑपरेटिंग मोड में रखा, अर्थात। तर्क अब यह है: यदि स्थानीय कैश में कोई डेटा नहीं है, तो हम स्रोत साइट से कुछ भी अनुरोध नहीं करेंगे, लेकिन बस त्रुटि 4/4 प्रदर्शित करते हैं।

गति माप

मैंने ab का उपयोग करके मापा: एक 70kb चित्र और एक मनमाना html पृष्ठ। अंतर केवल अतिरिक्त preg_replace में है (मैंने खुद को थोड़ा सा विज्ञापन निकालने की अनुमति दी, रिश्तेदार लोगों के साथ पूर्ण लिंक बदल दिए और एक चेतावनी डाली कि यह पृष्ठ एक प्रतिलिपि है)



# ab -c 10 -n 1000 apache2dev.ru/images/ff_adds/validator.gif

प्रति सेकंड अनुरोध: 417.32 [# / सेकंड] (मतलब)



# अब-सी १०-एन १००० अपाचे २देव.वन। २०००/६०/२०१ -/२२/ustanovka - apache - 20-2

प्रति सेकंड अनुरोध: 29.66 [# / सेकंड] (मतलब)



परिणाम मुझे काफी सूट करता है।

इस दृष्टिकोण के पेशेवरों और विपक्ष:

• आपको एक साइट को केवल एक बार "सेव" करने की आवश्यकता है, और फिर आप इसके बारे में भूल सकते हैं। मुझे किसी तरह से Wordpress से डर लगता है: आपको मॉनिटर, अपडेट आदि की आवश्यकता है।
• साइट 7 फ़ाइलों में फिट होती है, यह कॉपी करना सुविधाजनक है; साइक्लाइट आधार - 20mb
• न्यूनतम सिस्टम आवश्यकताएँ
• मुख्य दोष (मेरी राय में) यह तथ्य है कि हर साइट को इस तरह से नहीं बचाया जा सकता है। ऐसी साइटें हैं, जिनके लिंक आप कभी नहीं रोक सकते।

संभावित सुधार:

• डेटाबेस में, डेटा पहले से ही संसाधित रूप में संग्रहीत किया जा सकता है (preg_replace, आदि)।
• और डेटा को संपीड़ित रूप में संग्रहीत किया जा सकता है। स्वीकार-एन्कोडिंग की जाँच करें: अगर गज़िप है - जैसा है, अन्यथा अनपैक करें
• यदि आपको उच्च प्रदर्शन की आवश्यकता है, तो आप nginx को php स्क्रिप्ट द्वारा डेटा आउटपुट को कैश करने के लिए कह सकते हैं
• पृष्ठ URI तैयार करें। उदाहरण के लिए, सभी प्रकारों को हटा दें? से = top10 ,? From = ap2.2, अब एक ही पृष्ठ (लेकिन अलग-अलग पते वाले) कई बार सहेजे जाते हैं।
• संदर्भ के माध्यम से file_get_contents फ़ंक्शन के लिए पैरामीटर max_redirects = 0 पास करें, त्रुटि को हैंडल करें और स्थान हेडर को सहेजें। अब उपयोगकर्ता से अनुरोध किया जा रहा है /get.php?=/download/123.pdf तुरंत डेटा प्राप्त करेगा, जैसे कि पीडीएफ फाइल इस पते पर स्थित है, क्योंकि file_get_content फ़ंक्शन (हमारी index.php फ़ाइल में) रीडायरेक्ट को देखने के बाद, यह किसी को भी एक शब्द कहे बिना इसे स्वचालित रूप से निष्पादित करेगा। और विचार के अनुसार, उपयोगकर्ता को HTTP / 1.1 302 संस्थापक सर्वर से एक प्रतिक्रिया मिलनी चाहिए, और सीधे फ़ाइल में ही एक और अनुरोध करना चाहिए।

वैसे, प्रश्न में अपाचे के बारे में साइट: apache2dev.ru

पूरा सेट: apache2dev.ru/catcher.tgz