टूटे हुए लिंक - कुछ आंकड़े

आज डी'आर्टगन और इंटरनेट के विषय को देखते हुए , या टूटी हुई लिंक की समस्या पर काम करते हुए , मैंने अपने मास्टर की थीसिस के लेखन के दौरान एकत्र किए गए कुछ आंकड़ों को आपके साथ साझा करने का निर्णय लिया।



मेरे डिप्लोमा में, एक कार्य एक संसाधन पर टूटी हुई लिंक की समस्या को हल करना था। समस्या की प्रासंगिकता दिखाने के लिए, मैंने विकिपीडिया डेटाबेस डंप को डाउनलोड किया और कार्यक्रम द्वारा लेखों में 700 हजार बाहरी लिंक की कार्यक्षमता की जाँच की।



यह पता चला कि 20% लिंक टूट गए हैं!

अध्ययन

लिंक को निम्नलिखित मामलों में टूटा हुआ माना गया था:

। DNS से ​​डोमेन हटाना।

Failure HTTP कनेक्शन विफलता।

Code HTTP प्रतिक्रिया कोड 4xx या 5xx प्राप्त करना - मूल रूप से, एक पृष्ठ (404) को हटाना, एक्सेस (403), सर्वर त्रुटि (500) को नकारना।

To आंतरिक पेज से होम पेज पर रीडायरेक्ट करें।

○ अनंत HTTP 3xx पुनर्निर्देशन।



_{साथ ही, PHP, ASP, आदि की प्रोग्राम त्रुटियों के लिए पृष्ठ सामग्री के प्रतिस्थापन की निगरानी की गई थी, लेकिन यह डेटा आँकड़ों में शामिल नहीं था।}



डेटाबेस अगस्त 2009 में प्राप्त किया गया था।

फिर 3 जाँचें की गईं:

● अक्टूबर 2009 - 20.7% लिंक टूटे

● नवंबर 2009 - 22.4%

● अप्रैल 2010 - 23.8%



टूटे हुए लिंक की संख्या में क्रमिक वृद्धि को नोट किया जा सकता है। इसी समय, उन लोगों में से केवल 4% जिन्होंने पहले काम नहीं किया था, उन्होंने अपना काम बहाल किया। यानी अधिकांश मामलों में, विफलता अपरिवर्तनीय है।



नीचे दिए गए आंकड़े लिंक की निष्क्रियता के कारणों के आंकड़े दिखाते हैं:





संघीय शैक्षिक पोर्टल www.edu.ru के बाहरी साइटों के लिंक की सूची की एक समान जांच से पता चला कि एक समान तस्वीर - 24.5% लिंक काम नहीं करते हैं।



बेशक, ऐसा अध्ययन गंभीर और वैज्ञानिक नहीं है, और परिणाम बहुत सटीक नहीं हैं। शायद चेक किए जा रहे लिंक लेखों के पुराने संस्करणों से संबंधित थे, मैं इसे ट्रैक नहीं कर सका। लेकिन यह स्पष्ट है कि टूटी हुई लिंक की समस्या मौजूद है। कुछ और नंबर:



DomainTools के अनुसार , उन साइटों के डोमेन नाम की संख्या जो केवल एक दिन में समाप्त हो गई है, लगभग 100,000 है, और सामान्य तौर पर उनकी राशि मौजूदा लोगों की संख्या 3 गुना (जोनों के लिए .com, .org, .net, .info) से अधिक है। और .us)

Archive.org का दावा है कि एक वेब पेज की औसत जीवन अवधि 44-75 दिनों के बीच है।

क्या करें?

यदि आपको बाहरी लिंक के सुचारू संचालन को सुनिश्चित करने की आवश्यकता है, तो आप निम्न विधियों में से एक का उपयोग कर सकते हैं:



1. समय-समय पर स्वचालित परीक्षण और टूटे हुए लिंक को छुपाना / हटाना।

यह दृष्टिकोण उन मामलों में लागू होता है जहां लिंक का प्रदर्शन महत्वपूर्ण नहीं है या आपको पूरी साइट पर लिंक देने की आवश्यकता है। ऐसे तैयार कार्यक्रम हैं जो इस सिद्धांत को लागू करते हैं: PHP स्पाइडर, ht: // चेक, वीईएनएस, आदि।



2. अपने सर्वर पर संसाधन की एक प्रति सहेजना और उसके लिए एक लिंक जारी करना।

यह दृष्टिकोण पहले के लिए बेहतर है, अगर उपयोगकर्ताओं को असीमित समय के लिए संसाधन तक पहुंच प्रदान करना महत्वपूर्ण है। यह पृष्ठ सामग्री को दूसरे के साथ बदलने की संभावना को भी बाहर करता है। यह संग्रहीत प्रतियों के कॉपीराइट के अनुपालन की समस्या को जन्म देता है।

यह विधि विशिष्ट पृष्ठ / दस्तावेज़ से जोड़ने के लिए अधिक उपयुक्त है, जैसा कि पूरी साइट की एक प्रति रखना काफी मुश्किल है।

इस सिद्धांत का उपयोग करने वाली सेवा का एक उदाहरण Peeep.us है । इसके अलावा, 1996 से, इंटरनेट आर्काइव इलेक्ट्रॉनिक लाइब्रेरी की वेबैक मशीन सेवा संचालित हो रही है, जो समय-समय पर इंटरनेट पर सार्वजनिक रूप से सुलभ वेब पेजों की प्रतियां एकत्र करती है।



3. तरीकों 1 और 2 का संयोजन मूल संसाधन को एक लिंक प्रदान करना है, और एक सहेजे गए प्रतिलिपि के लिए कार्य क्षमता या परिवर्तन के नुकसान के मामले में।



4. URN , PURL - वे वास्तव में कैसे उपयोग किए जा सकते हैं यह बहुत स्पष्ट नहीं है।