बेशक, इस पोस्ट का शीर्षक थोड़ा बयानबाजी भरा है। क्योंकि:

1) कोई भी तरीके और मूल्यांकन मेट्रिक्स नहीं हैं जो सभी बाजार के खिलाड़ियों (जो मोटर वाहन व्यवसाय, कंप्यूटर हार्डवेयर या खेल में हैं) द्वारा मान्यता प्राप्त हैं। यह परीक्षण परिणामों की विश्वसनीयता और पर्याप्तता सुनिश्चित करने की मुख्य समस्या है। लेकिन यह उद्योग द्वारा सफलतापूर्वक संबोधित किया जाता है क्योंकि यह बड़ा होता है।



2) होलीवार्स की समस्या अधिक से अधिक जटिल होती जा रही है। सीएमएस प्लेटफ़ॉर्म हैं, और प्लेटफ़ॉर्म (यहां तक ​​कि विशुद्ध रूप से तकनीकी) मानव संस्कृति के सबसे कट्टरपंथी, रूढ़िवादी और धार्मिक अवधारणाएं हैं। क्योंकि हर तकनीकी या आध्यात्मिक मंच के पीछे जीवित लोग, उसके अनुयायी हैं। और लोग अपने प्लेटफॉर्म (रूढ़िवादी-प्रोटेस्टेंटवाद, उदार देशभक्तों, आईओएस-एंड्रॉइड, प्रक्रियात्मक प्रोग्रामिंग-ओओपी, टेम्प्लेट-एमवीसी, आदि में स्पेगेटी कोड) के मूल्यों के चश्मे के माध्यम से दुनिया को थोड़ा अलग तरीके से महसूस करते हैं।



इसलिए, जहाँ भी प्लेटफार्मों की तुलना करने का प्रयास किया जाता है, होलीवर स्वचालित रूप से शुरू हो जाएगा। बहुत से लोग केवल उन तर्कों को स्वीकार करने से इनकार कर देते हैं जो उनके मंच के हठधर्मिता, मूल्यों और विचारों के विपरीत हैं। कोई भी उचित शोधकर्ता आज धर्मशास्त्र विभाग के छात्रों की राय के आधार पर बाइबल और कुरान का तुलनात्मक परीक्षण प्रकाशित करने का साहस नहीं करेगा।



फिर भी, सीएमएस की तुलना सही ढंग से करना संभव है, यह कई छात्रों को एक प्रयोगशाला देने की तुलना में बहुत अधिक महंगा और अधिक जटिल है। अधिकांश बाजार पेशेवरों द्वारा कार्यप्रणाली, मैट्रिक्स, परीक्षण की स्थिति, न्यायाधीशों और मान्यता में विश्वसनीयता का प्रश्न। इसके अलावा, पर्याप्त शोध विधियों के मामले में, उनकी समग्रता बहुत कम हो जाती है - यहां तक ​​कि हार्ड-कोर कट्टरपंथियों को स्पष्ट और सिद्ध तथ्यों के साथ बहस करना अधिक कठिन लगता है।



सब कुछ के बाद जो यहाँ और यहाँ लिखा गया है, मैं समुदाय की तुलना के तरीकों और विकास प्लेटफार्मों की पसंद के बारे में मेरी दृष्टि की पेशकश नहीं कर सकता, जो बाजार में कई सहयोगियों द्वारा समर्थित था।

रेटिंग, परीक्षण या अध्ययन

रेटिंग बाजार पर विभिन्न उत्पादों की लोकप्रियता हैं। हमारे पास पहले से ही पूरी तरह से अलग परिणामों के साथ दो या तीन रेटिंग हैं। वे उत्पादों की लोकप्रियता के बारे में बात करते हैं, लेकिन उनके गुणों के बारे में नहीं (हालांकि गुणवत्ता और लोकप्रियता के बीच संबंध है)।



टेस्ट उत्पादों के उपभोक्ता गुणों की तुलना है। उत्पादों की लोकप्रियता का कोई संदर्भ नहीं है, हालांकि सबसे लोकप्रिय लोगों की हमेशा तुलना की जाती है।



बाजार पर कोई सीएमएस परीक्षण नहीं हैं। साइट का प्रत्येक डेवलपर या ग्राहक स्वयं एक तकनीक के अनुसार सीएमएस का परीक्षण करता है जिसे वह समझता है और अपने स्वयं के परीक्षण परिणामों के आधार पर चयन करता है।



वेब विकास के अर्थशास्त्र या वेबसाइट के स्वामित्व की अर्थव्यवस्था पर विभिन्न सीएमएस के प्रभाव का व्यापक अध्ययन । यह वही है जो डेवलपर्स और उनके ग्राहकों को वास्तव में चाहिए। वे सबसे उपयोगी जानकारी ले जाएंगे। और वे, दुर्भाग्य से, व्यवस्थित करने के लिए सबसे कठिन हैं।

संपूर्ण या व्यक्तिगत गुण

उनके तकनीकी गुणों के आधार पर सर्वश्रेष्ठ सार्वभौमिक सीएमएस के दो या तीन की तुलना करना और असमान रूप से सर्वश्रेष्ठ में से उनका चयन करना लगभग असंभव है। अग्रणी उत्पाद इसलिए नेता हैं क्योंकि वे अपने व्यक्तिगत लाभ के साथ अपने व्यक्तिगत कमियों के लिए क्षतिपूर्ति करते हैं और, अपने गुणों के योग में, अन्य नेताओं के साथ तुलना में हैं। और बाहरी लोगों के साथ नेताओं की तुलना करना व्यर्थ है।



कार्य को गुंजाइश से कम करने के लिए यह सरल और अधिक यथार्थवादी है (एक ब्लॉग के लिए सबसे अच्छा सीएमएस, एक स्टोर के लिए, एक त्वरित साइट के लिए), या इसे व्यक्तिगत गुणों (प्रदर्शन, विकास की गति, विकास की गति, ..) के परीक्षणों में विभाजित करें।

सहानुभूति या मैट्रिक्स

यह श्री ओविचनिकोव के साथ मेरी वैज्ञानिक बहस का एक महत्वपूर्ण क्षण है। मैं (मैं और मैं अकेले नहीं) यह मानते हैं कि उनके बारे में लोगों की राय के आधार पर उत्पादों के तकनीकी वर्णक्रम का मूल्यांकन करना असंभव है। अन्यथा, उत्पादों के CHARACTERISTICS की तुलना करने के बजाय, हमें उत्पादों के CHARACTERISTICS के बारे में राय की तुलना मिलती है।

जनमत सर्वेक्षणों में राय का अध्ययन किया जाता है, लेकिन तकनीकी परीक्षणों में नहीं।

उदाहरण के लिए, एथलीटों के प्रदर्शन का मूल्यांकन (सार में समान तुलनात्मक परीक्षण) लें।

यदि एक धावक 9.9 सेकंड में सौ मीटर दौड़ता है और दूसरा 9.8 सेकंड में, तो लोगों की राय (यहां तक ​​कि न्यायाधीश) परिणाम को प्रभावित नहीं करते हैं।

फिगर स्केटिंग में, मेट्रिक्स कम सटीक होते हैं, लोग अंक देते हैं। लेकिन बड़ी संख्या में न्यायाधीशों द्वारा अशुद्धि को कम किया जाता है, विभिन्न देशों से उनकी संबद्धता, और सबसे महत्वपूर्ण बात - उनका व्यावसायिकता। विजयी स्केटर चुनने के लिए कोई भी सेवानिवृत्त और गृहिणियों की राय और सहानुभूति का सर्वेक्षण नहीं करता है, हालांकि पेंशनर्स और गृहिणियां स्केटर्स उत्पाद के मुख्य उपभोक्ता हैं। CMS का परीक्षण करते समय छात्र की राय पर सवाल उठाना भी गलत है, यह कहते हुए कि छात्र CMS के उपभोक्ता हैं।

मैं यह नहीं कह रहा हूं कि केवल सही लोगों और कार्यों की सही सेटिंग, सही परीक्षण स्थितियों का चयन करके लोगों की राय को प्रभावित करना आसान है। और परीक्षण के स्पष्ट बयान वाले उपकरणों की रीडिंग को चुनौती देना अधिक कठिन है।



सीएमएस, विभिन्न खेलों में, आसानी से मापने योग्य गुण हैं, और काफी सार वाले हैं (उदाहरण के लिए, इंस्टॉलर का डिज़ाइन या आइकन का डिज़ाइन)।



सीएमएस की मापा गुणवत्ता का मूल्यांकन कैसे करें? जैसे रन पर।

बस उन्हें उपकरणों और मैट्रिक्स के साथ मापें। डिवाइस आईटी ट्रैकर, स्टॉपवॉच और वीडियो कैमरा हैं। मेट्रिक्स एक कार्य को पूरा करने का समय और अन्य लागत हैं, क्रेटरिस पेरिबस।



सीएमएस के अपरिहार्य गुणों का मूल्यांकन कैसे करें? जैसे फिगर स्केटिंग में।

कई मान्यता प्राप्त और स्वतंत्र विशेषज्ञों की राय का साक्षात्कार करें। विशेषज्ञों को कहां प्राप्त करना है, यह नीचे एक और सवाल है।

सुविधा औसत दर्जे का है

यह हमारे लिए सुविधाजनक लगता है जो परिचित है और असामान्य के लिए असुविधाजनक है। यह सुविधा के वास्तविक विचार को बहुत विकृत करता है। स्याही के साथ काम करने के लिए पुश्किन का हंस क्विल शायद एक सुविधाजनक उपकरण था। और उसे वर्ड के साथ एक लैपटॉप दिखाएं - वह शायद ही इसके फायदे को पहचान पाएगा। लेकिन अगर पुश्किन ने लैपटॉप में महारत हासिल करने में समय और मेहनत खर्च की, तो कलम उन्हें अब ऐसा सुविधाजनक उपकरण नहीं लगेगा।



मुझे पूरा यकीन है कि सुविधा एक अमूर्त नहीं है। और सीएमएस की सुविधा एक रिश्तेदार नहीं है, लेकिन एक पूर्ण (और, इसलिए, औसत दर्जे का) पैरामीटर है, अगर आप लोगों की व्यक्तिगत वरीयताओं और अनुभव को छोड़ने का प्रबंधन करते हैं।

इसलिए, यह आवश्यक है कि राय के सर्वेक्षण द्वारा सुविधा का मूल्यांकन किया जाए "क्या यह आपके लिए सुविधाजनक है?", लेकिन माप के माध्यम से।



आप CMS की सुविधा को उस समय तक माप सकते हैं जब तक CMS को मास्टर करने में समय लगता है (जब आप पहली बार मिले कार्यों को पूरा करने के लिए लिया गया समय), व्यक्तिगत उपयोग के मामलों को पूरा करने के लिए समय और कार्यों की संख्या (क्लिक) द्वारा। प्रयोज्यतावादियों द्वारा अनुसंधान पद्धति और उपयोगकर्ता मामलों को विकसित किया जाना चाहिए।



90 के दशक में, जब हम अभी तक "प्रयोज्य", "इंटरफेस" और "सीएमएस" शब्दों को नहीं जानते थे, तो विषय "श्रम का वैज्ञानिक संगठन" हमारे विश्वविद्यालय में पढ़ाया जाता था, जहां एक लेखाकार के कार्यस्थल या उत्थापन के लिए नियंत्रण कक्ष को डिज़ाइन करते समय ये सभी सिद्धांत तैयार किए गए थे। क्रेन द्वारा।



तब से, इंटरफेस की सुविधा के वैज्ञानिक मूल्यांकन के तरीकों में कुछ भी नया नहीं दिखाई दिया है। बस आई-ट्रैकर जैसे उपकरण दिखाई दिए, जो हमें पेशेवर विशेषज्ञों की तुलना में सुविधा का मूल्यांकन करने की अनुमति देते हैं, छात्रों का उल्लेख करने के लिए नहीं। वैसे, मैंने अंतिम उपयोगकर्ता अनुभव पर इस अनुभव के बारे में बात की थी । लेकिन अगर कोई ITrackers नहीं हैं, तो आप प्रयोगों की प्रगति को रिकॉर्ड करने के लिए माप के लिए एक स्टॉपवॉच और एक वीडियो कैमरा के साथ प्राप्त कर सकते हैं।

कार्यप्रणाली

सीएमएस नेताओं का पर्याप्त परीक्षण एक है जिसकी कार्यप्रणाली और विशेषज्ञों को कई बाजार के खिलाड़ियों द्वारा सहमति दी जाती है।

जैसा कि मैं इसे देखता हूं:



1. परीक्षण में 1-2 लोकप्रिय ओपन सोर्स सिस्टम और 2-3 लोकप्रिय वाणिज्यिक होना चाहिए



2. परीक्षण किए गए सीएमएस सुविधाओं को व्यक्तिगत रूप से परीक्षण किया जाता है।

प्रत्येक परीक्षण में, परीक्षण किए गए पैरामीटर पर बाहरी कारकों के प्रभाव को समतल किया जाता है। अर्थात्, सर्वर ऑपरेशन सेटिंग्स की गुणवत्ता, सुविधा या गति के माप को प्रभावित नहीं करना चाहिए। अन्य सभी कारक प्रत्येक परीक्षण किए गए प्लेटफ़ॉर्म की आवश्यकताओं के बराबर और पर्याप्त होना चाहिए।



3. लक्षित दर्शकों को अलग-अलग समूहों में बांटा गया है:

• भूमिकाओं (साइट डेवलपर, सामग्री प्रबंधक) द्वारा। डेवलपर्स को प्रोग्रामर और कोडर में विभाजित किया जा सकता है।
• सिस्टम के साथ परिचित की डिग्री के अनुसार (शुरुआती, अनुभवी उपयोगकर्ता)। एक अनुभवी उपयोगकर्ता द्वारा सिस्टम के विकास की गति और सीएमएस के नियमित उपयोग की गुणवत्ता की अलग से मूल्यांकन करना।
• आप सामाजिक-जनसांख्यिकीय विशेषताओं (मानविकी और तकनीक, युवा और बूढ़े, पुरुष और महिला) के अनुसार और भी गहराई तक जा सकते हैं।

4. प्रत्येक परीक्षक कुछ क्रियाएं करता है, उनके आधार पर परीक्षक को एक परिणाम प्राप्त होता है। सभी परीक्षण आयोजित किए जाते हैं ताकि माप परीक्षक या विषय की राय पर निर्भर न हो सके। न्यायाधीश (विशेषज्ञ) सारांश को मापने के लिए मापों का विश्लेषण करते हैं।



5. परीक्षण की राय को केवल अमूर्त विशेषताओं का मूल्यांकन करते समय ध्यान में रखा जाता है, उदाहरण के लिए, इंटरफ़ेस डिज़ाइन की शैली। सभी परीक्षण के 20-30% से अधिक नहीं, कुछ कम मापदंड होने चाहिए।

अमूर्त विशेषताओं का मूल्यांकन करने के लिए इन क्षेत्रों में विशेषज्ञों को शामिल करना उचित है।

मंच का उपयोग करने का आर्थिक प्रभाव।

कोई भी तकनीकी उपलब्धि बेकार है अगर उसका कोई आर्थिक प्रभाव नहीं है। सीएमएस की कोई भी गुणवत्ता बेकार है यदि यह साइट के विकास या संचालन में प्रदर्शन का लाभ नहीं देता है।



यही है, सीएमएस (प्रदर्शन, सुविधा, मूल्य, ...) के तकनीकी गुणों में सभी सुधार या तो एक साइट के मालिक की लागत में प्रकट होते हैं, या एक साइट को विकसित करने की लागत में। और केवल आर्थिक दृष्टिकोण से, इन तकनीकी गुणों का व्यवसाय की नजर में मूल्य है।



यह स्पष्ट है कि विभिन्न तकनीकी विशेषताओं के आर्थिक प्रभाव का अध्ययन करने की पद्धति सिर्फ तकनीकी विशेषताओं की तुलना में अधिक जटिल है। लेकिन यह साकार है।



आर्थिक प्रभाव अनुसंधान के दो मुख्य विषय हैं:

1. CMS (शब्द TCO, कुल लागत का स्वामित्व दुनिया में उपयोग किया जाता है) के आधार पर साइट के स्वामित्व की कुल लागत, जो ध्यान में रखता है:

• होस्टिंग की लागत
• साइट का समर्थन और विकास लागत
• अतिरिक्त साइटों की लागत (साथ ही दर्पण, भाषा संस्करण, डिज़ाइन टेम्पलेट, ...)
• सुरक्षा लागत
• स्टाफ प्रशिक्षण और प्रेरणा लागत
• स्टाफ प्रतिस्थापन लागत
• साइट के साथ दैनिक कार्य के लिए काम करने का समय
• गुणवत्ता का समर्थन और प्रलेखन
• और भी बहुत कुछ

2) चयनित सीएमएस के आधार पर साइट को विकसित करने की कुल लागत , जो है:

• डेवलपर और सामग्री प्रबंधक के लिए प्रशिक्षण लागत
• डेवलपर योग्यता आवश्यकताएँ
• आवश्यक योग्यता के साथ डेवलपर्स की उपलब्धता और लागत
• विशिष्ट विकास कार्य करने की जटिलता
• कोड के मानकीकरण और परियोजना को विकसित करने की प्रक्रिया में डेवलपर के दर्द रहित परिवर्तन की संभावना (बिना "सब कुछ हटाएं और इसे फिर से दोहराएं")
• गुणवत्ता का समर्थन और प्रलेखन
• ग्राहक कर्मचारियों के लिए प्रशिक्षण लागत
• और भी बहुत कुछ

कौन हैं जज?

परीक्षण के परिणाम इस बात पर निर्भर करते हैं कि उन्हें किसने संगठित किया। परीक्षणों पर विश्वास करने के लिए, वे आधिकारिक और तटस्थ लोग होने चाहिए जो अपने आप को या किसी भी परीक्षण के लिए कुछ साबित नहीं करना चाहते हैं और जिनके पास परीक्षण के परिणामों के साथ भावनात्मक संबंध नहीं है।



यह दूसरा महत्वपूर्ण कारण है कि इस सीएमएस पर चलने वाले वेब स्टूडियो से सीएमएस परीक्षण गलत होगा, खासकर एक अपारदर्शी या अपर्याप्त परीक्षण पद्धति की पृष्ठभूमि के खिलाफ। वेब विकास बाजार के किसी भी प्रतिनिधि से एक परीक्षण के साथ-साथ (उनमें से सभी में सीएमएस प्राथमिकताएं और विक्रेताओं के साथ व्यावसायिक संबंध हैं)। परीक्षक बस अपनी और अपनी पसंद की शुद्धता और अपनी प्राथमिकताओं को साबित करने की कोशिश करेंगे।

हम पहले ही देख चुके हैं कि एक सीएमएस के एक संबद्ध नेता ने स्वतंत्र रूप से अपने प्रदर्शन का परीक्षण कैसे किया, और दूसरे सीएमएस के एक संबद्ध नेता ने अपनी स्वतंत्र सीएमएस लोकप्रियता रेटिंग बनाई। यदि हम थोड़ा निंदक थे, तो यूएमआई भागीदारों में से एक भी अपने स्वतंत्र अनुसंधान का संचालन करेगा या अपनी रेटिंग बनाएगा।

स्वतंत्र शोधकर्ताओं को निश्चित रूप से प्रायोगिक कार्यप्रणाली, सामान्य रूप से वेब विकास और विशेष रूप से सीएमएस को समझना चाहिए।

ऐसे लोग और कंपनियां कहां हैं? क्या हमारे पास है? शायद वे होबे पर हैं?

हम उनके परीक्षणों के परिणामों की परवाह किए बिना, उनके पेशेवर काम का पूरा समर्थन करने के लिए तैयार हैं।

निष्कर्ष

पर्याप्त परीक्षण ग्राहकों और डेवलपर्स को सीएमएस की अधिक सूचित पसंद (न केवल विज्ञापन वादे और ब्रांड जागरूकता का मूल्यांकन) करने की अनुमति देगा, और सीएमएस निर्माता स्पष्ट रूप से उनकी ताकत और कमजोरियों को समझने के लिए।



लेख के डिजाइन में, कलाकार निकोलाई कोप्पिकिन द्वारा चित्रों का उपयोग किया गया था ।