NoSQL प्रौद्योगिकी के लिए रिलेशनल DBMS के परीक्षण के अनुभव का उपयोग करना

टारेंटूल एक खुला, उच्च-प्रदर्शन डेटा वेयरहाउस है। सरलता और प्रदर्शन के रूप में प्रणाली की ऐसी विशेषताएं, काफी हद तक इसकी प्रयोज्यता के दायरे को निर्धारित करती हैं। डेटा स्टोरेज सॉल्यूशन स्केल पर, टारनटुल कहीं-कहीं पारंपरिक रिलेशनल सिस्टम जैसे MySQL और डेटा कैशिंग सॉल्यूशंस के बीच में है। सिस्टम एक निरंतर डेटा वेयरहाउस पर आधारित है, पूरी तरह से रैम में मैप किया गया है, और हैश और बाइनरी पेड़ों पर आधारित डेटा तक पहुंचने के लिए उच्च-प्रदर्शन इंडेक्स है।



टारनटूल पर काम करने के अपने पहले महीनों में, मैंने अपने पिछले ओपन सोर्स प्रोजेक्ट, MySQL में लोगों के समान परीक्षण उपकरण बनाने की कोशिश की।



क्योंकि mysql-test-run, mysqltest, pushbuild जैसे उपकरण MySQL पारिस्थितिक तंत्र के बाहर बहुत कम ज्ञात हैं, मैं वर्णन करूंगा कि मैंने कई ब्लॉग पोस्टों में क्या बनाया है, प्रत्येक एक अलग घटक के लिए समर्पित होगा।



संक्षेप में, आधुनिक खुले स्रोत परियोजनाओं में, उपकरणों का एक सेट उपयोग किया जाता है जो "सभ्य" के विकास की अनुमति देता है। कुछ परियोजनाएं टूलकिट के केवल भाग का उपयोग करती हैं, लेकिन पूर्ण विकास चक्र का स्वचालन, मेरी राय में, आपको सर्वोत्तम परिणाम प्राप्त करने की अनुमति देता है।



ये निम्नलिखित स्वचालन घटक हैं:



- स्वचालित प्रतिगमन परीक्षण,

- कार्यात्मक और इकाई परीक्षण के लिए उपकरण,

- स्वचालित निरंतर एकीकरण परीक्षण,

- उत्पाद स्थापना के लिए पैकेज और वितरण का स्वचालित निर्माण।



ये उपकरण, इकट्ठे और एक साथ काम करते हुए, उत्पाद में जोड़े गए प्रत्येक नए अवसर के निवास स्थान का निर्धारण करते हैं, पूरे चक्र में विकास के साथ, इंजीनियरों को बेहतर कोड बनाने, दिनचर्या को खत्म करने और परियोजना को बढ़ने के पूरे अवसर के रूप में अनुमति देते हैं।



मुझे यह स्वीकार करना चाहिए कि जब मैंने स्वचालन कार्य पर काम करना शुरू किया, तो मुझे पूरी तरह से पता नहीं था कि मुझे क्या करना है।



टारेंटूल एक कुंजी / मूल्य भंडारण है जिसे वितरित किया जा सकता है, लेकिन मैंने कार्य का रुख किया, कार्यात्मक प्रतिगमन परीक्षण के मुद्दों पर अधिकतम ध्यान दिया, अर्थात, यह जिस तरह से MySQL में किया गया था।



NoSQL के बारे में मेरी शुरुआती समझ यह थी कि यह केवल एक अधिक उत्पादक भंडारण है, जो, हालांकि, एक पूर्ण DBMS की कार्यक्षमता का केवल एक हिस्सा प्रदान करता है।

मैं बिलकुल ठीक नहीं था।



कार्यात्मक टारेंटूल परीक्षण



टारेंटूल अपने ग्राहकों को एक सरल बाइनरी प्रोटोकॉल प्रदान करता है जो डेटा के साथ काम करने के लिए कमांड के एक मूल सेट का समर्थन करता है - जीईटी, पीयूटी, एसईटी, DELETE।



प्रशासनिक आदेश, जैसे 'सेव स्नावैप', 'शो स्टैट', एक पाठ-दृश्य अलग प्रशासनिक पोर्ट में भेजे जाते हैं।



प्रशासन के लिए एक अलग बंदरगाह आवश्यक है यदि केवल इस समय पर टारेंटूल किसी भी प्राधिकरण योजनाओं का समर्थन नहीं करता है।



प्रोजेक्ट पर मेरे काम की शुरुआत तक, टारेंटूल के पास पहले से ही कई कार्यात्मक परीक्षण थे, लेकिन वे एक स्वचालित मोड में काम नहीं करते थे। संक्षेप में, यदि यह टेस्टना आपके द्वारा लिखा गया था, तो आप सबसे अधिक संभावना है कि इसका उपयोग नहीं करेंगे।



मौजूदा परीक्षणों के विपरीत, मैं एक परीक्षण भाषा की तलाश कर रहा था जो परीक्षण लिखने और पहले से ही लिखे गए लोगों को समझने में समान रूप से आसान हो। यह एक भाषा माना जाता था जिसे टारनटुल डेवलपर्स और परीक्षण इंजीनियर दोनों बोल सकते थे।



नए परिवेश में पाई गई सभी त्रुटियों के लिए परीक्षण स्क्रिप्ट बनाने में सक्षम होना भी महत्वपूर्ण था।



बेशक, एक पूर्व SQL प्रोग्रामर के लिए, SQL बहुत आकर्षक लग रही थी। अंत में, कम से कम SQL के लिए एक मानक है, जबकि आधुनिक NoSQL सिस्टम की "भाषाओं" में एक सामान्य उपसमूह भी नहीं है।



इसलिए, SQL को परीक्षण लिखने के लिए भाषा के रूप में चुना गया था। SQL के संदर्भ में, Tarantool 4 डेटा ऑपरेटर प्रदान करता है: INSERT, SELECT, UPDATE, DELETE।



बेशक, टारेंटूल की कार्यक्षमता की तुलना में SQL व्याकरण काफी समृद्ध है, लेकिन यह, मेरी राय में, स्वीकार्य था। यह एक सुखद आश्चर्य नहीं था कि एसक्यूएल के संदर्भ में रिपॉजिटरी की कुंजी / मूल्य कार्यक्षमता का हिस्सा व्यक्त नहीं किया जा सकता है।



सबसे पहले, टारेंटूल SQL मानक की तरह संबंधों (टुपल्स के सेट) के साथ काम नहीं करता है, लेकिन कुंजी / मूल्य जोड़े के साथ। एक से अधिक ऑपरेशन नहीं हैं, और यहां तक ​​कि वे ऑपरेशन जो कई ट्यूपल्स के साथ काम करते हैं, वास्तव में, कई ऑपरेशनों को एक पैकेज में जोड़ते हैं, और सेट के साथ पूरे काम नहीं करते हैं।

SQL के संदर्भ में, इसका मतलब है कि सभी डेटा हेरफेर स्टेटमेंट में WHERE क्लॉज और एक अद्वितीय कुंजी संदर्भ होना चाहिए।



इसके अलावा, टारेंटूल की बेस ऑब्जेक्ट्स को इंडेक्स द्वारा संबोधित किया जाता है, नाम से नहीं। SQL "तालिकाओं" के बजाय, "कीस्पेस" का उपयोग किया जाता है, जिनकी संख्या 0 से N तक होती है।



इसके अलावा, प्रत्येक स्थान में, जो, संक्षेप में, विभिन्न आकार के ट्यूल का एक भीड़ है, विभिन्न क्षेत्रों या क्षेत्रों के संयोजन के लिए कई सूचकांक हो सकते हैं।

डेटा को इंडेक्स नंबर द्वारा एक्सेस किया जाता है (शब्द "कुंजी" का उपयोग अक्सर "इंडेक्स" के बजाय किया जाता है, हालांकि, मैं नंबर या कॉलम नाम के बजाय डेटा संरचना के "की") के बजाय एक व्यक्तिगत मूल्य को कॉल करना पसंद करता हूं। इंडेक्स # 0 को हमेशा प्राथमिक कुंजी माना जाता है।



ठीक है, टारेंटूल के SQL व्याकरण को केवल उन पहचानकर्ताओं को अनुमति देने के लिए छोटा किया गया है जो संख्याओं के साथ समाप्त होते हैं।



उसके बाद से मुख्य स्थान का कोई आयाम या निश्चित संरचना नहीं है, केवल टपल के भाग के साथ काम करना संभव नहीं है - सभी ऑपरेटर, UPDATE के अपवाद के साथ, पूरे टपल के साथ काम करते हैं।



इसलिए SQL का चयन करें, केवल '*' को स्वीकार कर सकते हैं।



जब व्याकरण की कमी खत्म हो गई, तो मैंने पाया कि टारनटूल INSERT, UPDATE, और DELETE को पुराने ट्यूपल मान को वापसी मूल्य के रूप में वापस करने की अनुमति देता है। इसके लिए मानक SQL सबसेट में कोई उपयुक्त निर्माण नहीं था।

लेकिन कुल मिलाकर, मैंने अपना लक्ष्य प्राप्त किया - एक सरल, अच्छी तरह से ज्ञात, आसानी से समझने वाली वाक्य रचना के साथ एक सूक्ष्म भाषा का निर्माण।



क्योंकि मैंने ऑटोमेशन इंफ्रास्ट्रक्चर के लिए प्रोग्रामिंग भाषा के रूप में पायथन को चुना और SQL पार्सर बनाने के लिए YAPPS लाइब्रेरी का उपयोग किया गया। मैंने इस समाधान के फायदे और नुकसान के बारे में अपने ब्लॉग में अलग से लिखा है।



पार्सर के माध्यम से प्रशासनिक आदेशों को पारित न करने के लिए, मैंने सिर्फ एक नियमित अभिव्यक्ति जोड़ी है जो आपको SQL प्रश्नों से प्रारंभिक चरण में फ़िल्टर करने की अनुमति देती है। इस तरह के कमांड को सीधे प्रशासनिक पोर्ट के माध्यम से सर्वर पर भेजा जाता था।



परिणाम एक काफी सुविधाजनक कमांड लाइन क्लाइंट था, जिस पर परीक्षण लिखना आसान था:



kostja@shmita:~/work/tarantool/test$ ./tarantool

tarantool> select * from t0 where k0 = 1

No match

tarantool> insert into t0 values (1, "My first tuple"

Insert OK, 1 row affected

tarantool> select * from t0 where k0 = 1

Found 1 tuple:

[1, 'My first tuple']

tarantool> save snapshot

---

ok

...

tarantool> show info

---

info:

version: "1.3.2-264-ga7bb270"

uptime: 73

pid: 22101

wal_writer_pid: 22102

lsn: 2

recovery_lag: 0.000

recovery_last_update: 0.000

status: primary

...









अगला घटक एक नई भाषा में लिखित परीक्षण चलाने का स्वचालन था। मैं इस बारे में एक अलग लेख में लिखूंगा।



PS हाँ, टारनटूल एक खुला स्रोत उत्पाद है, और मैंने जो कुछ भी किया है, वह पहले से ही गीथूब पर मुख्य परियोजना के पेड़ में उपलब्ध है ।



यह कोशिश करना कि यह कितना सरल काम करता है: स्रोत कोड को क्लोन करें, आवश्यक लाइब्रेरी स्थापित करें (मुख्य रूप से पायथन लाइब्रेरी), संकलन (cmake। && मेक) सर्वर शुरू करें (सीडी परीक्षण &&/run --start-and-exit)। और नए क्लाइंट (cd test &&/tarantool) का उपयोग करके इसे कनेक्ट करें।