🐂 📂 ⛰️ MongoDB पूर्ण पाठ से ElasticSearch पर माइग्रेट करना 🤟 🆒 😻

अपनी पिछली पोस्ट में , लाइकस्टोर के लिए Google Chrome एक्सटेंशन की घोषणा के साथ, मैंने इस तथ्य का उल्लेख किया कि हमने ElasticSeach का उपयोग खोज सूचकांक के रूप में करना शुरू कर दिया। यह इलास्टिकसच था जिसने काफी अच्छा प्रदर्शन और खोज की गुणवत्ता दी, जिसके बाद क्रोम के विस्तार को जारी करने का निर्णय लिया गया।

इस पोस्ट में, मैं बात करता हूँ कि MongoDB + ElasticSeach बंडल का उपयोग कैसे करें, यह एक अत्यंत प्रभावी NoSQL समाधान है, और यदि आपके पास MongoDB है, तो ElasticSearch में अपग्रेड कैसे करें।

थोड़ा इतिहास

खोज कार्यक्षमता, हमारे आवेदन का सार। हमारी हजारों पसंदों के बीच जल्दी से कुछ खोजने का अवसर था, जिसे हमने इस परियोजना के लिए शुरू किया था।

हमें पूर्ण-पाठ खोज के सिद्धांत का कोई गहरा ज्ञान नहीं था, और पहले दृष्टिकोण के रूप में, हमने MongoDB पूर्ण पाठ खोज का प्रयास करने का निर्णय लिया। इस तथ्य के बावजूद कि संस्करण 2.4 में पूर्ण पाठ एक प्रयोगात्मक विशेषता है, इसने बहुत अच्छा काम किया। इसलिए, कुछ समय के लिए हमने उसे छोड़ दिया, और अधिक आवश्यक कार्यों के लिए स्विच किया।

समय बीतता गया और डेटाबेस बढ़ता गया। वह संग्रह जिसके द्वारा हम एक निश्चित आकार हासिल कर रहे हैं। 2 मिलियन दस्तावेजों के आकार से शुरू होकर, मैंने अनुप्रयोग प्रदर्शन में सामान्य कमी को नोटिस करना शुरू किया। इसने पहले पृष्ठ के लंबे उद्घाटन और एक अत्यंत धीमी खोज के रूप में स्वयं को प्रकट किया।

इस बार मैंने इलास्टिक खोज, सोलर या शापिनक्स जैसे विशेष खोज भंडार को देखा। लेकिन जैसा कि अक्सर एक स्टार्टअप में होता है, जब तक "गड़गड़ाहट नहीं होती, तब तक किसान फिर से नहीं लिखेगा।"

गड़गड़ाहट "2 सप्ताह पहले", संसाधनों में से एक पर प्रकाशन के बाद, हमने यातायात में तेज वृद्धि और अधिक से अधिक उपयोगकर्ता गतिविधि का अनुभव किया। नई रेलिक ने यह कहते हुए डरावने पत्र भेजे कि आवेदन जवाब नहीं दे रहा था, और आवेदन को खोलने के अपने स्वयं के प्रयासों से पता चला कि रोगी मृत होने की तुलना में अधिक जीवित था, लेकिन सब कुछ बहुत धीरे-धीरे काम किया।

एक त्वरित विश्लेषण से पता चला है कि ज्यादातर HTTP अनुरोध MongoDB तक पहुँचने के बाद 504 से गिर जाते हैं। हम MongoHQ पर होस्ट किए गए हैं, लेकिन जब मैंने मॉनिटरिंग कंसोल को खोलने की कोशिश की, तो इसका कुछ भी नहीं आया। आधार को सीमा तक लोड किया गया था। सांत्वना खोलने में कामयाब होने के बाद, मैंने देखा कि लॉक किया हुआ% आकाश-उच्च 110 - 140% तक चला गया और वहां रखा गया, नीचे जाने के लिए नहीं।

एक सेवा जो उपयोगकर्ता की पसंद को इकट्ठा करती है वह बहुत कुछ सम्मिलित करती है, और प्रत्येक ऐसी प्रविष्टि पूर्ण-पाठ अनुक्रमणिका की पुन: गणना पर जोर देती है, यह एक महंगा ऑपरेशन है, और कुछ सीमाओं (सर्वर संसाधनों सहित) तक पहुंचना, हम बस इसमें भाग गए सीमा।

डेटा संग्रह को बंद करना पड़ा, पूर्ण-पाठ सूचकांक हटा दिया गया। पुनः आरंभ करने के बाद, लॉक की गई अनुक्रमणिका सेवा 0.7% से अधिक नहीं थी, लेकिन यदि उपयोगकर्ता ने किसी चीज़ की खोज करने की कोशिश की, तो हमें असहज "खेद, खोज रखरखाव पर है" के साथ जवाब देना था ...

हम स्थानीय स्तर पर ElasticSeach की कोशिश करते हैं

मैंने यह देखने का फैसला किया कि इलास्टिक क्या है, इसे अपनी मशीन पर आजमाया। उस तरह के प्रयोग के लिए, वहाँ हमेशा (है, और होगा) योनि ।

ElasticSeach जावा में लिखा गया है, और एक उपयुक्त रनटाइम की आवश्यकता है।

> sudo apt-get update > sudo apt-get install openjdk-6-jre > sudo add-apt-repository ppa:webupd8team/java > sudo apt-get install oracle-java7-installer

तब आप जांच सकते हैं कि क्या चलाने से सब कुछ ठीक है

 > java --version

लोचदार खुद को स्थापित करना बेहद आसान है। मैं डेबियन पैकेज से स्थापित करने की सलाह देता हूं, क्योंकि इस रूप में यह एक प्रक्रिया के रूप में सेवा के रूप में चलाने के लिए इसे कॉन्फ़िगर करना आसान है।

 > wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.deb > dpkg -i elasticsearch-1.1.1.deb

उसके बाद, वह लॉन्च करने के लिए तैयार है,

 > sudo update-rc.d elasticsearch defaults 95 10 > sudo /etc/init.d/elasticsearch start

अपना ब्राउज़र खोलना और लिंक का अनुसरण करना, हमें इस उत्तर जैसा कुछ मिलता है।

 { "ok" : true, "status" : 200, "name" : "Xavin", "version" : { "number" : "1.1.1", "build_hash" : "36897d07dadcb70886db7f149e645ed3d44eb5f2", "build_timestamp" : "2014-05-05T12:06:54Z", "build_snapshot" : false, "lucene_version" : "4.5.1" }, "tagline" : "You Know, for Search" }

पूर्ण तैनाती में लगभग 10 मिनट लगते हैं।

अब कुछ बचाने और खोजने की जरूरत है

ElasticSearch एक इंटरफ़ेस है जो लुसीन तकनीक के शीर्ष पर बनाया गया है। यह अतिशयोक्ति के बिना है, सबसे परिष्कृत तकनीक, वर्षों में सम्मानित किया गया है, जिसमें हजारों उच्च कुशल इंजीनियरों के श्रम घंटे का निवेश किया गया है। इलास्टिक, इस तकनीक को मात्र मनुष्यों के लिए सुलभ बनाता है, और यह बहुत अच्छी तरह से करता है।

मैं लोचदार और CounchDB के बीच कुछ समानताएं ढूँढता हूं - HTTP API, भी स्कीमालेस, दस्तावेजों के लिए समान अभिविन्यास।

एक त्वरित स्थापना के बाद, मैंने मैनुअल पढ़ने में बहुत समय बिताया, प्रासंगिक vidos को देखते हुए , जब तक मुझे एहसास नहीं हुआ कि कैसे एक दस्तावेज़ को सूचकांक में सहेजना है और सबसे सरल खोज क्वेरी कैसे चलाना है।

इस बिंदु पर, मैंने नंगे कर्ल का उपयोग किया, जैसा कि प्रलेखन में दिखाया गया है।

लेकिन लंबे समय तक "बिल्लियों पर" प्रशिक्षण दिलचस्प नहीं है। मैंने MongoDB डेटाबेस के उत्पादन को डंप कर दिया है, और अब मुझे MongoDB से अपने पूरे संग्रह को ElasticSearch इंडेक्स में ओवरटेक करने की आवश्यकता है।

इस प्रवास के लिए, मैंने एक छोटा सा उपकरण बनाया - इलास्टर । एलास्टर एक नोड.जेएस एप्लिकेशन है जो किसी दिए गए MongoDB संग्रह को वांछित इंडेक्स को प्री-क्रिएट करके और मैपिंग के साथ इनिशियलाइज़ करके स्ट्रीम करता है।

यह प्रक्रिया बहुत तेज़ नहीं है (बहुत तेजी से सुधार के लिए कुछ विचार हैं), लेकिन लगभग 40 मिनट के बाद, MongoDB के सभी रिकॉर्ड ElasticSearch में थे, आप खोज करने का प्रयास कर सकते हैं।

एक खोज क्वेरी बनाएँ

क्वेरी डीएसएल , लोचदार के लिए प्रश्नों के निर्माण के लिए एक भाषा। सिंटैक्स द्वारा, यह साधारण JSON है, लेकिन प्रभावी अनुरोध करना अनुभव, अभ्यास और ज्ञान है। मैं ईमानदारी से मानता हूं कि वे अभी तक उन तक नहीं पहुंचे हैं, इसलिए मेरा पहला प्रयास इस तरह देखा गया:

 function fullTextItemSearch (user, query, paging, callback) { if (!query) { return callback(null, { data: [], nextPage: false }); } var page = paging.page || 1; elastic.search({ index: 'items', from: (page - 1) * paging.pageSize, size: paging.pageSize, body: { query: { filtered: { query: { 'query_string': { query: query }, }, filter: { term: { user: user.email } } } } } }, function (err, resp) { if (err) { return callback(err); } var items = resp.hits.hits.map(function (hit) { return hit._source; }); callback(null, {data: items, nextPage: items.length === paging.pageSize}); }); }

यह एक फ़िल्टरिंग अनुरोध है, पेजिंग के साथ, एकल उपयोगकर्ता के लिए परिणाम वापस करने के लिए। जब मैंने इसे चलाने की कोशिश की, तो मैं हैरान था कि इलास्टिक कितना शांत है। क्वेरी निष्पादन का समय 30-40ms था, और यहां तक कि किसी भी ठीक-ट्यूनिंग के बिना, मैं परिणामों से प्रसन्न था!

इसके अलावा, परिणामों को उजागर करने के लिए ElasticSeach में एक Hightligh API शामिल है। इस फॉर्म के लिए अनुरोध का विस्तार

  elastic.search({ index: 'items', from: (page - 1) * paging.pageSize, size: paging.pageSize, body: { query: { filtered: { query: { 'query_string': { query: query }, }, filter: { term: { user: user.email } } }, }, highlight: { fields: { description: { }, title: { }, source: { } } } }

इस पर प्रतिक्रिया (हिट ऑब्जेक्ट) में हाइलाइटेड ऑब्जेक्ट होगा, जिसमें फ्रंट-एंड पर उपयोग के लिए HTML तैयार है, जो ऐसा कुछ करना संभव बनाता है:

अनुप्रयोग कोड संशोधन

मूल खोज के अर्जित होने के बाद, यह सुनिश्चित करना आवश्यक है कि सभी नए डेटा जो MongoDB (मुख्य भंडारण के रूप में) में आते हैं, ElasticSearch में "बहता है"।

इसके लिए, विशेष प्लगइन्स हैं, तथाकथित नदियों। विभिन्न डेटाबेस के तहत, उनमें से बहुत सारे हैं। MongoDB के लिए, यहां सबसे अधिक व्यापक रूप से उपयोग किया जाता है ।

MongoDB के लिए नदी एक स्थानीय डेटाबेस से oplog की निगरानी, और ElasticSeach आदेशों में oplog घटनाओं को बदलने के सिद्धांत पर काम करती है। सिद्धांत रूप में, सब कुछ सरल है। व्यवहार में, मैं MongoHQ के साथ इस प्लगइन को प्राप्त करने में सक्षम नहीं था (सबसे अधिक संभावना है कि समस्या मेरे हाथों की क्रंच है, क्योंकि इंटरनेट सफल उपयोगों के विवरण से भरा है)।

लेकिन मेरे मामले में, दूसरे रास्ते पर जाना बहुत आसान हो गया। चूँकि मेरे पास केवल एक संग्रह है, जिसमें केवल इन्सर्ट और ढूंढना है, इसलिए मेरे लिए एप्लिकेशन कोड को संशोधित करना आसान था, ताकि MongoDB में डालने के तुरंत बाद, मैं ElasticSeach में बल्क कमांड करूँ।

  async.waterfall([ readUser, executeConnector, findNew, saveToMongo, saveToEleastic, saveState ], function (err, results) { });

फ़ंक्शन, saveToElastic

  var commands = []; items.forEach(function (item) { commands.push({'index': {'_index': 'items', '_type': 'item', '_id': item._id.toString()}}); commands.push(item); }); elastic.bulk({body: commands}, callback);

मैं बाहर नहीं करता हूं कि अधिक जटिल परिदृश्यों में नदी का उपयोग अधिक न्यायसंगत होगा।

उत्पादन में विस्तार

स्थानीय प्रयोग पूरा होने के बाद, उत्पादन में यह सब तैनात करना आवश्यक था।

ऐसा करने के लिए, मैंने डिजिटल ओशन (2 सीपीयू, 2 जीबी, 40 जीबी एसडीडी) पर एक नई छोटी बूंद बनाई और अनिवार्य रूप से इसके साथ ऊपर वर्णित सभी जोड़तोड़ किए - एलैस्टीसच स्थापित करें, नोड्स और गिट स्थापित करें, एलस्टर स्थापित करें और डेटा माइग्रेशन शुरू करें।

जैसे ही नया उदाहरण उठाया गया और डेटा के साथ आरंभ किया गया, मैंने पहले से ही इलास्टिक के लिए संशोधित कोड के साथ डेटा संग्रह सेवाओं और लिकेस्टोर एपीआई को फिर से शुरू कर दिया। सब कुछ बहुत सुचारू रूप से काम किया और उत्पादन में कोई आश्चर्य नहीं हुआ।

परिणाम

यह कहने के लिए कि मैं ElasticSearch के स्विच से प्रसन्न हूँ, कुछ भी नहीं कहना है। यह वास्तव में कुछ तकनीकों में से एक है जो बॉक्स से बाहर काम करती है।

इलास्टिक ने त्वरित खोज के लिए, साथ ही साथ एक उन्नत खोज (तिथि, सामग्री का प्रकार, आदि) बनाने की क्षमता ब्राउज़र के लिए एक विस्तार बनाने की संभावना को खोला।

हालाँकि, मैं अभी भी इस प्रौद्योगिकी में एक पूर्ण noob हूँ। इलास्टिक में जाने के बाद से हमें जो फीडबैक मिला था और एक्सटेंशन जारी किया गया था, वह स्पष्ट रूप से बताता है कि सुधारों की जरूरत है। अगर कोई अपना अनुभव साझा करने को तैयार है, तो मुझे बहुत खुशी होगी।

MongoDB ने अंततः स्वतंत्र रूप से सांस ली है, लॉक किए गए% को 0.1% पर रखा गया है और ऊपर नहीं जाता है, जो एप्लिकेशन को वास्तव में उत्तरदायी बनाता है।

यदि आप अभी भी MongoDB पूर्ण पाठ का उपयोग कर रहे हैं, तो मुझे आशा है कि यह पोस्ट आपको ElasticSeach में स्थानांतरित करने के लिए प्रेरित करती है।

MongoDB पूर्ण पाठ से ElasticSearch पर माइग्रेट करना