सम्मेलन की रिपोर्ट Lucene क्रांति

अक्टूबर की शुरुआत में, मैं ल्यूसिन क्रांति सम्मेलन में भाग लेने में कामयाब रहा, जो बोस्टन शहर के नायक शहर में हुआ। यह सम्मेलन खुली खोज प्रौद्योगिकियों Apache Lucene और Apache Solr को समर्पित था। यह मुझे लगता है कि विशेष रूप से हब में और एक पूरे के रूप में रनट में, इन प्रौद्योगिकियों को अवांछनीय रूप से थोड़ा ध्यान दिया जाता है। आइए इस चूक को ठीक करें।







मैं लंबे समय से इन तकनीकों पर काम कर रहा था, लेकिन मैं कल्पना नहीं कर सकता था कि इस संकीर्ण विशेष क्षेत्र में एक सम्मेलन ऐसे कई वक्ताओं, प्रतिभागियों और कंपनियों को इकट्ठा कर सकता है - प्रतिभागियों की कुल संख्या 300 से अधिक थी, स्पीकर 40 से अधिक थे। खोज प्रौद्योगिकी डेटा के कार्यान्वयन की सीमा बहुत प्रभावशाली है - सामाजिक - नेटवर्क, माइक्रोब्लॉगिंग सेवाएं, सीआरएम प्लेटफॉर्म, ऑनलाइन स्टोर, सरकारी वेबसाइट, ऑनलाइन और विश्वविद्यालय पुस्तकालय, डेटिंग साइट और यहां तक ​​कि जैव सूचना विज्ञान परियोजनाएं।

लिंक्डइन

पेशेवर संपर्कों के सबसे बड़े सोशल नेटवर्क में 80 मिलियन से अधिक उपयोगकर्ता प्रोफ़ाइल हैं और प्रति सप्ताह लगभग 350 मिलियन खोज क्वेरी करता है।



मेरी राय में, लिंक्डइन की दो चीजों के कारण सभी सामाजिक नेटवर्क में सबसे उन्नत खोज है:

1. खोज करते समय एक सामाजिक ग्राफ का उपयोग करना
   
   यही है, खोज परिणामों की छंटनी सामाजिक कनेक्शन के ग्राफ में उपयोगकर्ताओं की दूरस्थता पर निर्भर करती है। और यह सच है - उपयोगकर्ता को अपने परिचितों के सर्कल से वास्या पुपकिन में सबसे अधिक दिलचस्पी है, और न कि उस व्यक्ति की पहचानकर्ता जिसकी प्रोफाइल कम है या प्रोफ़ाइल भरा है। इसके अतिरिक्त, उपयोगकर्ता में दिए गए दूरी के अनुसार खोज परिणामों को फ़िल्टर करने की क्षमता है - पहला सर्कल / दूसरा सर्कल।
   
   
2. नेविगेशन की सुविधा दी
   
   लंबे समय से वे दिन हैं जब फ्लैट खोज परिणामों को एक खोज इंटरफ़ेस की चीख़ माना जाता था। ऑनलाइन स्टोर, सामग्री प्रबंधन प्रणाली, विशेष खोज इंजन ने विशेष फ़िल्टर के साथ परिणामों को लंबे समय तक समृद्ध किया है, जिसके साथ उपयोगकर्ता खोज मानदंडों को कम कर सकता है और अंततः उसे उन सूचनाओं की जानकारी मिल सकती है जिनकी उसे आवश्यकता है। उपयोगकर्ता इंटरफ़ेस की एक प्रमुख विशेषता यह है कि उपयोगकर्ता अग्रिम में देखता है कि इस या उस फ़िल्टर को लागू करने से उसे कितने परिणाम प्राप्त होंगे। लिंक्डइन नियोक्ता, स्थान, विश्वविद्यालय, आदि द्वारा फिल्टर का एक समृद्ध चयन प्रदान करता है।
   
   

फिलहाल, लिंक्डइन इंजीनियरों को उनके समाधान की मापनीयता और प्रदर्शन के मुद्दों के साथ-साथ खोज सूचकांक के त्वरित अद्यतन द्वारा अधिक हद तक हैरान किया जाता है, जो उनकी प्रस्तुति के लिए समर्पित था।

ट्विटर, एक बिलियन प्रति दिन खोज करता है

हर दिन, ट्विटर डेटाबेस में लगभग 80 मिलियन नए ट्वीट जोड़े जाते हैं, और खोज सूचकांक में नए डेटा की उपस्थिति में देरी कुछ सेकंड से अधिक नहीं होनी चाहिए। सारांश इंजन के पिछले संस्करण को सारांश के MySQL- आधारित प्रौद्योगिकी का उपयोग करके लागू किया गया था। नए संस्करण में थोड़ा पुनर्निर्मित Apache Lucene लाइब्रेरी का उपयोग किया गया है। निकट भविष्य में ट्विटर अपने ग्राउंडवर्क को खोलने और उन्हें अपाचे परियोजना में एकीकृत करने जा रहा है।

Salesforce

सास सीआरएम के क्षेत्र में सबसे बड़ी कंपनी भी सक्रिय रूप से ल्यूसीन का उपयोग करती है। फिलहाल, Salesforce सूचकांक में 8 से अधिक टेराबाइट्स (20 बिलियन दस्तावेज़) हैं। लगभग 500 हजार उपयोगकर्ता हर दिन अपनी खोज का उपयोग करते हैं और औसत लोड लगभग 4000 अनुरोध प्रति सेकंड है।

Loggly.com

Loggly एक स्टार्टअप है जो क्लाउड को आपके लॉग को संग्रहीत करने और विश्लेषण करने के लिए एक समाधान प्रदान करता है। आप इस कंपनी के सर्वरों को syslog लॉग भेजने के लिए अपने सर्वर को कॉन्फ़िगर कर सकते हैं और बाद में लॉग द्वारा खोज सकते हैं और सभी प्रकार के एनालिटिक्स का उपयोग कर सकते हैं। वास्तुकला का मुख्य केंद्र सोलर क्लाउड मंच है, जो प्रति सेकंड 100 हजार संदेशों को अनुक्रमित करने की क्षमता प्रदान करता है।

Archive.org

पुरालेख- प्रसिद्ध.org.org से वाणिज्यिक समाधान। 120 से अधिक ग्राहकों के लिए लगभग 1 बिलियन दस्तावेजों की पूर्ण-पाठ खोज प्रदान करने वाली कंपनी अपाचे सोलर आधारित समाधान की ओर पलायन कर रही है। एक खोज मकड़ी के रूप में, वे अपने स्वयं के हेरेटिक्स और कस्टम अपाचे नच के मिश्रण का उपयोग करते हैं।

Search.USA.gov और WhiteHouse.gov

अमेरिकी सरकार का आईटी बजट लगभग 75 बिलियन डॉलर है, इसलिए यह आश्चर्यजनक नहीं है कि सरकार के आदेश प्रौद्योगिकी कंपनियों के लिए बहुत मूल्यवान हैं। पिछले दस वर्षों में इन सरकारी साइटों पर खोज इंजन वाणिज्यिक समाधानों में एक लंबा सफर तय कर चुका है - इंटकमी (2000), फास्ट (2002), विविसिमो (2005), और अंततः ओपन सोर्स अपाचे ल्यूसिन / सोलर समाधान में स्थिरता प्राप्त की। एक और दिलचस्प तथ्य यह है कि डेवलपर्स होस्टिंग के लिए रैकस्पेस होस्टिंग और अमेज़ॅन वेब सेवाओं का उपयोग करते हैं, प्रोजेक्ट प्रबंधन उपकरण के रूप में पिवटल ट्रैकर और सोर्स कोड को स्टोर करने के लिए जीथब। कई वाणिज्यिक निगम अपने इंट्रानेट के अंदर इन सभी चीजों पर पूर्ण नियंत्रण रखने की कोशिश करते हैं, इसलिए सरकार के एक निर्णय को विकसित करते समय इस तरह के खुलेपन को देखना बहुत आश्चर्य की बात है।

पुस्तकालय और संस्थान (हाथीथ्रिस, येल, स्मिथसोनियन)

विभिन्न विश्वविद्यालय पुस्तकालय अपाचे सोलर का उपयोग दोनों कैटलॉग की खोज करने और स्कैन और मान्यता प्राप्त पुस्तकों पर पूर्ण-पाठ खोज प्रदान करने के लिए करते हैं। उन्हें मुख्य समस्याओं का सामना करना पड़ता है जो विभिन्न भाषाओं (सीजेके, मिश्रित शब्द, आदि) के लिए समर्थन और उचित मूल्य पर विशाल मापनीयता हैं। HathiTrust खोज अनुक्रमित 6.5 मिलियन स्कैन की गई पुस्तकें (244 टेराबाइट्स की छवियां, मान्यता प्राप्त पाठ के 6 टेराबाइट्स) कंप्यूटिंग कंप्यूटिंग संसाधनों का उपयोग करते हुए।

जैव सूचना विज्ञान (मेटारेप परियोजना)

यह संभवतः पूर्ण-पाठ खोज से अलग क्षेत्र में इन तकनीकों का सबसे आश्चर्यजनक अनुप्रयोग है। मैं ईमानदारी से बहुत कुछ नहीं समझता था, इस तथ्य को छोड़कर कि इस क्षेत्र में सूचना के बड़े संस्करणों के प्रसंस्करण और विश्लेषण के मुद्दे भी हैं।

Apache Lucene और Solr उत्पादों की नई विशेषताएं

आगामी रिलीज़ में Apache Lucene और Apache Solr परियोजनाओं की नई विशेषताओं के बारे में भी कई प्रस्तुतियाँ दी गई हैं, जैसे:

सोलर क्लाउड

कार्यक्षमता बहुत वितरित क्लस्टर के निर्माण, कॉन्फ़िगरेशन और समर्थन को सरल करती है। समाधान का मूल अपाचे ज़ुकीपर परियोजना का उपयोग करता है, जो एचबीएएस और कई याहू समाधान जैसी परियोजनाओं में विश्वसनीय साबित हुआ है।

भौगोलिक खोज (सोलर स्थानिक खोज)

यह कोई रहस्य नहीं है कि हाल ही में सभी प्रकार की भू-सेवाओं (स्थान आधारित सेवाओं) ने लोकप्रियता हासिल की है। अक्सर उन्हें विभिन्न वस्तुओं की खोज की समस्या को हल करने की आवश्यकता होती है, न केवल उपयोगकर्ता से दूरदर्शिता के कारक द्वारा, बल्कि सामान्य फ़िल्टर भी लागू होते हैं - पूर्ण-पाठ, श्रेणी या टैग द्वारा, और इसी तरह। अपाचे सोलर परियोजना अब इस तरह के बॉक्स से बाहर का अवसर प्रदान करती है (इसे पहले भी लागू किया जा सकता था, लेकिन हर कोई अपनी बाइक के साथ आया था)। Lucene / Solr परियोजना का उपयोग उद्योग में ऐसे प्रमुख खिलाड़ियों द्वारा Yelp.com और YP.com के रूप में किया जाता है

त्वरित खोज (रीयलटाइम खोज)

सूचकांक डेटा और खोज एल्गोरिथ्म की संरचना ऐसी है कि नए दस्तावेज़ों (प्रत्येक सेकंड या यहां तक ​​कि एक सेकंड का एक अंश) के साथ सूचकांक को तुरंत अद्यतन करना बहुत मुश्किल था। यह मेमोरी में कैश की डेटा संरचनाओं के कारण है, इंडेक्स सेगमेंट को संयोजित करना, मेमोरी से डिस्क तक इंडेक्स सेगमेंट को फ्लश करना आदि। कुछ कंपनियों (ट्विटर, लिंक्डइन, और अन्य) काम करते हैं और इस देरी को कम करने में अच्छी प्रगति की है।

ल्यूसिने में लचीले अनुक्रमण तंत्र (लचीले अनुक्रमणिका)

फिलहाल, ल्यूसीन लाइब्रेरी को गंभीरता से फिर से लिखा जा रहा है ताकि डेवलपर्स को यह नियंत्रित करने की क्षमता दी जाए कि सूचकांक को डिस्क पर कैसे लिखा जाता है।



निम्नलिखित मुद्दों और संबंधित प्रौद्योगिकियों पर सत्र भी थे:

• NoSQL स्टोरेज के रूप में Apache Solr का उपयोग करना
• मशीन लर्निंग एल्गोरिदम Apache Mahout के व्यावहारिक स्केलेबल कार्यान्वयन के लिए समर्पित एक परियोजना (यह परियोजना स्पैम को फ़िल्टर करने के लिए याहू मेल सेवा द्वारा उत्पादन में उपयोग की जाती है)
• खोज रोबोट एकीकरण Apache Nutch
• फास्ट प्लेटफॉर्म से अपाचे सोलर तक एंटरप्राइज सर्च का माइग्रेशन
• और कई अन्य

पुरालेख सम्मेलन की रिपोर्ट के साथ यहाँ है