Ubuntu 12.04 के तहत django के साथ सोल को स्थापित करना और एकीकृत करना

परिचय

जैसा कि आप जानते हैं, कई साइटों / वेब अनुप्रयोगों को एक तरह से या किसी अन्य में एक खोज को लागू करने की आवश्यकता होती है। हर कोई एक त्वरित और गुणवत्ता खोज चाहता है। अन्य चीजों के अलावा, डेवलपर्स चाहते हैं कि खोज इंजन स्थापित करने और उपयोग करने में आसान हो। चूंकि हम django के बारे में बात कर रहे हैं, हमें खोज के कार्यान्वयन में कई प्रतिबंधों का सामना करना पड़ रहा है (बशर्ते कि किसी ने 24 घंटों में समय सीमा को रद्द नहीं किया हो)। मैं आपके ध्यान में एक छोटा सा ट्यूटोरियल लाता हूं कि django प्रोजेक्ट को कैसे स्थापित और एकीकृत किया जा सकता है, जो अपाचे सोलर के रूप में शक्तिशाली रूप में संभव है। मैं बिल्ली के नीचे सभी से दिलचस्पी पूछता हूं।

हमारी रेक

अतीत में, हमें django-sphinx के साथ बहुत सुखद अनुभव नहीं था। स्फिंक्स अपने आप में एक उत्कृष्ट खोज इंजन है, django-sphinx भी एक अद्भुत पुस्तकालय है, लेकिन django 1.3 के बाद आपको इस पूरे स्टैक को प्राप्त करने के लिए एक टैम्बॉरिन के साथ थोड़ा नृत्य करना होगा। लेकिन यह सब स्थापित होने और काम करने के बाद भी, यह भावना बनी हुई है कि यह सब कहीं न कहीं, परियोजना से अलग, अपने मुकुट अनुक्रमित और कॉन्फ़िगर के साथ निहित है जो परियोजना पर मॉडल से संबंधित नहीं हैं। हां, वहां एक कॉन्फ़िगरेशन जनरेटर है, लेकिन इसे 1.4+ के तहत प्राप्त करना संभव नहीं था, और प्रत्येक पीढ़ी के बाद खोज इंजन के कॉन्फ़िगरेशन (स्वयं खोज) को संपादित करना आवश्यक होगा। सामान्य तौर पर, django-sphinx के लिए खोज, इसके अलावा, जल्दी और कुशलता से काम करती है, लेकिन इसे बनाए रखने के लिए यह बहुत सुविधाजनक नहीं है, साथ ही साथ इसे परियोजना में एकीकृत भी करता है।

हम कैसे एक घास का ढेर में सुई मिल गया

यह नए प्रोजेक्ट की बारी है। और फिर से सर्च इंजन चुनने पर सवाल उठे। हमने तुरंत django-sphinx को मना कर दिया और वैकल्पिक समाधान की तलाश करने लगे। पहली लाइब्रेरी जिस पर हमने गौर किया है वह है django-haystack, जिसके बाद से आश्चर्य की बात नहीं है यह django में खोज इंजन को एकीकृत करने के लिए सबसे लोकप्रिय पुस्तकालय है। आपी को देखने के बाद हम उस पर रुक गए। हमें प्रस्तावित खोज इंजनों में से किसी के साथ पूर्ण एकीकरण का वादा किया गया था: इलास्टिक्स खोज, सोलर, जोश, ज़ापियन। त्वरित निरीक्षण के बाद, निम्नलिखित निर्णय किए गए:

1. छोटी विशेषताओं के एक समूह की कमी के कारण हूश को बाहर रखा गया था, जिनमें से कुछ परियोजना के लिए आवश्यक थे। हां, और वे कहते हैं कि वह गति में अन्य विकल्पों से हार जाता है।
2. तीसरे पक्ष के बैकएंड को एकीकृत करने के असफल प्रयास के बाद ज़ापियन को निष्कासित कर दिया गया था।
3. 2 विकल्प बचे हैं - इलास्टिसर्च और सोल। दोनों जावा में, दोनों ल्यूसीन में, विशेषताएं लगभग समान हैं। "एक सिक्का फेंक", यह सोल का उपयोग करने का निर्णय लिया गया था।

अधिक रेक

मुझे तुरंत यह कहना चाहिए कि यह लेख मुख्य रूप से सॉल के साथ काम का वर्णन करता है, न कि हिस्टैक के साथ। आधिकारिक डॉक में हिस्टैक के बारे में जानकारी प्राप्त की जा सकती है, इसे अच्छी तरह से रखा गया है और इसे डुप्लिकेट किया गया है, मुझे यह बात दिखाई नहीं दे रही है।



पुस्तकालय चयनित, खोज इंजन चयनित। यह काम करने का समय है। पहली गलती आधिकारिक ubuntu 12.04 प्रतिनिधि से स्थापना थी। आधिकारिक रैप संस्करण सोलर 1.4 है, हालांकि परेशानियों से बचने के लिए हैस्टैक प्रलेखन संस्करण 3.5+ की सिफारिश करता है। हमने इसे खुद लगाने का फैसला किया। परीक्षण और त्रुटि की एक श्रृंखला के बाद, हम एक ऐसे समाधान के साथ आए, जो डेवलपर के लैन और परीक्षण और युद्ध सर्वर दोनों पर ठीक काम करता है। यहाँ क्रियाओं का एक उदाहरण दिया गया है:

1. हम सिस्टम पैकेज jre और जेट्टी लगाते हैं:

   apt-get install openjdk-7-jre-headless jetty
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

2. अजगर या:

    pip install pysolr django-haystack
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

3. सॉल की वैश्विक स्थापना के लिए "काला जादू" का एक सा:

    #!/bin/sh #variables LIB_DIRECTORY="/opt/solr" CONF_DIRECTORY="/etc/solr" OLD_CONF_DIRECTORY="$LIB_DIRECTORY/example/solr/conf" #check if already installed if ( [ -d $LIB_DIRECTORY ] && [ -d $CONF_DIRECTORY ] ); then echo "solr is already installed" exit fi #install if not #download and unpack wget http://archive.apache.org/dist/lucene/solr/3.6.2/apache-solr-3.6.2.tgz tar -xvzf apache-solr-3.6.2.tgz #install mv apache-solr-3.6.2 $LIB_DIRECTORY mv $OLD_CONF_DIRECTORY $CONF_DIRECTORY ln -s $CONF_DIRECTORY $OLD_CONF_DIRECTORY #cleanup rm apache-solr-3.6.2.tgz echo "solr installed"
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   

बेशक, यदि आप सोल को "विश्व स्तर पर" स्थापित नहीं करना चाहते हैं, तो आप स्क्रिप्ट को थोड़ा मोड़ सकते हैं और इसे किसी अन्य फ़ोल्डर में डाल सकते हैं - अतिरिक्त नृत्य के बिना unzipping के ठीक बाद सोलर काम करता है, हम सिर्फ सामान्य स्थानों में कॉन्फ़िगरेशन देखना चाहते थे और इसलिए अगला "तृतीय-पक्ष" अनुप्रयोग था। बाकी समान।



सामान्य तौर पर, यह चलाने के लिए पहले से ही संभव है और सब कुछ काम करेगा:

 cd /opt/solr/example/ && java -jar start.jar
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

लेकिन हम सब कुछ ऐसे ही नहीं छोड़ सकते। कॉन्फ़िगर, रीइंडेक्सिंग और सामान्य स्टार्टअप के बारे में क्या? क्रम में चलते हैं।

कॉन्फ़िगरेशन

इस संदर्भ में, हम 2 विन्यास में रुचि रखते हैं:

1. /etc/solr/schema.xml
   
   
   
   - डेटा योजना और अनुक्रमण के लिए अन्य जानकारी और सीधे हमारे डेटा से संबंधित खोज। हर बार जब आप अपने प्रोजेक्ट में इंडेक्स बदलते हैं, तो इस कॉन्फिग को अपडेट करना होगा।
2. /etc/solr/solrconfig.xml
   
   
   
   - /etc/solr/solrconfig.xml
   
   
   
   सेटिंग, अर्थात्। मॉड्यूल, हैंडलर और अन्य सेटिंग्स जो सीधे डेटा से संबंधित नहीं हैं। यदि आप सोल की अतिरिक्त सुविधाओं की आवश्यकता है, तो यह विन्यास आपके लिए उपयोगी हो सकता है।

किसी भी कॉन्फ़िगरेशन को अपडेट करने के बाद, आपको परिवर्तनों को प्रभावी करने के लिए सोल को रीबूट करना होगा। (वास्तव में, यह वैकल्पिक है, आप खुद को RELOAD तक सीमित कर सकते हैं, जो युद्ध की स्थिति में स्पष्ट रूप से अधिक सही होगा। wiki.apache.org/solr/CoreAdmin देखें)

स्कीमा.एक्सएमएल उत्पन्न करने के लिए, हैस्टैक अद्भुत build_solr_schema कमांड की आपूर्ति करता है। लेकिन इसका एक छोटा सा माइनस है - इसका उपयोग करते समय, आपको यह याद रखना होगा कि कॉन्फ़िगरेशन कहां रखा जाना चाहिए, क्योंकि यदि यह निर्दिष्ट किया जाता है, तो यह या तो कंसोल को कंसोल, या फ़ाइल में प्रिंट करता है। यदि आप अपनी टीम बनाते हैं, तो बिल्ड_solr_schema की एक पूरी प्रतिलिपि, आप फ़ाइल नाम का डिफ़ॉल्ट मान निर्दिष्ट कर सकते हैं (हमारे मामले में, यह /etc/solr/schema.xml है)। इस प्रकार, हमने डेवलपर्स के जीवन को थोड़ा सरल किया, क्योंकि अब आपको बस इस कमांड को चलाने की आवश्यकता है और कॉन्फ़िगरेशन अपडेट किया जाएगा।

reindexing

हमारे मामले में, अनुक्रमणिका की प्रासंगिकता बनाए रखने के लिए 2 विकल्प हैं:

1. "क्लासिक संस्करण" - हर एन मिनट में एक बार पूर्ण रीएन्डेक्सिंग। इस दृष्टिकोण का एकमात्र लाभ जो मन में आता है वह है इसकी सादगी। कुछ और minuses हैं: एक बड़े डेटाबेस के साथ, इसमें लंबा समय लगता है, पुनर्निवेशों के बीच डेटा अप्रासंगिक हो सकता है।
2. "परमाणु रिइंडेक्सिंग" - संकेतों के द्वारा प्रत्येक ऑब्जेक्ट को reindexing करना post_save, post_delete, आदि। मुख्य प्लस स्पष्ट रूप से डेटाबेस के आकार की परवाह किए बिना गति होगा। यह महत्वपूर्ण है कि इस दृष्टिकोण के साथ, सभी reindexing नियंत्रण परियोजना कोड के पूर्ण दृश्य में है, न कि किसी प्रकार के मुकुट में या, सबसे अच्छा, अजवाइन कार्य। लेकिन कुछ कमियां हैं: गलत कार्यान्वयन के मामले में डेटा अप्रासंगिकता और रीइंडेक्सिंग के साथ सिग्नल कॉल करते समय ओवरहेड। उत्तरार्द्ध को अतुल्यकालिक कार्य (हमारे मामले में, अजवाइन) में डालकर समाप्त कर दिया जाता है।

हमने दूसरा विकल्प चुना (दोनों में से कोई भी एक बार चुनने से मना नहीं करता) और कार्यान्वयन के लिए हमने मॉडल और कुछ कार्यों के लिए एक सरल मिश्रण का उपयोग किया:

hagfish

 class RefreshIndexMixin(object): #index -   ,  PostIndex  CarIndex def update_index(self, index): current_app.send_task('project.tasks.update_index', args=[self, index]) def remove_index(self, index): current_app.send_task('project.tasks.remove_index', args=[self, index])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

मॉडल में, क्रमशः, इसी संकेत में update_index या remove_index को कॉल करने के लिए पर्याप्त है।

टास्क

 from celery import shared_task @shared_task def update_index(obj, index): index().update_object(obj) @shared_task def remove_index(obj, index): index().remove_object(obj)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

सामान्य शुरुआत।

हम हर जगह पर्यवेक्षक का उपयोग करते हैं, इसलिए हमारे मामले में हमें लंबे समय तक सोचना नहीं पड़ता है। यहाँ LAN / परीक्षण सर्वर के लिए एक उदाहरण विन्यास है:

 [program:solr] command=java -jar start.jar directory=/opt/solr/example/ stderr_logfile=/var/log/solr.error.log stdout_logfile=/var/log/solr.log autorestart=true
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

LAN / टेस्ट के लिए क्यों? क्योंकि सॉल "बॉक्स से बाहर" अपने स्वयं के व्यवस्थापक पैनल के साथ आता है, जहां आप अनुक्रमित, सेटिंग्स आदि देख सकते हैं, साथ ही इस डेटा के साथ सभी प्रकार के जोड़तोड़ कर सकते हैं। लड़ाकू सर्वर पर, आप सबसे अधिक इस तरह की सुविधा को छोड़ना चाहते हैं, इसलिए यहां केवल डिफ़ॉल्ट पोर्ट पर स्थानीय कमांड पर लॉन्च कमांड है:

 command=java -Djetty.host=127.0.0.1 -Djetty.port=8983 -jar start.jar
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

परिणाम

नीचे की पंक्ति में हमारे पास क्या है:

• शक्तिशाली खोज इंजन जो django परियोजना के साथ पूरी तरह से एकीकृत है
• परमाणु अनुक्रमण
• परियोजना के भीतर किसी भी सेटिंग का आसान परिवर्तन
• अतिरिक्त सुविधाओं की एक पूरी गुच्छा (मुखरता, इस तरह से अधिक, आदि) जो वास्तव में काम करते हैं

उस समय के दौरान जब हम इस बंडल का उपयोग करते हैं, इसने स्वयं को सभी पक्षों पर उत्कृष्ट तरीके से दिखाया है। उपयोगकर्ता और ग्राहक साइट पर त्वरित और पर्याप्त खोज से संतुष्ट हैं। डेवलपर्स के लिए, इस तरह के जावा राक्षस की उपस्थिति लगभग अदृश्य है, क्योंकि उन्हें केवल अनुक्रमणिका, प्रबंधतंत्र के एक जोड़े और कमांडर को पर्यवेक्षक के माध्यम से पुनः लोड करने की आवश्यकता है।