पायथन में Xapian पूर्ण-पाठ खोज पुस्तकालय का उपयोग करना

आज, वेब 2.0 के युग में, जब साइटों पर अधिक से अधिक सामग्री होती है, तो डेवलपर्स को पूर्ण-पाठ खोज को लागू करने के कार्य का सामना करना पड़ता है।



कुछ विकल्प हैं:

• खोज इंजन डेवलपर्स (Google, Yandex, आदि) से विजेट का उपयोग करें: लागू करने के लिए आसान, उपयोगकर्ता के अनुकूल इंटरफेस, आकृति विज्ञान समर्थन, शब्दकोश सुधार, संभवतः खोज इंजन द्वारा साइट का तेजी से अनुक्रमण, लेकिन आमतौर पर अनुकूलन के लिए सीमित विकल्प और अनुक्रमण की अपरिहार्य देरी। ;
• DBMS में निर्मित टूल का उपयोग करें (उदाहरण के लिए, MySQL के लिए FULLTEXT इंडेक्स ): इसे लागू करना काफी आसान है, अप-टू-डेट सर्च इंडेक्स, कॉन्फ़िगरेशन और उपस्थिति पर पूर्ण नियंत्रण, लेकिन, सबसे अधिक बार, बड़ी मात्रा में डेटा पर बहुत कम प्रदर्शन, आकृति विज्ञान की कमी, या, सबसे खराब। मामला, DBMS में इस तरह के फंड की पूर्ण अनुपस्थिति;
• एक अलग पुस्तकालय / पूर्ण-पाठ खोज प्रणाली का उपयोग करें।

तीसरा विकल्प सबसे अच्छा लगता है, क्योंकि यह अन्य दो विकल्पों के फायदे को जोड़ता है। यहां सच्चाई खामियों के बिना नहीं थी - पुस्तकालय को स्थापना की आवश्यकता होती है, कभी-कभी एक डेमन लॉन्च भी किया जाता है (उदाहरण के लिए, स्फिंक्स ), जो अस्वीकार्य हो सकता है।



बहुत सारे समाधान हैं, प्रत्येक के अपने फायदे और नुकसान हैं। मैं अपेक्षाकृत अल्प-ज्ञात ज़ापियन पुस्तकालय के बारे में विस्तार से बताना चाहूंगा।

सिंहावलोकन

यह खुला स्रोत (GPL) क्रॉस-प्लेटफ़ॉर्म लाइब्रेरी C ++ में लिखा गया है, जिसमें पायथन, PHP, रूबी, पर्ल, जावा, Tcl और C # शामिल हैं।



लाइब्रेरी सुविधाएँ:

• पूर्ण यूनिकोड समर्थन
• बूलियन खोज, रैंकिंग के साथ खोज, मुखौटा, समानार्थक द्वारा, छँटाई परिणामों के लिए समर्थन है;
• दुनिया की 15 भाषाओं के लिए समर्थन (रूसी सहित);
• शब्दकोश क्वेरी सुधार समर्थन (उदाहरण के लिए, xapain अनुरोध को xapian द्वारा बदल दिया जाएगा)
• समानता से दस्तावेजों की खोज;
• बॉक्स (पीडीएफ, एचटीएमएल, आरटीएफ, माइक्रोसॉफ्ट ऑफिस, ओपनडैक्मेंट, यहां तक ​​कि आरपीएम और डेबियन पैकेज) से अलग-अलग प्रारूपों में दस्तावेजों को अनुक्रमित करने के लिए समर्थन, नए प्रारूप का समर्थन करने के लिए फ़िल्टर जोड़ना आसान है।

एक मायने में, Xapian का मुख्य दोष C ++ के अलावा प्रोग्रामिंग भाषाओं के लिए इसकी बाइंडिंग है। SWIG का उपयोग बाध्यकारी कोड उत्पन्न करने के लिए किया जाता है, इसलिए इसमें मौजूद API C ++ के लिए संस्करण के साथ पूरी तरह से मेल खाता है ।



सौभाग्य से पायथन के लिए एक सरल और प्रभावी Xappy रैपर है जो सभी गंदे काम का ख्याल रखता है।

स्थापना

पहला कदम खुद ज़ेपियन को स्थापित करना है, अजगर और Xappy के लिए बाध्यकारी। अधिकांश जीएनयू / लिनक्स वितरण के रिपॉजिटरी में पहले से ही सभी आवश्यक पैकेज हैं, उदाहरण के लिए, उबंटू 10.10 में, आपको पैकेज स्थापित करने की आवश्यकता है:

sudo apt-get install libxapian15 python-xapian python-xappy
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Xappy easy_install या पाइप के माध्यम से भी उपलब्ध है:

 sudo pip install xappy
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अनुक्रमण

आइए कुछ को अनुक्रमित करने का प्रयास करें:

 import xappy #         #        connection = xappy.IndexerConnection('/path/to/base') #    connection.add_field_action( 'title', xappy.FieldActions.INDEX_FREETEXT, weight=5, language='ru') connection.add_field_action( 'description', xappy.FieldActions.INDEX_FREETEXT, language='ru')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

जब आप अनुक्रमण के लिए एक कनेक्शन खोलते हैं, तो एक नया (या पहले से मौजूद) खोज सूचकांक डेटाबेस बनाया जाएगा - एक फ़ोल्डर जिसमें फ़ाइलों का एक सेट है। डेटाबेस प्रारूप ऑपरेटिंग सिस्टम से स्वतंत्र है।



खोलने के बाद, आपको सूचकांक फ़ील्ड के गुणों को निर्दिष्ट करने की आवश्यकता है: नाम, प्रकार और अन्य विशेषताएं।



फ़ील्ड प्रकार हो सकते हैं:

• INDEX_FREETEXT: पाठ फ़ील्ड में संग्रहीत है, आपको केवल पाठ को संग्रहीत किए बिना एक सूचकांक बनाने की आवश्यकता है। इस प्रकार के क्षेत्र के लिए, आप अतिरिक्त विशेषताओं को निर्दिष्ट कर सकते हैं, उदाहरण के लिए भाषा में = to आरयू ’को ध्यान में रखते हुए भाषा की आकृति विज्ञान और भार = 5 - रैंकिंग करते समय क्षेत्र का" वजन ";
• INDEX_EXACT: शब्द का सटीक मान फ़ील्ड में संग्रहीत किया जाता है (सटीक मानों की खोज के लिए उपयुक्त, उदाहरण के लिए, पुस्तक पहचानकर्ता), पाठ सूचकांक में संग्रहीत होता है;
• प्रकार: छँटाई पूरे क्षेत्र में होगा। डिफ़ॉल्ट रूप से, छंटाई lexicographic प्रारूप में है, भले ही इसमें क्या संग्रहीत किया गया हो। इस व्यवहार को तारीखों को सॉर्ट करने के लिए टाइप = 'डेट' विशेषता के माध्यम से बदला जा सकता है (फॉर्मेट YYYYMMDD, YYYY-MM-DD या YYYY / MM / DD) और टाइप = 'फ्लोट' वास्तविक संख्या (किसी भी पायथन फॉर्मेट में समर्थित) को सॉर्ट करने के लिए;
• COLLAPSE: समूचे क्षेत्र में समूहीकरण होगा (SQL में GROUP BY का एनालॉग, उदाहरण के लिए, एक दस्तावेज़ को खोजने के लिए जो प्रत्येक श्रेणी में अनुरोध के लिए सबसे उपयुक्त है);
• STORE_CONTENT: INDEX_FREETEXT के समान केवल पाठ भी सूचकांक में संग्रहीत किया जाता है।

दस्तावेज़ जोड़ने के लिए, निम्नलिखित कोड उपयुक्त है:

 #    doc = xappy.UnprocessedDocument() #   doc.fields.append(xappy.Field('title', '  ')) doc.fields.append(xappy.Field('description', '  ')) #    connection.add(doc)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

प्रत्येक दस्तावेज़ में एक विशिष्ट पहचानकर्ता होना चाहिए, ऊपर दिए गए उदाहरण में यह स्वचालित रूप से जोड़ा जाएगा, लेकिन आप अपना स्वयं का उल्लेख कर सकते हैं:

 #      for posts_item in posts: doc = xappy.UnprocessedDocument() #       #    ! doc.id = posts_item.id doc.fields.append(xappy.Field('title', posts_item.title)) doc.fields.append(xappy.Field('description', posts_item.description) connection.add(doc)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

दस्तावेजों को जोड़ने के बाद, डिस्क में सभी परिवर्तनों को लिखना और कनेक्शन को बंद करना आवश्यक है:

 connection.flush() connection.close()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

यही है, सूचकांक बनाया जाता है!

खोज

मौजूदा इंडेक्स को खोजने के लिए, आपको खोज इंडेक्स के डेटाबेस को खोजने के लिए एक कनेक्शन खोलने की आवश्यकता है:

 import xappy #         #        connection = xappy.SearchConnection('/path/to/base')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

एक स्थिति संभव है जब खोज कनेक्शन को खोलने के बाद नए दस्तावेज़ों को अनुक्रमित किया गया था। इस मामले में, आपको वर्तमान डेटाबेस तक पहुंच प्राप्त करने के लिए कनेक्शन को फिर से खोलना होगा:

 connection.reopen()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

खोज क्वेरी ( SearchConnection वर्ग) को निष्पादित करने के लिए कई तरीके हैं, सबसे सरल है query_parse:

 #    query = connection.query_parse('') #    10  #      10, 20  .. results = connection.search(query, 0, 10) # -  if results.matches_estimated > 0: for results_item in results: print(results_item.rank, results_item.id) else: print('  ')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

STORE_CONTENT या INDEX_EXACT प्रकार के क्षेत्रों के लिए, उनकी सामग्री प्रदर्शित की जा सकती है, जो उदाहरण के लिए, मुख्य डेटाबेस से ID द्वारा चयनित रिकॉर्ड का चयन नहीं करने की अनुमति देती है, लेकिन सिर्फ खोज सूचकांक करने के लिए:

 for results_item in results: print(results_item.data['title'])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

संबंधित लिंक

बेशक, यह उन सभी से दूर है जो ज़ापियन सक्षम है। Xappy 0.5 प्रलेखन में इन और अन्य विशेषताओं पर अधिक विस्तार से चर्चा की गई है, आप आधिकारिक ज़ापियन दस्तावेज़ का भी उल्लेख कर सकते हैं और कुछ सामग्री अंग्रेज़ी में इस ज़ापियन ब्लॉग में हैं।