.NET में Xapian के साथ अनुक्रमण और खोज

यदि ज़ापियन शब्द आपके लिए अपरिचित है, तो मेरा सुझाव है कि आप एक छोटा लेख पढ़ें।

संक्षेप में, Xapian पाठ जानकारी को अनुक्रमित करने के लिए C ++ में लिखे गए टूल का एक सेट है, जिसमें अनुक्रमित जानकारी के डेटाबेस के माध्यम से खोज करने की क्षमता है। इसे काम करने के लिए एक स्थापित सर्वर की आवश्यकता नहीं है, इसके पुस्तकालय पर्याप्त हैं। यह लाखों दस्तावेजों में मापी गई बड़ी मात्रा में जानकारी (1.5Tb तक सत्यापित) की प्रक्रिया कर सकता है। यह Sphinx और Apache Lucene का एक प्रतिस्पर्धी उत्पाद है।

मुझे .Net से उपयोग करने की उनकी क्षमता के लिए इन तीन उत्पादों से चुना गया था।







सबसे पहले, आपको .Net के लिए Xapian dll 'ki डाउनलोड करना होगा ।

फिर एक और सहायक dll - Zlib1.dll , इसके बिना, अपवादों को C ++ में संकलित एक रैपिंग डीएल तक पहुंचने की कोशिश करते समय फेंक दिया जाएगा।



वास्तव में काम के लिए, यह आवश्यक है। आप एक प्रोजेक्ट बना सकते हैं। XapianCSharp.dll को तुरंत संदर्भ में जोड़ा जाता है। हम प्रोजेक्ट में (केवल सामग्री के रूप में) _XapianSharp.dll और zlib1.dll जोड़ते हैं, और कॉपी को आउटपुट डायरेक्टरी में हमेशा की तरह चिह्नित करते हैं।



हम कार्य के परीक्षण के लिए दो कार्य करते हैं:

.... using Xapian; .... //   ,       //    string xapianBase="H:\\XapianDB\\xap.db"; .... //    //  private void IndexFolder(string path) { try { if (Directory.Exists(path)) { string[] files=Directory.GetFiles(tbIndexFolder.Text); using (WritableDatabase database=new WritableDatabase(xapianBase, Xapian.Xapian.DB_CREATE_OR_OPEN)) { using (TermGenerator indexer=new TermGenerator()) { using (Stem stemmer=new Xapian.Stem("russian")) { indexer.SetStemmer(stemmer); foreach (string file in files) { using (Document doc=new Document()) { //    ,       doc.SetData(file); indexer.SetDocument(doc); //      indexer.IndexText(File.ReadAllText(file, Encoding.GetEncoding(1251))); //   database.AddDocument(doc); } } } } } } } catch (Exception ex) { Write("Exception: "+ex.ToString()); } } private void Search(string searchText) { try { //     using (Database database=new Database(xapianBase)) { using (Enquire enquire=new Enquire(database)) { using (QueryParser qp=new QueryParser()) { using (Stem stemmer=new Stem("russian")) { Write(stemmer.GetDescription()); qp.SetStemmer(stemmer); qp.SetDatabase(database); qp.SetStemmingStrategy(QueryParser.stem_strategy.STEM_SOME); using (Query query=qp.ParseQuery(searchText)) { Write("Parsed query is: "+query.GetDescription()); enquire.SetQuery(query); //         //     100  MSet matches=enquire.GetMSet(0, 100); Write(String.Format("{0} results found.", matches.GetMatchesEstimated())); Write(String.Format("Matches 1-{0}:", matches.Size())); //  MSetIterator m=matches.Begin(); //   while (m!=matches.End()) { Write(String.Format("{0}: {1}% docid={2} [{3}]\n", m.GetRank()+1, m.GetPercent(), m.GetDocId(), m.GetDocument().GetData())); ++m; } } } } } } } catch (Exception ex) { Write("Exception: "+ex.ToString()); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अपने स्वाद के लिए लिखें फ़ंक्शन लिखें।



अब पाठ फ़ाइलों के साथ एक निर्देशिका बनाएं, या मौजूदा एक का उपयोग करें, IndexFolder (directory_name) को कॉल करें, तब तक प्रतीक्षा करें जब तक कि फ़ाइलें अनुक्रमित न हों। और हम खोज को कॉल कर सकते हैं, खोज के लिए कीवर्ड के साथ एक स्ट्रिंग पास करना, एक स्थान द्वारा अलग किया गया।

परीक्षण।

लौह विन्यास:

इंटेल पेंटियम III 996Mhz

राम 256Mb



अनुक्रमित फ़ाइलों की संख्या: 641489

अनुक्रमित फाइलें: 2,38 जीबी



फ़ाइल अनुक्रमण समय: एक सप्ताह से अधिक (हार्डवेयर को याद रखें, 4x कोर पर ऑपरेशन को संभवतः कई घंटे लगेंगे, तदनुसार स्वैप भी कई बार प्रदर्शन कम कर देता है)।

इंडेक्सिंग लोड





तालिका औसत खोज समय

शब्द गणना	खोज	समय
1	1	1883 मि।
1	2	28 एमएस
1	3	३१ मि
2	1	175 मि
2	2	36 एमएस
2	3	41 एमएस
3	1	1074 मि।
3	2	35 एमएस
3	3	37 एमएस

संकेतक बहुत आशावादी हैं, खासकर ऐसी कमजोर कार के लिए।



सूत्रों का कहना है:

कोडप्रोजेक्ट पर अनुच्छेद

आधिकारिक वेबसाइट