अव्यक्त अर्थ विश्लेषण

उन ग्रंथों को कैसे खोजें जो अर्थ में समान हैं? एक ही विषय के ग्रंथों की खोज के लिए क्या एल्गोरिदम हैं? - विभिन्न प्रोग्रामिंग मंचों में नियमित रूप से उठने वाले प्रश्न। आज मैं उन दृष्टिकोणों में से एक के बारे में बात करूँगा जो खोज दिग्गज सक्रिय रूप से उपयोग कर रहे हैं और जो एसईओ उर्फ ​​खोज इंजन ऑप्टिमाइज़र के लिए एक मंत्र की तरह लगता है। इस दृष्टिकोण को अव्यक्त अर्थ विश्लेषण (एलएसए), उर्फ ​​अव्यक्त अर्थ इंडेक्सिंग (एलएसआई) कहा जाता है।











मान लीजिए कि आपको एक एल्गोरिथ्म लिखने के काम का सामना करना पड़ रहा है जो अर्थव्यवस्था पर समाचार से पॉप सितारों के बारे में समाचार को अलग कर सकता है। पहली बात जो मन में आती है, वह उन शब्दों को चुनना है जो विशेष रूप से प्रत्येक प्रकार के लेखों में पाए जाते हैं और उन्हें वर्गीकरण के लिए उपयोग करते हैं। इस दृष्टिकोण के साथ स्पष्ट समस्या यह है कि सभी संभावित शब्दों को कैसे सूचीबद्ध किया जाए और यदि लेख में कई वर्गों के शब्द हैं तो क्या करें। Homonyms एक अतिरिक्त जटिलता है। यानी कई अर्थों के साथ शब्द। उदाहरण के लिए, एक संदर्भ में "बैंक" शब्द का अर्थ कांच के बर्तन हो सकते हैं, और दूसरे संदर्भ में यह वित्तीय संस्थान हो सकते हैं।



अव्यक्त-अर्थ विश्लेषण, दस्तावेजों और व्यक्तिगत शब्दों को तथाकथित "सिमेंटिक स्पेस" में मैप करता है, जिसमें सभी आगे की तुलना की जाती है। निम्नलिखित धारणाएँ की जाती हैं:



1) दस्तावेज़ केवल शब्दों का एक समूह हैं। दस्तावेजों में शब्द क्रम की अनदेखी की जाती है। एकमात्र महत्वपूर्ण बात यह है कि दस्तावेज़ में यह या यह शब्द कितनी बार दिखाई देता है।

2) किसी दस्तावेज़ का शब्दार्थ अर्थ उन शब्दों के समूह द्वारा निर्धारित किया जाता है जो आमतौर पर एक साथ चलते हैं। उदाहरण के लिए, स्टॉक एक्सचेंजों में, शब्द "फंड", "स्टॉक", "डॉलर" अक्सर पाए जाते हैं

3) प्रत्येक शब्द का एक अनूठा अर्थ है। यह, ज़ाहिर है, एक महान सरलीकरण है, लेकिन यह वह है जो समस्या को हल करता है।

उदाहरण

उदाहरण के लिए, मैंने विभिन्न समाचारों से कई सुर्खियों का चयन किया। उन्हें संयोग से नहीं चुना गया था, तथ्य यह है कि एक यादृच्छिक नमूने के लिए बहुत बड़ी मात्रा में डेटा की आवश्यकता होगी, जो आगे की प्रस्तुति को बहुत जटिल करेगा। इसलिए, कई शीर्षकों का चयन किया गया है।



सबसे पहले, तथाकथित स्टॉप प्रतीकों को इन हेडर से बाहर रखा गया था। ये ऐसे शब्द हैं जो हर पाठ में पाए जाते हैं और शब्दार्थ भार नहीं उठाते हैं, ये हैं, सबसे पहले, सभी संयुग्मन, कण, प्रस्तावना और कई अन्य शब्द। स्टॉप सिंबल की पूरी सूची स्टॉप सिंबल पर मेरे पिछले लेख में देखी जा सकती है ।



अगला, एक मुद्रांकन ऑपरेशन किया गया था। यह अनिवार्य नहीं है, कुछ स्रोतों का दावा है कि इसके बिना अच्छे परिणाम प्राप्त होते हैं। दरअसल, यदि ग्रंथों का सेट काफी बड़ा है, तो इस कदम को छोड़ा जा सकता है। यदि ग्रंथ अंग्रेजी में हैं, तो इस कदम को भी अनदेखा किया जा सकता है, इस तथ्य के कारण कि अंग्रेजी में किसी विशेष शब्द के रूपों की संख्या रूसी की तुलना में काफी कम है। हमारे मामले में, इस कदम को छोड़ना इसके लायक नहीं है। इससे परिणामों का महत्वपूर्ण क्षरण होगा। स्टेमिंग के लिए, मैंने पोर्टर एल्गोरिथ्म का उपयोग किया।



तब एकल प्रति में होने वाले शब्दों को बाहर रखा गया था। यह भी एक वैकल्पिक कदम है, यह अंतिम परिणाम को प्रभावित नहीं करता है, लेकिन गणितीय गणनाओं को बहुत सरल करता है। परिणामस्वरूप, हमारे पास अभी भी तथाकथित अनुक्रमित शब्द हैं, उन्हें बोल्ड में हाइलाइट किया गया है:



1. ब्रिटिश पुलिस अधिकारी विकीलीक्स के संस्थापक के ठिकाने के बारे में जानते हैं

2. अमेरिकी अदालत ने एक रूसी के खिलाफ विरोध की प्रक्रिया शुरू की जिसने स्पैम भेजा

3. 19 देशों को शांति के नोबेल पुरस्कार से सम्मानित किया गया

4. ब्रिटेन में विकिलिक्स के संस्थापक और संस्थापक जूलियन असांजे हैं

5. यूक्रेन ने समारोह की अनदेखी की , पहला नोबेल पुरस्कार दिया

6. स्वीडिश अदालत ने संस्थापक की अपील पर विचार करने से इनकार कर दिया। विकिलीक्स

7. नाटो और अमेरिका ने रूस के खिलाफ बाल्टिक देशों के लिए रक्षा योजनाएं विकसित की हैं

8. ब्रिटिश पुलिस ने विकीलीक्स के संस्थापक को पाया, लेकिन गिरफ्तार नहीं किया

9. स्टॉकहोम और ओस्लो में आज उनके नोबेल पुरस्कार से सम्मानित किया जाएगा

अव्यक्त अर्थ विश्लेषण

पहला कदम अनुक्रमित शब्दों की आवृत्ति मैट्रिक्स संकलित करना है। इस मैट्रिक्स में, पंक्तियां अनुक्रमित शब्दों के अनुरूप हैं, और कॉलम दस्तावेजों के अनुरूप हैं। मैट्रिक्स का प्रत्येक सेल इंगित करता है कि संबंधित दस्तावेज़ में शब्द कितनी बार दिखाई देता है।







अगला चरण परिणामी मैट्रिक्स का एक विलक्षण अपघटन है। एक विलक्षण अपघटन एक गणितीय ऑपरेशन है जो मैट्रिक्स को तीन घटकों में विघटित करता है। यानी हम फार्म में मूल मैट्रिक्स एम का प्रतिनिधित्व करते हैं:



एम = यू * डब्ल्यू * वी ^टी



जहां यू और वी ^टी ऑर्थोगोनल मेट्रिसेस हैं, और डब्ल्यू विकर्ण मैट्रिक्स है। इसके अलावा, मैट्रिक्स W के विकर्ण तत्व घटते क्रम में आदेशित होते हैं। मैट्रिक्स W के विकर्ण तत्वों को एकवचन संख्या कहा जाता है।







एकवचन अपघटन की सुंदरता यह है कि यह मैट्रिक्स के प्रमुख घटकों को उजागर करता है, जिससे आप शोर को अनदेखा कर सकते हैं। मेट्रिसेस के उत्पाद के लिए सरल नियमों के अनुसार, यह देखा जा सकता है कि छोटे एकल मूल्यों के अनुरूप कॉलम और पंक्तियाँ अंतिम उत्पाद में कम से कम योगदान देती हैं। उदाहरण के लिए, हम मैट्रिक्स U के अंतिम कॉलम और मैट्रिक्स V ^ t की अंतिम पंक्तियों को छोड़ सकते हैं, केवल पहले 2 को छोड़ सकते हैं। यह महत्वपूर्ण है कि यह परिणामी उत्पाद की अनुकूलता सुनिश्चित करता है। इस रूप के विस्तार को द्वि-आयामी एकवचन विस्तार कहा जाता है:







आइए अब ग्राफ पर अलग-अलग ग्रंथों और शब्दों से संबंधित बिंदुओं को चिह्नित करते हैं, हमें ऐसी दिलचस्प तस्वीर मिलती है:







यह ग्राफ दिखाता है कि लेख तीन स्वतंत्र समूह बनाते हैं, लेखों का पहला समूह शब्द "विकिलिक्स" के बगल में स्थित है, और वास्तव में, अगर हम इन लेखों के नामों को देखते हैं, तो यह स्पष्ट हो जाता है कि वे विकिलिक्स से संबंधित हैं। लेखों का एक और समूह "पुरस्कार" शब्द के आसपास बना है, और वास्तव में वे नोबेल पुरस्कार पर चर्चा कर रहे हैं।



व्यवहार में, निश्चित रूप से, समूहों की संख्या अधिक बड़ी होगी, अंतरिक्ष दो-आयामी नहीं बल्कि बहुआयामी होगा, लेकिन विचार स्वयं एक ही रहता है। हम अपने अंतरिक्ष में शब्दों और लेखों के स्थानों को निर्धारित कर सकते हैं और इस जानकारी का उपयोग कर सकते हैं, उदाहरण के लिए, एक लेख का विषय निर्धारित करें।

एल्गोरिथ्म सुधार

यह नोटिस करना आसान है कि पहले चरण में बनाए गए अनुक्रमित शब्दों की आवृत्ति मैट्रिक्स में कोशिकाओं की अत्यधिक संख्या में शून्य होते हैं। मैट्रिक्स बहुत विरल है और इस संपत्ति का उपयोग अधिक जटिल कार्यान्वयन बनाते समय प्रदर्शन और स्मृति खपत में सुधार करने के लिए किया जा सकता है।



हमारे मामले में, ग्रंथों की लंबाई समान थी, वास्तविक स्थितियों में, आवृत्ति मैट्रिक्स को सामान्य किया जाना चाहिए। TF-IDF मैट्रिक्स को सामान्य करने का मानक तरीका



हमने एसवीडी -2 के दो-आयामी अपघटन का उपयोग किया, वास्तविक उदाहरणों में, आयाम कई सौ या अधिक हो सकते हैं। आयाम का चुनाव एक विशिष्ट कार्य द्वारा निर्धारित किया जाता है, लेकिन सामान्य नियम यह है: आयाम जितना छोटा होगा, उतना कम अर्थ समूह आप पा सकते हैं, आयाम जितना बड़ा होगा, शोर का प्रभाव उतना ही अधिक होगा।

टिप्पणी

लेख लिखने के लिए, हमने जामा मेट्रिसेस के साथ काम करने के लिए जावा लाइब्रेरी का उपयोग किया। इसके अलावा, SVD फ़ंक्शन को मथकड जैसे प्रसिद्ध गणितीय पैकेजों में लागू किया जाता है, पायथन और C ++ के लिए लाइब्रेरी हैं।