रूसी स्मृति-आधारित आकृति विज्ञान

मशीन लर्निंग में होनहार दृष्टिकोणों में से एक पहले से ही जांचे गए उदाहरणों को याद रखने और एक समान नमूना खोजने पर आधारित है। उदाहरण के लिए, हमारे पास पहले से ही डिक्रिप्टेड ऑडियो रिकॉर्डिंग का एक संग्रह है, और यदि कोई नई ध्वनि फ़ाइल दिखाई देती है, तो हम एक समान पैटर्न की तलाश करते हैं और इसके आधार पर मान्यता का निर्माण करते हैं। आइए विचार करें कि इस सिद्धांत के आधार पर, रूसी भाषा की आकृति विज्ञान का निर्माण कैसे संभव है।



ज्यादातर मामलों में, शब्द का प्रत्यय बदलकर शब्द रूप बनता है। इसके अलावा, सबसे सरल मामले में, नियम जिसके अनुसार सामान्य रूप निर्धारित किया जाएगा , एक ट्रिपल (n, newsuffix, morphinfo) द्वारा निर्धारित किया जाता है, जहां

• n प्रत्यय की लंबाई को छोड़ दिया गया है;
• newsuffix - एक नया प्रत्यय, जिसका जोड़ एक सामान्य रूप देगा;
• मॉर्फिनॉफ़ - रूपात्मक जानकारी (जैसे मामला, लिंग, आदि)।

उदाहरण के लिए, शब्द " लोगों " के लिए नियम के निम्नलिखित रूप होंगे - (4, "व्यक्ति", "संज्ञा, पुल्लिंग, नाममात्र के मामले में, बहुवचन") । इस घटना में कि एक शब्द के कई सामान्य शब्द रूप हो सकते हैं ( शराब -> शराब, शराब ), नियम में कई त्रिगुण शामिल होंगे। उदाहरण जब उपसर्ग का उपयोग करके शब्द का रूप भी बनता है, तो हम विचार नहीं करेंगे। मूल रूप से, यह अतिशयोक्ति विशेषणों पर लागू होता है, जिसे सिद्धांत रूप में, एकल शब्द (उदाहरण के लिए, "सबसे अच्छा", "सबसे बड़ा" ) के रूप में व्याख्या किया जा सकता है। प्रत्येक शब्द के लिए ऐसा नियम निर्धारित करके, हम आसानी से एक सामान्य शब्द रूप प्राप्त कर सकते हैं।



एओटी परियोजना के शब्दकोश में लगभग 5 मिलियन शब्द रूप हैं, जिनका उपयोग किसी शब्द के सामान्य रूप को निर्धारित करने के लिए लगभग 30 हजार नियमों का निर्माण करने के लिए किया जाता है। वास्तव में, ये बहुत ही संसाधित परिणाम हैं जो हमारे एल्गोरिथ्म के निर्माण के लिए बहुत आवश्यक हैं। इसके अलावा, पहली नज़र में ऐसा लगता है कि सही नियम को खोजने के लिए, आपको सभी 5 मिलियन शब्द रूपों को संग्रहीत करने की आवश्यकता है। वास्तव में, ऐसा नहीं है।



आइए शब्द के सामान्य रूप को खोजने के लिए एक अनुमान लगाने का प्रयास करें, जो एक ही समय में संग्रहीत जानकारी की मात्रा को कम करने में मदद करेगा। ऐसा करने के लिए, हम निम्नलिखित पैटर्न का उपयोग करेंगे: लंबे समय तक एक सामान्य प्रत्यय के दो शब्द होंगे, सामान्य रूप के गठन के लिए उनके पास एक ही नियम होगा।



हम निम्नानुसार आगे बढ़ते हैं: हम सभी शब्द रूपों को उल्टे शब्दों के शब्दांश क्रम में क्रमबद्ध करते हैं। उदाहरण के लिए, शब्दों के लिए a, हथियार, पक्ष, समुद्र, निम्नलिखित आदेश सत्य होगा: a, side, हथियार, समुद्र । हमें निम्नलिखित पैटर्न मिलते हैं: एक दूसरे के बगल में हल किए जाने वाले शब्दों में समान नियम होने की संभावना अधिक होती है। अब हम अपनी सूची से उन सभी शब्दों को हटा देंगे जिनके नियम शब्द के नियम से मेल खाते हैं। लगभग 500 हजार शब्द हमारे निपटान पर रहेंगे, अर्थात, हम संग्रहीत जानकारी की मात्रा को 10 गुना कम करने में सक्षम थे। इस प्रकार, किसी भी शब्द के लिए एक सामान्य शब्द रूप प्राप्त करने के लिए, हमें शेष सूची से सबसे बड़ा शब्द खोजने की आवश्यकता है जो इस एक से अधिक नहीं है और इससे नियम लागू होता है। यह एल्गोरिथम डिक्शनरी के सभी शब्दों के लिए सही ढंग से काम करेगा और अपरिचित उदाहरणों के लिए अच्छे आंकड़े देगा। इस दृष्टिकोण का उपयोग लुसीनी में रूसी भाषा के लिए समर्थन जोड़ने के लिए भी किया गया था ।



इसके अलावा, कब्जे वाली जानकारी की मात्रा को कम करने के लिए, हम अतिरिक्त कोडिंग कर सकते हैं, जिसमें लगातार छह अक्षरों को 32-बिट इंट के रूप में दर्शाया जाता है। इस प्रकार, वांछित नियम की खोज के लिए उपयोग किए जाने वाले पैटर्न की सूची को दो-आयामी सरणी संख्याओं के रूप में दर्शाया जाता है, जिसमें एक पंक्ति एक शब्द से मेल खाती है। वांछित नमूना खोजने के लिए, आपको बाइनरी खोज का उपयोग करना चाहिए। इस एल्गोरिथ्म की गति लगभग 200 हजार शब्द प्रति सेकंड है। इसके अलावा, आगे सुधार संभव है: उदाहरण के लिए, जानकारी के लिए स्टोर और खोज करने के लिए एक उपसर्ग वृक्ष का उपयोग करना। लेकिन यह अगली बातचीत का विषय है।