नए शब्दों के विहित रूपों के लिए एक प्रतिमान उत्पन्न करने के लिए सांख्यिकीय विधियों का उपयोग करना

इसलिए वह क्षण आ गया है जब यह पहले से ही उपलब्ध आंकड़ों और सांख्यिकीय तरीकों का उपयोग करके आकृति विज्ञान मॉड्यूल के आधार / शब्दकोश को भरने के एक दिलचस्प तरीके के बारे में बात करना संभव होगा।



हमारे पास है:

1. ज़ालिज़निअक का आधार 94 हजार लगभग 3 मिलियन शब्द है
2. उनके व्याकरणिक संबद्धता (लिंग, संख्या, एनीमेशन, आदि ...) के बारे में जानकारी के साथ 52 हजार नए शब्दों का आधार ...
3. रूबी दुभाषिया
4. काम के बाद कुछ खाली समय
5. नए शब्दों के प्रतिमानों के साथ मॉड्यूल बेस को पूरक करने की आवश्यकता है (केवल उनके विहित रूप हैं)

आइए सांख्यिकीय विधियों का उपयोग करके देखें (या कोई व्यक्ति छद्म सांख्यिकीय कह सकता है):



1. सबसे पहले, हम मौजूदा आधार से प्रत्येक शब्द के लिए प्रतिमान समाप्त होने वाले पैटर्न का आधार बनाते हैं। डेटा के दिए गए उदाहरण शायद किसी भी स्पष्टीकरण से अधिक दृश्य होंगे। शब्द के विहित रूप और अंत मॉडल के बीच संबंध के रिकॉर्ड इस तरह दिखते हैं:

 ...
 अभय | 15 | <... शब्द के विहित रूप के लिए सभी व्याकरण संबंधी जानकारी ...>
 अभय | 20 | <... शब्द के विहित रूप के लिए कोई व्याकरण संबंधी जानकारी ...>
 ...

यहां 15 और 20 अंतिम मॉडल संख्या हैं।

स्नातक मॉडल के रिकॉर्ड इस तरह दिखते हैं:

 ...
 ---
 15
 i | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 ay | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 वें | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 यानी | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 वाह | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 ओह | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 वाह | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 उनके | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 ओम | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 ...
 और | <... शब्द के विहित रूप के लिए कोई भी व्याकरणिक जानकारी ...>
 ---
 ...

2. उसके बाद, हम शब्द की संरचना पर समाप्त होने वाले मॉडल की निर्भरता के लिए मौजूदा शब्दों का एक ralalysis शुरू करते हैं। ऐसा करने के लिए, हम सिलेबल्स में विभाजित करते हैं (मैं अभी तक इस एल्गोरिथ्म के सही संचालन के बारे में बात नहीं कर सकता, लेकिन सरल मामलों के लिए यह अधिक या कम काम करता है - हम "लैंडस्कैनट" जैसे किसी भी विकल्प पर विचार नहीं करेंगे)। मुख्य बात यह है कि एल्गोरिथ्म के दोनों चरणों में समान एल्गोरिथ्म का उपयोग किया जाता है: मौजूदा शब्दों और नए लोगों की पीढ़ी का विश्लेषण।



N-gramm का उपयोग करने के बजाय शब्दांश जानबूझकर चुना गया था, क्योंकि, मेरी राय में, यह अधिक स्वाभाविक रूप से रूसी में निर्भरता व्यक्त करता है।

इसलिए, हम शब्द को सिलेबल्स में तोड़ते हैं, उन्हें रिवर्स ऑर्डर में संख्या देते हैं, और उन्हें डेटाबेस में लिखते हैं (यदि ऐसा रिकॉर्ड डेटाबेस में भी मौजूद है, तो इसे उपलब्ध डेटा के साथ मिलाएं)।

नतीजतन, हमें ऐसी तालिका मिलती है (बहुत सारे रिकॉर्ड):

रिकॉर्ड आईडी	शब्दांश	एक शब्द में शब्दांश की स्थिति	अंत मॉडल संख्या	समान संयोजनों की संख्या (शब्दांश / स्थिति / समाप्ति मॉडल)
16	बाह	2	10	29
16	jour	1	10	3
16	ny	0	10	5609

3. अंत में, हम एक कोड को गढ़ते हैं जो समान एल्गोरिथ्म द्वारा शब्दांश में नए शब्द को तोड़ता है, संभाव्यता के रूप में शब्दांश / पदों / समाप्ति पैटर्न की संख्या की व्याख्या करता है, और पिछले शब्दांश से पहले (शब्द की शुरुआत से सिर तक) वजन घटने के साथ ) एक संभावित समाप्ति पैटर्न की गणना करता है।



परिणाम:

1. 1000 मनमाने नए शब्दों के नमूने के प्रतिमान के विश्लेषण के परिणामस्वरूप, सही प्रतिमानों का 85%।
2. शब्दों के लिए गलत प्रतिमानों का 15% शब्दांशों का एक क्रम है जिसमें यह पुराने सेट के लिए "असामान्य" था: violets -> violets , violets ...
3. लगभग 2 मिलियन शब्द रूपों द्वारा शब्द रूपों के आधार में वृद्धि।