( भाग 1 , भाग 2 ) पिछली बार मैंने समय से पहले टोकन का उल्लेख किया था; अब आप इसके बारे में बात कर सकते हैं, और साथ ही साथ भाषण के कुछ हिस्सों (पीओएस टैगिंग) को चिह्नित कर सकते हैं।



मान लें कि हमने पहले से ही नियमित त्रुटियों के साथ पाठ विश्लेषण के स्तर पर सभी त्रुटियों (जिसे आपने पकड़ने का अनुमान लगाया था) को पकड़ा है। इसलिए, यह अगले स्तर पर जाने का समय है, जिस पर हम वाक्य के अलग-अलग शब्दों के साथ काम करेंगे। पृष्ठन को टोकन मॉड्यूल द्वारा नियंत्रित किया जाता है। यहां तक ​​कि इस तरह के एक सरल कार्य में भी नुकसान होते हैं। मैं चीनी और जापानी जैसी भाषाओं के बारे में भी बात नहीं कर रहा हूँ, जहाँ किसी पाठ के अलग-अलग शब्दों को अलग-थलग किया जाता है; अंग्रेजी में या रूसी में, कुछ सोचने के लिए भी है। उदाहरण के लिए, क्या डॉट संक्षिप्त नाम शब्द दर्ज करता है या यह एक अलग टोकन है? ("अन्य" एक टोकन या दो?) और व्यक्ति के नाम के बारे में क्या है? जेएस स्मिथ - कितने टोकन हैं? बेशक, प्रत्येक आइटम के लिए एक स्वैच्छिक निर्णय लिया जा सकता है, लेकिन भविष्य में यह विभिन्न परिणामों को जन्म दे सकता है, और इसे ध्यान में रखना चाहिए।



कुछ ऐसा ही मैं अपने प्रोजेक्ट के शुरुआती चरणों में कर रहा था, लेकिन अब मैं इस तथ्य पर झुका हुआ हूं कि वर्ड प्रोसेसिंग कार्यों में अक्सर दूसरे लोगों के फैसले को मानना ​​पड़ता है। यह पहले से ही भाषण के कुछ हिस्सों को चिह्नित करने के उदाहरण पर स्पष्ट होगा।

भाषण के कुछ हिस्सों को चिह्नित करना

शब्दों में वाक्यों के टूटने को जानने के बाद, आप पहले से ही पाठ में सामान्य टाइपो की खोज कर सकते हैं। उदाहरण के लिए, "अंडे की जर्दी" को "अंडे की जर्दी" को अग्रेषित करना (यह टाइपो स्पष्ट रूप से इतना लोकप्रिय है कि विकिपीडिया भी इसका उल्लेख करता है )। लेकिन नियमित अभिव्यक्ति की तुलना में वास्तविक प्रगति भाषण के कुछ हिस्सों को चिह्नित करके प्रदान की जाती है, अर्थात, प्रत्येक शब्द को उसके भाषण के भाग के पाठ के साथ मेल खाता है:



"मुझे बड़े कुत्ते बहुत पसंद हैं।" -> "I_PRP love_VBP big_JJ dogs_NNS__।"



निम्नलिखित मार्कर इस उदाहरण में उपयोग किए जाते हैं: पीआरपी - सर्वनाम; वीबीपी - वर्तमान काल की क्रिया, एक अकेला व्यक्ति, तीसरे दिन नहीं; जेजे एक विशेषण है; NNS एक बहुवचन संज्ञा है। खैर, एक बिंदु सिर्फ एक बिंदु है।



व्यक्तिगत शब्दों के बोलने के हिस्सों को जानने के बाद, अधिक जटिल त्रुटि पैटर्न तैयार किया जा सकता है। उदाहरण के लिए, "डीटी से" -> "डीटी फॉर्म"। DT मार्कर का अर्थ है "परिभाषित करने वाला शब्द" -article या संकेत इस तरह / कि। यदि पाठ में संयोजन "से" या "इस से" है, तो यह सबसे अधिक संभावना है कि एक टाइपो है, और यह "से" का बहाना नहीं था, लेकिन "रूप" - रूप। आप और भी पेचीदा हो सकते हैं: "एमडी वीबी जानते हैं" -> "एमडी अब वीबी"। यहाँ हम टाइपो "अब के बजाय पता है" - पैटर्न "क्रिया क्रिया + पता + क्रिया" को पकड़ते हैं। इसके अंतर्गत, कहते हैं, वाक्यांश "मुझे पता है कि कुछ और कह सकते हैं।"



बेशक, सरल ऑपरेशनों को लागू करना मुश्किल नहीं है, जैसे "या" ("अगर यह या वह मिला है") और इनकार ("यह पूरा नहीं हुआ है")। यह ऐसे भावों पर है जो पहले से ही उल्लेखित LanguageTool सिस्टम काम करता है। चूंकि यह एलजीपीएल लाइसेंस के तहत वितरित किया जाता है, इसलिए मैंने इसके सभी नियमों को हमारी प्रणाली में स्थानांतरित करने का निर्णय लिया। क्यों नहीं? लोगों ने बहुत अच्छा काम किया है, अगर अनुमति दी जाए तो परिणामों का लाभ न लेना मूर्खता होगी। हम इस दृष्टिकोण की सीमाओं के बारे में बात करेंगे, लेकिन अभी के लिए हमें भाषण के कुछ हिस्सों के अंकन पर वापस लौटना चाहिए।



पीओएस मार्कअप की सबसे लोकप्रिय विधि आज उसी वर्गीकरण कार्य के लिए कम हो गई है, इस बार पूर्ण संस्करण में। हम सीखने के एल्गोरिथ्म को शब्द और उसके संदर्भ देते हैं - आमतौर पर शब्द के प्रारंभिक और अंतिम अक्षर, साथ ही वाक्य के पिछले शब्दों के बारे में डेटा - ये शब्द खुद और भाषण के संबंधित भागों। हम वर्तमान संदर्भ में शब्द के भाषण का हिस्सा भी रिपोर्ट करते हैं, और एल्गोरिथ्म इस जानकारी को याद करता है। यदि हम अब इनपुट पर एक संदर्भ लागू करते हैं, तो एल्गोरिथ्म भाषण के एक हिस्से के बारे में एक उचित अनुमान लगा सकता है।



यहां, अक्सर, अधिकतम एन्ट्रापी मॉडल का उपयोग किया जाता है। यद्यपि आप अन्य एल्गोरिदम के साथ खेल सकते हैं। उदाहरण के लिए, समर्थन वेक्टर मशीनों ( SVMTool ) पर आधारित एक विकास है।

एनोटेट वाहिनी, महान और भयानक

पिछली बार मैंने इस पर ध्यान केंद्रित नहीं किया था, लेकिन अब यह निश्चित रूप से समय है। पीओएस टैगर को काम करने के लिए, इसे ग्रंथों के एक बड़े संग्रह पर प्रशिक्षित करने की आवश्यकता होती है, जहां भाषण के एक भाग का एक टैग प्रत्येक शब्द को सौंपा जाता है। फिर एक वाजिब सवाल उठता है: मुझे यह संग्रह कहां से मिल सकता है?



इस तरह के संग्रह ("एनोटेट केस") मौजूद हैं, हालांकि कई नहीं हैं। ज्यादातर अक्सर पीओएस-मार्किंग पाया जाता है, कम अक्सर - गहरी एनोटेशन, यानी वाक्य में शब्दों के बीच वाक्यात्मक-अर्थ संबंधी संबंधों का अंकन। अंग्रेजी की सबसे बड़ी गहरी एनोटेट बॉडी को पेन ट्रीबैंक कहा जाता है और इसमें लगभग तीन मिलियन शब्द होते हैं। जर्मन और रूसी के लिए अच्छी इमारतें भी मौजूद हैं - यह उन लोगों में से एक है जिनका मैंने व्यक्तिगत रूप से अध्ययन किया है।



अब इस बारे में सोचते हैं। भाषाई सूक्ष्मताएं हैं जिनके बारे में विभिन्न भाषाविद अलग-अलग राय रखते हैं। उदाहरण के लिए, रूसी में कितने मामले हैं? छात्र का उत्तर छह है, लेकिन मैं कम से कम आठ से नौ का नाम दे सकता हूं। अंग्रेजी में, पुस्तक के किस भाग को पुस्तक बाजार के साथ जोड़ा जाता है? मैं कहूंगा कि यह एक विशेषण है, लेकिन आप "एक विशेषण की भूमिका में एक संज्ञा" के रूप में व्याख्या का बचाव कर सकते हैं।



इस प्रकार, किसी भी भाषाई या व्यावहारिक विचारों के आधार पर विभिन्न तरीकों से पाठ को चिह्नित करना संभव है। दुर्भाग्यवश, हमारे विचारों को अंतिम प्रणाली में शामिल किए जाने की संभावना नहीं है, क्योंकि समाप्त इमारत का उपयोग करके, हम इसके डेवलपर्स के खेल के नियमों को स्वीकार करने के लिए मजबूर हैं। यदि मैं पेन ट्रीबैंक मामले में एक पीओएस टैगर को प्रशिक्षित करता हूं, तो मुझे उन शर्तों पर आना होगा जो विशेषण के रूप में पुस्तक को अभी भी एक संज्ञा के रूप में माना जाता है। जो कोई भी इसे पसंद नहीं करता है वह अपनी इमारत बना सकता है और इसे फिट होने के रूप में चिह्नित कर सकता है।



इसी तरह, पेन ट्रीबैंक में, विराम चिह्न हमेशा एक अलग टोकन होता है, इसलिए प्रवेश "आदि" दो टोकन हैं, और "जेएस स्मिथ" पांच टोकन हैं, भले ही यह समझौता मेरे लिए असुविधाजनक हो। कोई चारा नहीं है। यह, संयोग से, परियोजना में भाषाविदों की उपस्थिति के मुद्दे पर है। यदि मेरे पास असीमित बजट और बहुत समय होता है, तो मैं वर्तनी जांच पर अपने विचारों को अपनाते हुए पूरी तरह से अपनी प्रणाली बनाने की कोशिश कर सकता हूं। हालांकि, वास्तविक परिस्थितियों में, मौजूदा एनएलपी टूल और टेक्स्ट बॉक्स एक स्पष्ट मार्ग के साथ सीधी क्रिया करते हैं, जिससे कल्पना के लिए इतना स्थान नहीं रह जाता है।



हां, एक और टिप्पणी। स्वाभाविक रूप से, तैयार किए गए संग्रह में सही ग्रंथ होते हैं, स्पष्ट व्याकरणिक त्रुटियों से रहित होते हैं। हमारे लिए इसका क्या मतलब है? खैर, वही पीओएस टैगर लें। सबसे पहले, हम उसे सही पाठों पर प्रशिक्षित करते हैं (जहाँ वह "I have" जैसे संयोजनों को कभी नहीं देखता), और फिर हम इसका उपयोग गलत वर्तनी वाले शब्दों में शब्दों को अंकित करने के लिए करते हैं। क्या वह नए माहौल में बस उतना ही अच्छा होगा? लेकिन कौन जानता है; लेकिन प्रशिक्षण के लिए विशिष्ट गलतियों के साथ मामला बनाने के लिए मुंशी हमारे लिए बहुत बड़ी लक्जरी है।



हम अगले भाग में जारी रखते हैं।