( भाग 1 ) आज हम अपने सिस्टम द्वारा ग्रंथों की समझ के स्तर के बारे में बात करेंगे, जिसके बारे में वर्तनी की त्रुटियों को पकड़ना आसान है, जो बहुत सरल नहीं हैं, और जो बहुत कठिन हैं।



शुरू करने के लिए, पाठ को दो बिंदुओं से देखा जा सकता है: या तो शब्दों, रिक्त स्थान और विराम चिह्नों के एक सरल अनुक्रम के रूप में, या सिंटैक्टिक-सिमेंटिक निर्भरता से जुड़े अवधारणाओं के एक नेटवर्क के रूप में। कहते हैं, "मुझे बड़े कुत्तों से प्यार है" वाक्य में आप किसी भी क्रम में शब्दों को व्यवस्थित कर सकते हैं, जबकि शब्दों के बीच संबंधों की संरचना समान होगी:







विभिन्न स्तरों पर त्रुटियां भी हो सकती हैं। आप रैखिक संरचना में एक गलती कर सकते हैं - एक ही शब्द को दोहराएं, डॉट, कोष्ठक और इस तरह भूल जाएं। यही है, एक श्रृंखला में शब्दों के निर्माण की प्रक्रिया में एक त्रुटि होती है, और एक व्यक्ति को किसी भी व्याकरणिक नियम की अज्ञानता से बाहर करने की संभावना नहीं है। यह शायद साधारण लापरवाही का मामला है। हालांकि, जंजीरों के स्तर पर, आप कुछ वास्तविक व्याकरण संबंधी त्रुटियों की पहचान कर सकते हैं। कहते हैं, अंग्रेजी पाठ में "संयोजन किया गया था" नहीं होना चाहिए - यह या तो "होना चाहिए" या "रहा है"।



लेकिन फिर भी, वास्तविक व्याकरण अवधारणाओं के एक नेटवर्क के विश्लेषण के स्तर पर शुरू होता है। कहते हैं, कुत्तों के बारे में हमारे उदाहरण में, वाक्य में इन शब्दों की सापेक्ष स्थिति की परवाह किए बिना, "मैं" विषय को व्यक्ति और क्रिया में "प्रेम" के साथ जोड़ा जाना चाहिए। बेशक, यह विचार रैखिक संरचना के स्तर पर पहचानी गई सरल त्रुटियों को पकड़ने की आवश्यकता को समाप्त नहीं करता है।

पहला स्तर

यह सबसे सरल के साथ त्रुटि जाँच शुरू करने के लिए बुद्धिमान है। यदि सबस्ट्रिंग के लिए प्रतिबंधात्मक खोज के स्तर पर कुछ पकड़ा जा सकता है, तो भारी तोपखाने को क्यों कनेक्ट करें? सबसे सरल कार्यक्षमता स्वतः सुधार सूची है, जो एमएस वर्ड में मौजूद है। हम स्पष्ट टाइपो के बारे में बात कर रहे हैं, सिस्टम द्वारा स्वचालित रूप से ठीक किया गया है, यहां तक ​​कि उपयोगकर्ता की पुष्टि के बिना भी: abbout -> के बारे में, amde -> बनाया, जटिल -> पूरी तरह से। यह हो सकता है कि AutoCorrect इतना स्पष्ट कार्य करता है कि इसके बारे में बात करने का कोई मतलब नहीं लगता है, हालांकि, MS Word के एक सक्रिय उपयोगकर्ता के रूप में, AutoCorrect अक्सर मदद करता है, और मुझे खुशी होगी कि AutoCorrect को दूसरे शब्दों में भी देखा जा सकेगा। और इसके लिए हम काम करते हैं, अंत में।



पाठ को एक बड़ी रेखा के रूप में मानने वाले नियमित अभिव्यक्तियों पर आधारित सरल नियम थोड़ा अधिक जटिल है। आज, हम टाइपोग्राफिक खुरदरापन से संबंधित सरल स्थितियों को पकड़ने के लिए नियमित अभिव्यक्तियों का उपयोग करते हैं: विराम चिह्नों के बीच का स्थान, शब्दों के बीच अतिरिक्त स्थान, "जैसे गैर-मानक संयोजन!" और इसी तरह। सिद्धांत रूप में, एक साधारण स्थानापन्न खोज के स्तर पर भी, आप वर्तनी परीक्षक द्वारा छोड़ी गई त्रुटियों की संख्या पा सकते हैं।

ऑफ़र और टोकन

अब हम और अधिक दिलचस्प चीजों की ओर बढ़ रहे हैं। पाठ का ठीक-ठीक पाठ के रूप में विश्लेषण करने के लिए, और पात्रों की एक स्ट्रिंग के रूप में नहीं, यह सीखना आवश्यक है कि इसमें संरचनात्मक तत्वों को कैसे उजागर किया जाए। हम अभी भी शब्दों के बीच संबंधों की संरचना से दूर हैं, तो चलिए सबसे सरल बात से शुरू करते हैं - वाक्यों की सीमाओं को पहचानते हुए। हमें इसकी आवश्यकता क्यों है? खैर, सबसे पहले, ऐसी त्रुटियां हैं जो वाक्य की शुरुआत और अंत के लिए विशेषता हैं: एक पूंजी पत्र के साथ शुरू करना भूल गए, अंत में एक डॉट डालना भूल गए (दीर्घवृत्त, प्रश्न / विस्मयादिबोधक चिह्न)। कम स्पष्ट मामले हैं - उदाहरण के लिए, संख्याओं में लिखी संख्या के साथ एक वाक्य शुरू करने के लिए यह शैलीगत रूप से अस्वीकार्य है। दूसरे, मौजूदा वाक्य संरचना के बिना, विश्लेषण के अगले चरण पर आगे बढ़ना असंभव है - वाक्य के शब्दों के बीच संबंधों की पहचान करना।



हमारी दुनिया की हर चीज़ की तरह, दूसरी नज़र से टेक्स्ट को वाक्यों में तोड़ने का काम अब इतना आसान नहीं लगता। स्पष्ट एल्गोरिथ्म वाक्य को समाप्त करने वाले विराम चिह्न को खोजने के लिए है, उसके बाद एक कैपिटल लेटर। उसी समय, जब हम किसी व्यक्ति के नाम से मिलते हैं, तो हमसे गलती हो जाएगी: "जैसा कि एम। इवानोव ने कहा, ..." इसी तरह, संक्षिप्त रूप से जिस मार्ग पर एक अवधि दिखाई देती है। सिद्धांत रूप में, आप विश्लेषक की सूची और नामों की सूची जोड़ सकते हैं, लेकिन यह समाधान अभी भी खामियों के बिना नहीं होगा। उदाहरण के लिए, इसे किसी भी नई भाषा के लिए पूरी तरह से फिर से लिखना होगा, जहां वाक्यों को समाप्त करने के नियम हैं। इसके अलावा, एक स्पष्ट विसंगति है: हम इस तथ्य से आगे बढ़ते हैं कि इनपुट पाठ में त्रुटियां हैं (हमारे मॉड्यूल का सार उनके सुधार में है); तो गलत प्रविष्टि की स्थितियों में पाठों को वाक्यों में कैसे तोड़ें? इस मामले में, हम स्वचालित रूप से प्रस्तावों के जंक्शन पर एक त्रुटि देखने का अवसर खो देते हैं। यदि हम मानते हैं कि सीमा बिंदु और पूंजी पत्र के बीच है, तो "कैपिटल लेटर को भूल जाना" टाइप की त्रुटि तुरंत पहुंच से बाहर हो जाएगी, क्योंकि सिस्टम बस यह नहीं समझता है कि वाक्यों की सीमा इस जगह पर है।



अब वास्तविक परिस्थितियों में वाक्यों में पाठ को तोड़ने के लिए सबसे लोकप्रिय दृष्टिकोण मशीन लर्निंग के आधार पर वर्गीकरण एल्गोरिदम का उपयोग कर रहे हैं।

वाक्य फाड़नेवाला

संक्षेप में, वर्गीकरण कार्य अपने गुणों (A1, ..., An) के आधार पर वस्तु C के सही वर्ग का निर्धारण करना है। सीखने के एल्गोरिथ्म को इनपुट पर ज्ञात वस्तुओं का एक बड़ा चयन दिया जाता है, जिसके आधार पर यह विचार करता है कि किसी विशेष वर्ग से संबंधित वस्तु के गुणों को कैसे प्रभावित करता है। फिर आप एल्गोरिथ्म इनपुट पर एक अज्ञात वस्तु की विशेषताओं का एक सेट लागू कर सकते हैं और इसका सबसे संभावित वर्ग प्राप्त कर सकते हैं।



एक वर्गीकरण समस्या का एक पाठ्यपुस्तक उदाहरण चार मापदंडों के आधार पर आईरिस फूल का प्रकार निर्धारित कर रहा है - पंखुड़ी और सीपल्स की लंबाई और चौड़ाई। आईरिस के तीन प्रकार हैं: आइरिस सेटोसा, आइरिस वर्जिनिका और आइरिस वर्सिकोलर। आइरिस डेटासेट में निम्नलिखित फ़ॉर्म की 50 प्रविष्टियाँ हैं:







वर्गीकरण एल्गोरिदम इस डेटा का अध्ययन कर सकता है और एक या किसी विशेष प्रजाति के आईरिस विशेषताओं के पत्राचार के लिए एक मॉडल का निर्माण कर सकता है। अगर कोई अनजान आईरिस मेरे बगीचे में बढ़ता है, तो मैं इसके मापदंडों को माप सकता हूं और एल्गोरिथ्म से पूछ सकता हूं कि आईरिस किस तरह का है।



क्लासिफायर का उपयोग अन्य उद्देश्यों के लिए भी किया जा सकता है: कुछ परिस्थितियों के संदर्भ में मानक निर्णयों की तालिका के आधार पर निर्णय लेने के साथ-साथ छिपे हुए पैटर्न का खुलासा करना - एक अन्य पाठ्यपुस्तक उदाहरण में यात्रियों की "विशेषताओं" का अध्ययन शामिल है जो टाइटैनिक के दुर्घटनाग्रस्त होने से बचने के लिए समझने के लिए शामिल थे कि क्या थे लोगों के विभिन्न समूहों (बच्चे / वयस्क, पुरुष / महिला, यात्री / टीम के सदस्य, टिकट धारक 1/2/3 वर्ग) की संभावना।



कई अलग-अलग वर्गीकरण एल्गोरिदम हैं: निर्णय पेड़, निकटतम पड़ोसी, बायेसियन नेटवर्क, अधिकतम एन्ट्रापी मॉडल, रैखिक प्रतिगमन ... प्रत्येक के अपने फायदे और नुकसान हैं। संख्यात्मक डेटा के साथ कुछ बेहतर काम करते हैं, अन्य प्रोग्राम के लिए आसान होते हैं, अन्य तेजी से होते हैं, और चौथा पहचान किए गए वर्गीकरण नियमों को विश्लेषण के लिए सुविधाजनक रूप में तैयार करते हैं।



वाक्यों में पाठ के टूटने के संबंध में, क्लासिफायर निम्नानुसार काम करता है। इनपुट पाठ मैन्युअल रूप से वाक्यों में टूट गया है। सिस्टम वाक्य के प्रत्येक छोर की "विशेषताओं" का अध्ययन करता है (वास्तव में, यह देखता है कि सीमा के बाईं और दाईं ओर क्या है) और एक वर्गीकरण मॉडल बनाता है। अब एल्गोरिथ्म को पाठ के किसी भी बिंदु से खिलाया जा सकता है और पूछा जा सकता है कि क्या यह वाक्य की सीमा है।



क्या सूक्ष्मताएं हैं? सबसे पहले, यहाँ हमारे पास वर्गीकरण समस्या का मानक मानक रूप नहीं है। इनपुट पर, हमें वाक्य के सिरों के केवल संदर्भ मिलते हैं:



(A1, ..., An) -> (वाक्य का अंत)



क्लासिक सेटिंग में, ज्ञान के आधार में सभी विकल्प शामिल होने चाहिए, अर्थात:



(A1, ..., An) -> (वाक्य का अंत)

(A1, ..., An) -> (वाक्य का अंत नहीं)



हमारे मामले में, गैर-समाप्त वाक्यों के सभी उदाहरणों को तालिका में समेटना बहुत ही विनाशकारी है - आधार अविश्वसनीय रूप से बढ़ेगा। जाहिरा तौर पर, इस कारण से, मशीन सीखने की योजना के सबसे अक्सर उद्धृत लेखक ए। रत्नापर्खी (जैसा कि हमारी समस्या पर लागू होता है), ने अधिकतम एन्ट्रोपी के सिद्धांत का उपयोग किया। यह मॉडल आपको अन्य संभावित वर्गों की परवाह किए बिना बस इस वर्ग से संबंधित वस्तु की संभावना पूछने की अनुमति देता है। दूसरे शब्दों में, हम मॉडल से पूछते हैं कि किसी वाक्य के अंत होने के लिए किसी दिए गए संदर्भ की संभावना क्या है। यदि एल्गोरिथ्म उत्तर देता है कि संभावना 1/2 से अधिक है, तो आप संदर्भ को वाक्यों की सीमा के रूप में चिह्नित कर सकते हैं।



मुझे लगता है कि यह अन्य वर्गीकरण एल्गोरिदम की कोशिश करने के लिए समझ में आता है। जहां तक ​​मुझे पता है, यह नहीं किया गया है; अगर हाथ पहुँचते हैं - मैं यह करूँगा रत्नापर्खी के प्रयोग 98% के क्षेत्र में उनके एल्गोरिथ्म की सटीकता को दर्शाते हैं, अर्थात्, वह उन वाक्यों के एक सौ सिरों से जो कि वे 98 का ​​सही अनुमान लगाते हैं।



दुर्भाग्य से, वर्तनी जाँचक में, हम फिर से इस तथ्य पर आते हैं कि इनपुट पाठ में त्रुटियाँ हो सकती हैं। यदि आप वाक्यों पर टूटे हुए सही ग्रंथों पर मॉडल को प्रशिक्षित करते हैं, तो कंप्यूटर सही ढंग से निर्णय लेता है कि वाक्य हमेशा एक बड़े अक्षर से शुरू होता है। यदि हम माना विशेषताओं के "शीर्षक" को त्याग देते हैं, तो मॉडल की सटीकता कम हो जाएगी। आप संदर्भ ग्रंथों में मैन्युअल रूप से कुछ गलतियाँ कर सकते हैं (कुछ स्थानों पर, बिंदु को "भूल", कुछ स्थानों पर कम अक्षर के साथ बड़े अक्षर को बदलें)। इसके अलावा, रत्नापर्खी प्रणाली में, हमें पहले प्रस्तावों की संभावित सीमा का पता लगाना चाहिए, और फिर इस स्थान पर अपनी राय के बारे में प्रणाली से पूछना चाहिए। वह बस यह करता है: एक बिंदु, एक विस्मयादिबोधक बिंदु या एक प्रश्न चिह्न की तलाश करें - और पूछें कि क्या है। हमारे साथ, उपयोगकर्ता बिंदु के बारे में भूल सकता है - और क्या करना है?



आज, विराम चिह्नों के अलावा, मैं लाइनफीड की भी जांच करता हूं (व्यक्तिगत अनुभव से - अगर मैं कहीं बिंदु डालना भूल जाता हूं, तो यह पैराग्राफ के अंत में है)। आप शब्दों के बीच सभी रिक्त स्थान का अध्ययन करने की कोशिश कर सकते हैं, लेकिन मुझे डर है कि सटीकता गिर सकती है। सामान्य तौर पर, कुछ के बारे में सोचना है :)



ठीक है, आज के लिए पर्याप्त है, चलो अगली बार जारी रखें।