जो लोग मेरे पिछले प्रकाशनों को पढ़ते हैं वे जानते हैं कि मैं बहुत कम ही लिखता हूं, लेकिन आमतौर पर श्रृंखला में। मैं किसी दिए गए विषय पर अपने विचारों को एकत्र करना चाहता हूं और उन्हें एक लघु लेख के प्रोक्रिस्टीन बेड में खुद को निचोड़ने के बिना अलमारियों पर रख देता हूं।



इस बार वर्ड प्रोसेसिंग (प्राकृतिक भाषा प्रसंस्करण) के बारे में बात करने का एक नया कारण है। मैं एक कार्यालय के लिए एक वर्तनी परीक्षक विकसित कर रहा हूं। आउटपुट में अंतर्निहित MS Word की तरह ही कार्यक्षमता होनी चाहिए, केवल बेहतर :) मैं अभी तक इस क्षेत्र में अपने आप को एक प्रमुख विशेषज्ञ नहीं कह सकता, लेकिन मैं अध्ययन करने का प्रयास करता हूं। नोट्स में मैं इस बारे में बात करने की कोशिश करूंगा कि हमारी परियोजना कहां चल रही है, पाठ प्रसंस्करण के इस या उस चरण को कैसे व्यवस्थित किया जाता है। हो सकता है कि टिप्पणियों में मैं अपने लिए कुछ नया / रोचक सुनूं। यदि परियोजना को इससे लाभ होगा - ठीक है। कम से कम, मुझे मेरे सिर में डेटा मिलेगा, जो अच्छा भी है।

दिग्गजों के कंधों पर?

यह स्पष्ट है कि मौजूदा समाधानों को देखे बिना अपने सिस्टम का आविष्कार करना मुश्किल है। हालाँकि, हमारे आसपास के दिग्गज किसी तरह विशेष रूप से नहीं देखे जाते हैं। एमएस वर्ड है जो हम सभी जानते हैं, और यह भी ... और कौन है? खैर, टिप्पणीकारों ने उन्हें सही किया, लेकिन ओपन ऑफ़िस के लिए लैंग्वेजटूल मॉड्यूल के अलावा (हम इसके बारे में बाद में बात करेंगे), कुछ भी दिमाग में नहीं आता है। टुकड़ा माल। (हां, मुझे मैक के लिए ग्रामरियन प्रो एक्स पैकेज भी याद है, लेकिन यह मौसम भी नहीं करता है)। तदनुसार, "पिता" पर ध्यान केंद्रित करना मुश्किल है। बहुत कम से कम, वर्तनी को लागू किया गया है, लेकिन व्याकरण एक बड़ी बात है।

संकलन बनाम स्थैतिक विश्लेषण

प्रोग्रामिंग भाषाओं में, पाठ में त्रुटियों का पता लगाने के लिए दो मॉडल स्पष्ट रूप से दिखाई देते हैं। सबसे पहले, संकलन चरण में त्रुटियों का पता लगाया जा सकता है, जब आप भाषा के शब्दों को डिजाइन के भाषा व्याकरण के अनुसार, सार्थक, मान्य में संयोजित करने का प्रयास करते हैं। दूसरे, आप स्थैतिक कोड विश्लेषण कर सकते हैं, अर्थात, संभावित खतरनाक क्रियाओं से जुड़े प्रोग्राम टेक्स्ट में कुछ पैटर्न खोज सकते हैं।



सिद्धांत रूप में, "संकलन मॉडल", ज़ाहिर है, बहुत लुभावना लगता है: पाठ को "संकलन" करने का प्रयास करें। यदि इसमें त्रुटियां हैं, तो विश्लेषणित टुकड़ा बस "एक साथ चिपक नहीं करता है", और सिस्टम तुरंत देखेगा कि क्यों - यह कंप्यूटर भाषा संकलक के लिए कितना स्पष्ट है। दुर्भाग्य से, इस समय, पूर्ण "प्राकृतिक भाषा संकलनकर्ता" मौजूद नहीं है। यह ठीक वही दिशा है जो मैं अपने अवकाश पर खोदता हूं, लेकिन मैं एक वाणिज्यिक उत्पाद में कच्चे विचारों को एम्बेड करने की कोशिश करने के लिए तैयार नहीं हूं। एक अच्छा अत्याधुनिक मॉड्यूल बनाना बेहतर है, साथ ही यह समझने के लिए कि यह हमारे समय में कैसे बनाया गया है।



यदि आप MS Word में वर्तनी सेटिंग खोलते हैं, तो आप देखेंगे कि व्याकरण की जाँच एक स्थैतिक विश्लेषक के सिद्धांत पर सटीक रूप से कार्य करती है। चेक का एक निश्चित सेट है, और सिस्टम क्रमिक रूप से उनके माध्यम से पाठ चलाता है:







वास्तव में, "एमएस वर्ड में वर्तनी परीक्षक" के बारे में बात करना पूरी तरह से सही नहीं है: वास्तव में, विभिन्न भाषाओं के लिए मॉड्यूल अलग-अलग टीमों द्वारा और विभिन्न एल्गोरिदम पर बनाए गए थे। हालाँकि, चेक की छलनी के माध्यम से पाठ को "चलाने" का सामान्य विचार प्रत्येक मॉड्यूल के लिए मान्य लगता है।

चंदवा के तहत

और अब हम यहाँ एक ऐसे महत्वपूर्ण प्रश्न पर चर्चा करेंगे: जहाँ हम अभी आए हैं, वहाँ बहुत जाँचें होती हैं? एमएस वर्ड में निर्मित नियमों का सटीक सेट क्यों है जो ऊपर स्क्रीनशॉट में दिखाया गया है? वैसे, सहायता में प्रत्येक प्रकार के विश्लेषण पर अधिक विस्तृत जानकारी उपलब्ध है:







वर्ड द्वारा व्याकरण की जाँच की गुणवत्ता केवल आलसी द्वारा लात नहीं मारी गई थी। यह सुनिश्चित करने के लिए कि आपके कई नकारात्मक अनुभव साझा किए गए हैं, यह सुनिश्चित करने के लिए सामग्री के कम से कम इस प्रसिद्ध चयन का अध्ययन करने के लिए पर्याप्त है :) मुझे लगता है कि सभी व्याकरण मॉड्यूल की कमियां तीन मुख्य कारणों से होती हैं। सबसे पहले, "स्टैटिक चेकिंग" का सिद्धांत वर्तनी की त्रुटियों के अधूरे कवरेज का अर्थ है। इन त्रुटियों का नाम लीजन है, और किसी को सिस्टम में ड्राइव करने के लिए एक परीक्षक की उल्लेखनीय प्रतिभा के पास होना चाहिए, जो सभी संभव और अटूट गैरबराबरी में वाक्यों में संभव है। दूसरे, हमारी प्रौद्योगिकियां उतनी अच्छी नहीं हैं जितनी हम चाहेंगे। परीक्षक कई त्रुटियों को पहचानता है, लेकिन उन्हें प्रोग्राम करने की क्षमता नहीं है। यह स्पष्ट है कि सभी त्रुटियां समान रूप से आसानी से नहीं पकड़ी जाती हैं। तीसरा, सबसे अधिक संभावना है, त्रुटियों को अच्छी तरह से ज्ञात मजाक के अनुसार खोजा जाता है - "दीपक के नीचे", जहां यह प्रकाश है, और न कि जहां वे वास्तव में पाए जाते हैं।



आज नियमित पत्राचार में सामने आई त्रुटियों की आवृत्ति सूची को ढूंढना इतना आसान नहीं है। कुछ अध्ययनों में से एक छात्रों के निबंध (अंग्रेजी में) में देखी गई बीस सबसे आम गलतियों को सूचीबद्ध करता है। हम देशी वक्ताओं के बारे में बात कर रहे हैं, इसलिए सूची हमें अस्पष्ट लग सकती है। मुझे लगता है कि विदेशियों के लिए हमें एक पूरी तरह से अलग नमूना मिलेगा (इसके अलावा, लेखक की मूल भाषा पर अत्यधिक निर्भर)।



एक अन्य लेख का लेखक बहुत आलसी नहीं था और विभिन्न व्याकरण जाँच मॉड्यूल के माध्यम से संकेतित त्रुटियों के साथ ग्रंथों को हटा दिया। परिणाम पूरी तरह से निराशाजनक थे। संक्षेप में, सब कुछ खराब है (और किसी कारण से वर्ड 97 बाद के सभी संस्करणों की तुलना में बहुत बेहतर निकला; हालांकि, यह हमारे लिए कोई फर्क नहीं पड़ता)। सबसे लोकप्रिय बगों का परीक्षण या तो प्रोग्रामिंग के लिए बहुत जटिल है, या केवल डेवलपर्स द्वारा ओवरसाइट द्वारा याद किया गया है।

हमारे मॉड्यूल क्षेत्र की वर्तमान स्थिति के दर्पण के रूप में

बेशक, ग्राहक दुनिया में सबसे अच्छा व्याकरण मॉड्यूल होना चाहता है। कम से कम एमएस वर्ड से भी बदतर नहीं है। और हम उसे प्रदान करने की कोशिश करेंगे, लेकिन मैं, सच में, वर्तमान गुणवत्ता मानकों से बहुत दूर जाने की उम्मीद नहीं करता हूं। बहुत ज्यादा हमारे खिलाफ खेल रहा है। वास्तव में, उनकी वास्तविक आवृत्ति (वाहक और विदेशियों के लिए) को इंगित करने वाली संभावित त्रुटियों का कोई अच्छा वर्गीकरण नहीं है, और इस तरह की सूची के बिना, कोई भी चेक बादलों के पीछे कहीं उड़ने वाले खेल में होने की उम्मीद में एक उदास आकाश में शूटिंग में बदल जाता है। और सूची से गलतियाँ (मैंने ध्यान से उनका अध्ययन किया) अधिकांश भाग को पकड़ने के लिए वास्तव में कठिन हैं। खैर, हम काम करेंगे। हां, मैंने अभी तक इसका उल्लेख नहीं किया है कि हम अंग्रेजी से शुरू करते हैं, फिर योजना के अनुसार जर्मन, और वहां जीवन दिखाई देगा।



निम्नलिखित भागों में, मैं तकनीकी विवरणों पर आगे बढ़ूंगा कि हमारी प्रणाली कैसे काम करती है (फिलहाल, अधिकांश भाग के लिए, यह केवल मेरे सिर में मौजूद है, लेकिन प्रक्रिया तेजी से आगे बढ़ रही है), लेकिन अब मैं इसे खत्म करने का प्रस्ताव करता हूं।