ABBYY FineReader (1/2) में पाठ की मान्यता

फाइनरडर में टेक्स्ट रिकग्निशन सिस्टम को बहुत सरलता से वर्णित किया जा सकता है।



हमारे पास पाठ के साथ एक पृष्ठ है, हम इसे पाठ ब्लॉक में पार्स करते हैं, फिर हम ब्लॉक को अलग-अलग लाइनों, शब्दों में लाइनों, शब्दों को अक्षरों में लिखते हैं, अक्षरों को हम पहचानते हैं, आगे श्रृंखला के साथ हम पृष्ठ के पाठ में वापस सब कुछ इकट्ठा करते हैं।







यह बहुत सरल दिखता है, लेकिन शैतान, हमेशा की तरह, विवरण में है।



हम अगली बार कुछ समय में दस्तावेज़ से पाठ की रेखा तक के स्तर के बारे में बात करेंगे। यह एक बड़ी प्रणाली है जिसमें कई कठिनाइयां हैं। एक परिचय के रूप में, शायद, आप लाइनों का चयन करने के लिए एल्गोरिथ्म के लिए इस तरह के एक चित्रण को छोड़ सकते हैं।







इस लेख में हम लाइन स्तर और नीचे से पाठ मान्यता के बारे में कहानी शुरू करेंगे।



एक छोटी सी चेतावनी: फाइनरडर मान्यता प्रणाली बहुत बड़ी है और कई वर्षों से लगातार विकसित हुई है। इस प्रणाली को पूरी तरह से इसकी सभी बारीकियों के साथ वर्णन करने के लिए, सबसे पहले, एक कोड का उपयोग करना बेहतर है, दूसरे, यह बहुत, बहुत अधिक जगह लेगा, तीसरा, इसे पढ़ें। इसलिए, हम व्यवहार करने की सलाह देते हैं जो एक व्यावहारिक प्रणाली के पीछे एक सामान्यीकृत सिद्धांत के एक प्रकार के रूप में नीचे लिखा गया है। यही है, प्रौद्योगिकी में सामान्य विचार और निर्देश लगभग सत्य के समान हैं, लेकिन अभ्यास में क्या होता है, यह सबसे छोटा विवरण समझने के लिए, इस लेख को पढ़ना बेहतर नहीं है, लेकिन इस प्रणाली के विकास पर हमारे साथ काम करना है।

रैखिक विभाजन ग्राफ

तो, हमारे पास पाठ की एक पंक्ति की एक काली और सफेद छवि है। वास्तव में, छवि, निश्चित रूप से, ग्रे या रंग है, और बिनाराइजेशन के बाद काले और सफेद हो जाती है (आपको बिनाराइजेशन के बारे में एक अलग लेख लिखने की भी आवश्यकता है, लेकिन अभी के लिए यह आंशिक रूप से मदद कर सकता है)।



तो, पाठ की एक पंक्ति की एक काली और सफेद छवि होने दें। मान्यता के लिए इसे शब्दों में, और शब्दों को प्रतीकों में विभाजित करना आवश्यक है। मूल विचार, हमेशा की तरह, स्पष्ट है - हम स्ट्रिंग की छवि में ऊर्ध्वाधर सफेद अंतराल की तलाश करते हैं, और फिर उन्हें चौड़ाई में क्लस्टर करते हैं: व्यापक अंतराल शब्दों के बीच रिक्त स्थान होते हैं, संकीर्ण अक्षर के बीच होते हैं।







विचार अद्भुत है, लेकिन वास्तविक जीवन में, रिक्त स्थान की चौड़ाई एक बहुत ही मिश्रित संकेतक हो सकती है, उदाहरण के लिए, एक तिरछा या पात्रों के असफल संयोजन या चिपचिपा पाठ के साथ पाठ के लिए।







समस्या के दो समाधान हैं। पहला समाधान एक निश्चित "दृश्यमान" अंतराल चौड़ाई पर विचार करना है। एक व्यक्ति व्यावहारिक रूप से किसी भी पाठ को अपरिचित भाषा में, शब्दों में, और शब्दों को प्रतीकों में विभाजित कर सकता है। ऐसा इसलिए है क्योंकि मस्तिष्क प्रतीकों के बीच की ऊर्ध्वाधर दूरी को ठीक नहीं करता है, लेकिन उनके बीच कुछ खाली जगह दिखाई देती है। समाधान अच्छा है, हम, बेशक, इसका उपयोग करते हैं, लेकिन यह हमेशा काम नहीं करता है। उदाहरण के लिए, स्कैनिंग के दौरान पाठ क्षतिग्रस्त हो सकता है और कुछ आवश्यक अंतराल घट सकते हैं या इसके विपरीत, बहुत वृद्धि हो सकती है।



यह हमें दूसरे समाधान की ओर ले जाता है - रैखिक विभाजन ग्राफ। विचार निम्नानुसार है - यदि कई विकल्प हैं जहां रेखा को शब्दों और शब्दों में अक्षरों में विभाजित करना है, तो चलो विभाजन के सभी संभावित बिंदुओं को चिह्नित करते हैं जो हम साथ आ सकते हैं। दो चिह्नित बिंदुओं के बीच की छवि का एक टुकड़ा एक उम्मीदवार पत्र (या शब्द) माना जाएगा। एक रेखीय ग्राफ विकल्प सरल हो सकता है अगर पाठ अच्छा है और विभाजन अंक निर्धारित करने में कोई समस्या नहीं है या यदि छवि खराब थी तो मुश्किल है।











अब चुनौती है। ग्राफ़ के कई कोने हैं, आपको सबसे अच्छी गुणवत्ता के साथ पहले वर्टिकल से आखिरी तक का रास्ता खोजने की जरूरत है, कई इंटरमीडिएट वर्टिकल (जरूरी नहीं कि सभी) से गुजरते हुए। हम सोचने लगते हैं कि यह याद दिलाता है। हम संस्थान से इष्टतम नियंत्रण के पाठ्यक्रम को याद करते हैं, हम समझते हैं कि यह संदिग्ध रूप से गतिशील प्रोग्रामिंग के कार्यों के समान है।



आइए विचार करें कि हमें विस्फोट नहीं करने के लिए सभी विकल्पों की गणना के एल्गोरिथ्म की आवश्यकता है।



ग्राफ में प्रत्येक चाप के लिए, आपको इसकी गुणवत्ता निर्धारित करने की आवश्यकता है। अगर हम किसी शब्द के रेखीय विभाजन के प्रतीकों के साथ प्रतीकों में काम करते हैं, तो हमारे देश में प्रत्येक आर्क एक प्रतीक है। चाप की गुणवत्ता की भूमिका में, हम चरित्र मान्यता आत्मविश्वास का उपयोग करते हैं (इसकी गणना कैसे करें - हम बाद में बात करेंगे)। और अगर हम लाइन स्तर पर जीएलडी के साथ काम करते हैं, तो इस जीएलडी का प्रत्येक चाप शब्द पहचान का एक प्रकार है, जो बदले में एक चरित्र ग्राफ से प्राप्त किया गया था। यही है, हमें रैखिक विभाजन ग्राफ में पूर्ण पथ की समग्र गुणवत्ता का मूल्यांकन करने में सक्षम होने की आवश्यकता है।



ग्राफ़ में पूर्ण पथ की गुणवत्ता हम पूरे विकल्प के लिए सभी आर्क्स MINUS दंड की गुणवत्ता के योग के रूप में निर्धारित करेंगे। आखिर माइनस क्यों? यह हमें इस पथ के आर्क्स की गुणवत्ता के योग से पथ के प्रकार की अधिकतम संभावित गुणवत्ता का त्वरित आकलन करने का अवसर देता है, जिसका अर्थ है कि हम संस्करण की समग्र गुणवत्ता की गणना करने से पहले अधिकांश विकल्पों को काट देंगे।



इस प्रकार, जीएलडी के लिए हम मानक गतिशील प्रोग्रामिंग एल्गोरिथ्म में आते हैं - हम रैखिक विभाजन बिंदुओं को पाते हैं, उच्चतम गुणवत्ता के साथ आर्क्स के साथ शुरू से अंत तक एक पथ का निर्माण करते हैं, निर्मित संस्करण की कुल लागत की गणना करते हैं। और फिर हम सबसे अच्छे विकल्प के निरंतर अद्यतन के साथ तत्वों की कुल गुणवत्ता को कम करने के क्रम में जीएलडी के लिए मार्गों को क्रमबद्ध करते हैं, जब तक कि हम यह समझ नहीं लेते कि सभी असंसाधित विकल्प स्पष्ट रूप से वर्तमान सर्वोत्तम विकल्प से भी बदतर हैं।

छवि परिकल्पना

इससे पहले कि हम व्यक्तिगत शब्दों की मान्यता के स्तर पर जाएं, हमारे पास एक और विषय है जिस पर चर्चा नहीं की गई है - खंड छवि की परिकल्पना।



विचार इस प्रकार है - हमारे पास पाठ की एक छवि है जिसके साथ हम काम करने जा रहे हैं। मैं वास्तव में सभी छवियों को उसी तरह से संसाधित करना चाहता हूं, लेकिन सच्चाई यह है कि वास्तविक दुनिया में छवियां सभी अलग-अलग हैं - उन्हें विभिन्न स्रोतों से प्राप्त किया जा सकता है, वे अलग-अलग गुणवत्ता के हो सकते हैं, उन्हें अलग-अलग तरीकों से स्कैन किया जा सकता है।



एक तरफ, ऐसा लगता है कि संभव विकृतियों की विविधता बहुत बड़ी होनी चाहिए, लेकिन अगर आप समझना शुरू करते हैं, तो केवल संभव विकृतियों का एक सीमित सेट पाया जाता है। इसलिए, हम एक पाठ परिकल्पना प्रणाली का उपयोग करते हैं।



हमारे पास समस्याग्रस्त पाठ के लिए संभावित परिकल्पनाओं का पूर्वनिर्धारित सेट है। प्रत्येक परिकल्पना के लिए, आपको यह निर्धारित करने की आवश्यकता है:

• यह जानने के लिए कि क्या यह परिकल्पना वर्तमान छवि पर लागू है, और मान्यता से पहले केवल छवि की विशेषताओं के आधार पर ऐसा करते हैं।
• एक विशिष्ट परिकल्पना की समस्याओं को ठीक करने की एक विधि।
• छवि मान्यता के परिणामों के आधार पर एक परिकल्पना की पसंद की शुद्धता के लिए गुणवत्ता मानदंड, इसके अलावा, संभवतः, निम्नलिखित परिकल्पना के लिए सिफारिशें।

ऊपर की छवि में आप मूल छवि के अलग-अलग द्विनेद्रीकरण और इसके विपरीत के लिए परिकल्पना देख सकते हैं।



परिणामस्वरूप, प्रसंस्करण परिकल्पना इस तरह दिखती है:

1. छवि से सबसे उपयुक्त परिकल्पना उत्पन्न करें।
2. चयनित परिकल्पना से विकृतियों को ठीक करें।
3. परिणामी छवि को पहचानें।
4. दर पहचान गुणवत्ता।
5. यदि मान्यता की गुणवत्ता में सुधार हुआ है, तो मूल्यांकन करें कि क्या बदल गई छवि के लिए नई परिकल्पना को लागू करना आवश्यक है।
6. यदि गुणवत्ता खराब हो गई है, तो मूल छवि पर लौटें और इसके लिए कुछ अन्य परिकल्पना को लागू करने का प्रयास करें।

छवियों में सफेद शोर और संपीड़ित पाठ की परिकल्पना का सुसंगत अनुप्रयोग है।

शब्द गुणवत्ता मूल्यांकन

दो महत्वपूर्ण विषय अनसुलझे रहे: शब्द पहचान और चरित्र मान्यता की समग्र गुणवत्ता का आकलन। चरित्र पहचान कई वर्गों के लिए एक विषय है, इसलिए हम पहले किसी मान्यता प्राप्त शब्द की गुणवत्ता के मूल्यांकन पर चर्चा करेंगे।



तो, हमारे पास कुछ प्रकार के शब्द पहचान विकल्प हैं। पहली बात जो दिमाग में आती है, वह है कि इसे डिक्शनरी में चेक करें और अगर यह डिक्शनरी में नहीं मिली तो इसे पेनल्टी दें। विचार अच्छा है, लेकिन सभी भाषाएं शब्दकोश नहीं हैं, पाठ में सभी शब्द शब्दकोष नहीं हो सकते हैं (उदाहरण के लिए उचित नाम), और अगर हम जटिलता में तल्लीन हो जाते हैं, तो पाठ में सब कुछ शब्द के मानक अर्थ में शब्द नहीं हो सकता है।



इससे पहले, हमने कहा कि सामान्य रूप से काम करने के लिए GLD खोज के लिए प्रति शब्द कोई भी अनुमान नकारात्मक होना चाहिए। अब यह हमारे साथ सक्रिय रूप से हस्तक्षेप करना शुरू कर देगा, तो चलो ठीक करें कि हमारे पास शब्द के लिए एक निश्चित पूर्व निर्धारित अधिकतम सकारात्मक रेटिंग है, हम शब्द को सकारात्मक बोनस देते हैं, और हम अंतिम नकारात्मक जुर्माना को बोनस और अधिकतम रेटिंग के बीच अंतर के रूप में निर्धारित करते हैं।



ठीक है, आइए हम "वास्या 23.55 07/20/2015 को उड़ान SU106 पर" वाक्यांश को पहचानते हैं। बेशक, हम सामान्य नियमों के अनुसार प्रत्येक शब्द की गुणवत्ता का मूल्यांकन कर सकते हैं, लेकिन यह अजीब होगा। कहो, SU106 और वासा दोनों शब्दों की इस पंक्ति में काफी समझ में आते हैं, लेकिन यह स्पष्ट है कि उनके अलग-अलग शैक्षिक नियम हैं और सिद्धांत रूप में, सत्यापन भी अलग होना चाहिए



यहाँ से मॉडल का विचार आता है। एक शब्द मॉडल एक भाषा में एक विशेष प्रकार के शब्दों का सामान्यीकृत वर्णन है। बेशक, हमारे पास भाषा में एक मानक शब्द मॉडल होगा, लेकिन हमारे पास संख्याओं, संक्षिप्तिकरण, तिथियां, संक्षिप्त नाम, उचित नाम, URL आदि के मॉडल भी होंगे।



मॉडल हमें क्या देते हैं और सामान्य रूप से उनका उपयोग कैसे करें? वास्तव में, हम अपने शब्द सत्यापन प्रणाली को उलट रहे हैं - लंबे समय तक यह जानने के बजाय कि कोई शब्द संस्करण क्या है, हम प्रत्येक मॉडल को यह तय करने देते हैं कि क्या यह शब्द संस्करण इसे सूट करता है और इसका मूल्यांकन कितनी अच्छी तरह करता है।











समस्या के बयान से, मॉडल वास्तुकला के लिए हमारी आवश्यकताएं बनती हैं। मॉडल के लिए सक्षम होना चाहिए:

• जल्दी से कहो कि एक शब्द संस्करण उसके लिए उपयुक्त है या नहीं। मानक परीक्षण में एक शब्द में प्रत्येक अक्षर के लिए अनुमत वर्ण सेट के लिए सभी जांच शामिल हैं। कहो, एक शब्दकोष में, विराम चिह्न केवल शुरुआत या अंत में होना चाहिए, और एक शब्द के बीच में विराम चिह्न सेट बहुत सीमित होता है, और विराम चिह्न का संयोजन बहुत सीमित होता है (सुपर-पॉवर?)! प्रतीकात्मक प्रत्यय की भाषा (10 वीं, 10 वीं)।
• किसी आंतरिक तर्क द्वारा किसी मान्यताप्राप्त शब्द की गुणवत्ता का मूल्यांकन करने में सक्षम होना। उदाहरण के लिए, शब्दकोश के एक शब्द को स्पष्ट रूप से केवल एक वर्ण सेट की तुलना में उच्च स्थान दिया जाना चाहिए।

मॉडल की गुणवत्ता का आकलन करते समय, किसी को यह नहीं भूलना चाहिए कि अंत में हमारा कार्य एक दूसरे के साथ मॉडल की तुलना करना है, इसलिए उनका अनुमान संगत होना चाहिए। इसे प्राप्त करने के लिए अधिक या कम सामान्य तरीका मॉडल के मूल्यांकन से संबंधित है, जैसा कि इस मॉडल पर एक शब्द बनाने की संभावना का आकलन करना है। मान लीजिए कि एक सामान्य भाषा में बहुत सारे शब्द हैं, और गलत पहचान के साथ एक शब्दकोष प्राप्त करना आसान है। लेकिन एक सामान्य संग्रह करने के लिए, सभी नियमों के लिए उपयुक्त फोन नंबर बहुत अधिक कठिन है।



नतीजतन, जब स्ट्रिंग के कुछ टुकड़े को पहचानते हैं, तो हमें कुछ ऐसा मिलता है:







मान्यता विकल्पों के मूल्यांकन में एक अलग बिंदु अतिरिक्त अनुभवजन्य दंड है जो या तो मॉडल की अवधारणा या मान्यता के मूल्यांकन में फिट नहीं होता है। कहते हैं, "एलएलसी हॉर्न्स एंड होव्स" और "000 हॉर्न्स एंड होव्स" दो समान रूप से सामान्य वेरिएंट की तरह दिखते हैं (विशेषकर यदि फ़ॉन्ट 0 (शून्य) और ओ (अक्षर O) अनुपात में थोड़ा भिन्न हैं)। लेकिन यह काफी स्पष्ट है कि कौन सा मान्यता विकल्प सही होना चाहिए। दुनिया के ऐसे छोटे विशिष्ट ज्ञान के लिए, नियमों की एक अलग प्रणाली बनाई गई है जो अतिरिक्त रूप से ठीक विकल्प हो सकता है जो कि मॉडल का मूल्यांकन करने के बाद उसे पसंद नहीं था।



हम इस पोस्ट के अगले भाग में मान्यता के बारे में बात करेंगे। याद नहीं करने के लिए कंपनी के ब्लॉग की सदस्यता लें :)