🧒🏽 📎 🛃 Tesseract। मान्यता प्रणाली में त्रुटियों को पहचानो 🎞️ 🎦 🍡

Tesseract Google द्वारा विकसित एक फ्रीवेयर टेक्स्ट रिकग्निशन सॉफ़्टवेयर है। प्रोजेक्ट विवरण कहता है: "टेसरैक्ट संभवतः सबसे सटीक खुला स्रोत ओसीआर इंजन उपलब्ध है।" और आइए कोशिश करें कि क्या पीवीएस-स्टूडियो स्टैटिक विश्लेषक इस परियोजना में किसी भी त्रुटि को पहचान सकते हैं।

Tesseract

टेसरेक्ट 1980 के दशक के मध्य से 1990 के मध्य तक हेवलेट-पैकर्ड द्वारा विकसित एक निशुल्क पाठ पहचान कंप्यूटर प्रोग्राम है, और फिर 10 वर्षों तक "शेल्फ पर पड़ा" रहा। अगस्त 2006 में, Google ने इसे खरीदा और विकास जारी रखने के लिए Apache 2.0 लाइसेंस के तहत स्रोत कोड खोला। फिलहाल, कार्यक्रम पहले से ही UTF-8 के साथ काम कर रहा है, अतिरिक्त मॉड्यूल का उपयोग करके भाषा समर्थन (रूसी सहित) किया जाता है। [विकिपीडिया से लिया गया वर्णन ]

परियोजना का स्रोत कोड Google कोड की वेबसाइट पर उपलब्ध है: https://code.google.com/p/tesseract-ocr/

स्रोत कोड की मात्रा लगभग 16 मेगाबाइट है।

मान्यता परिणाम

यहां कुछ कोड स्निपेट हैं, जिन्हें मैंने पीवीएस-स्टूडियो रिपोर्ट को देखते हुए देखा था। शायद मुझे कुछ याद आया। इसलिए, टेसेरैक्ट के रचनाकारों के लिए यह सलाह दी जाती है कि वे अपने दम पर जांच करें। परीक्षण संस्करण 7 दिनों के लिए सक्रिय है, जो इस तरह की एक छोटी परियोजना के लिए पर्याप्त से अधिक है। ठीक है, फिर वे तय करते हैं कि वे नियमित रूप से टूल का उपयोग करना चाहते हैं और टाइपो ढूंढते हैं या नहीं।

हमेशा की तरह, मैं आपको याद दिला दूं। स्थैतिक विश्लेषण का सार एक बार की जांच में नहीं है, लेकिन नियमित उपयोग में है।

बुरा विभाजन

void LanguageModel::FillConsistencyInfo(....) { .... float gap_ratio = expected_gap / actual_gap; if (gap_ratio < 1/2 || gap_ratio > 2) { consistency_info->num_inconsistent_spaces++; .... }

PVS-Studio चेतावनियाँ: V636 '1/2' की अभिव्यक्ति को 'int' प्रकार से 'फ्लोट' प्रकार में डाला गया था। एक आंशिक भाग के नुकसान से बचने के लिए एक स्पष्ट प्रकार के कलाकारों का उपयोग करने पर विचार करें। एक उदाहरण: डबल ए = (डबल) (एक्स) / वाई ;; language_model.cpp 1163

वे चर compare gap_ratio ’की तुलना 0.5 के मान से करना चाहते हैं। दुर्भाग्य से, 0.5 लिखने का एक असफल तरीका चुना गया था। डिवीजन 1/2 पूर्णांक है और पैदावार 0 है।

सही कोड इस तरह होना चाहिए:

 if (gap_ratio < 1.0f/2 || gap_ratio > 2) {

या इस तरह:

 if (gap_ratio < 0.5f || gap_ratio > 2) {

ऐसे अन्य स्थान हैं जहां संदिग्ध पूर्णांक विभाजन किया जाता है। शायद उनमें से वास्तव में अप्रिय गलतियाँ हैं।

कोड स्निपेट देखने लायक है:

baselinedetect.cpp 110
bmp_8.cpp 983
cjkpitch.cpp 553
cjkpitch.cpp 564
mfoutline.cpp 392
mfoutline.cpp 393
normalis.cpp 454

तुलना में टाइपो

 uintmax_t streamtoumax(FILE* s, int base) { int d, c = 0; .... c = fgetc(s); if (c == 'x' && c == 'X') c = fgetc(s); .... }

PVS-Studio चेतावनी: V547 अभिव्यक्ति 'c ==' x '&& c ==' X '' हमेशा गलत है। शायद '||' ऑपरेटर को यहां इस्तेमाल किया जाना चाहिए। Scanutils.cpp 135

सही जाँच विकल्प:

 if (c == 'x' || c == 'X') c = fgetc(s);

अपरिभाषित व्यवहार

एक दिलचस्प डिजाइन की खोज की गई थी। मैंने यह नहीं देखा है:

 void TabVector::Evaluate(....) { .... int num_deleted_boxes = 0; .... ++num_deleted_boxes = true; .... }

चेतावनी PVS-Studio: V567 अपरिभाषित व्यवहार। अनुक्रम अंकों के बीच दो बार उपयोग किए जाने के दौरान 'num_deleted_boxes' चर को संशोधित किया जाता है। tabvector.cpp 735

यह स्पष्ट नहीं है कि लेखक इस कोड के साथ क्या कहना चाहता था। सबसे अधिक संभावना है कि यह कोड एक टाइपो का परिणाम है।

अभिव्यक्ति का परिणाम भविष्यवाणी करना असंभव है। चर 'num_deleted_boxes' को असाइनमेंट से पहले और बाद दोनों में बढ़ाया जा सकता है। कारण यह है कि उत्तराधिकार के एक ही बिंदु पर चर दो बार बदलता है।

अपरिभाषित व्यवहार के लिए अग्रणी अन्य त्रुटियां पाली के उपयोग से जुड़ी हैं । एक उदाहरण पर विचार करें:

 void Dawg::init(....) { .... letter_mask_ = ~(~0 << flag_start_bit_); .... }

चेतावनी V610 अपरिभाषित व्यवहार। शिफ्ट ऑपरेटर की जाँच करें <<। बायां संचालक '~ 0' ऋणात्मक है। dawg.cpp 187

अभिव्यक्ति '~ 0' प्रकार 'int' का है और '-1' के मान के बराबर है। नकारात्मक मूल्यों को स्थानांतरित करने से अपरिभाषित व्यवहार होता है। यह कार्यक्रम सही ढंग से काम कर सकता है भाग्य और अधिक कुछ नहीं है। आप '0' को अहस्ताक्षरित करके दोष को ठीक कर सकते हैं:

 letter_mask_ = ~(~0u << flag_start_bit_);

हालाँकि, यह सब नहीं है। विश्लेषक इस लाइन पर एक और चेतावनी देता है:

V629 '~ 0 << flag_start_bit_' अभिव्यक्ति का निरीक्षण करने पर विचार करें। 64-बिट प्रकार के बाद के विस्तार के साथ 32-बिट मूल्य का बिट शिफ्टिंग। dawg.cpp 187

तथ्य यह है कि चर 'letter_mask_' प्रकार 'uinT64' है। जैसा कि मैं इसे समझता हूं, उच्च 32 बिट्स के लिए इकाइयों को लिखना आवश्यक हो सकता है। इस स्थिति में, निर्मित अभिव्यक्ति गलत है। यह केवल कम बिट्स के साथ काम करता है।

आपको '0' को 64-बिट प्रकार बनाने की आवश्यकता है। सही विकल्प:

 letter_mask_ = ~(~0ull << flag_start_bit_);

मैं उन अन्य कोड अंशों की सूची सूचीबद्ध करूंगा जहां नकारात्मक संख्याएं स्थानांतरित की गई हैं:

dawg.cpp 188
intmatcher.cpp 172
intmatcher.cpp 174
intmatcher.cpp 176
intmatcher.cpp 178
intmatcher.cpp 180
intmatcher.cpp 182
intmatcher.cpp 184
intmatcher.cpp 186
intmatcher.cpp 188
intmatcher.cpp 190
intmatcher.cpp 192
intmatcher.cpp 194
intmatcher.cpp 196
intmatcher.cpp 198
intmatcher.cpp 200
intmatcher.cpp 202
intmatcher.cpp 323
intmatcher.cpp 347
intmatcher.cpp 366

संदिग्ध डबल असाइनमेंट

 TESSLINE* ApproximateOutline(....) { EDGEPT *edgept; .... edgept = edgesteps_to_edgepts(c_outline, edgepts); fix2(edgepts, area); edgept = poly2 (edgepts, area); // 2nd approximation. .... }

PVS-Studio चेतावनी: V519 'किनारे' चर को क्रमिक रूप से दो बार मान दिया गया है। शायद यह एक गलती है। लाइनों की जाँच करें: 76, 78. polyaprx.cpp 78

इसी तरह का एक और मामला:

 inT32 row_words2(....) { .... this_valid = blob_box.width () >= min_width; this_valid = TRUE; .... }

PVS-Studio चेतावनी: V519 'this_valid' चर को क्रमिक रूप से दो बार मान दिया गया है। शायद यह एक गलती है। चेक लाइनें: 396, 397. wordseg.cpp 397

अमान्य वर्ग सदस्य आरंभिक अनुक्रम

सबसे पहले, 'मास्टरट्रेनर' वर्ग पर विचार करें। ध्यान दें कि वर्ग का सदस्य 'नमूने_' सदस्य के सामने स्थित है 'fontinfo_table_':

 class MasterTrainer { .... TrainingSampleSet samples_; .... FontInfoTable fontinfo_table_; .... };

मानक के अनुसार, कंस्ट्रक्टर में वर्ग के सदस्यों के आरंभ का क्रम वर्ग में उनकी घोषणा के क्रम में होता है। इसका अर्थ यह है कि 'नमूने_' को 'फॉन्टिनफो_टेबल_' के आरंभिक रूप से आरंभ किया जाएगा।

अब कंस्ट्रक्टर पर विचार करें:

 MasterTrainer::MasterTrainer(NormalizationMode norm_mode, bool shape_analysis, bool replicate_samples, int debug_level) : norm_mode_(norm_mode), samples_(fontinfo_table_), junk_samples_(fontinfo_table_), verify_samples_(fontinfo_table_), charsetsize_(0), enable_shape_anaylsis_(shape_analysis), enable_replication_(replicate_samples), fragments_(NULL), prev_unichar_id_(-1), debug_level_(debug_level) { }

परेशानी यह है कि 'नमूने_' को इनिशियलाइज़ करने के लिए uninitialized चर 'fontinfo_table_' का भी उपयोग किया जाता है।

फ़ील्ड के 'जंक_स्मैम्प्स_' और 'वेरिफाइ_सैम्प्स_' के आरंभ के साथ इस वर्ग में एक समान स्थिति।

मैं यह कहना नहीं चाहता कि इस वर्ग के साथ क्या करना सबसे अच्छा है। कक्षा की शुरुआत में 'fontinfo_table_' की घोषणा को स्थानांतरित करने के लिए पर्याप्त हो सकता है।

हालत में एक टाइपो

एक टाइपो को नोटिस करना आसान नहीं है, लेकिन विश्लेषक को थकान का पता नहीं है।

 class ScriptDetector { .... int korean_id_; int japanese_id_; int katakana_id_; int hiragana_id_; int han_id_; int hangul_id_; int latin_id_; int fraktur_id_; .... }; void ScriptDetector::detect_blob(BLOB_CHOICE_LIST* scores) { .... if (prev_id == katakana_id_) osr_->scripts_na[i][japanese_id_] += 1.0; if (prev_id == hiragana_id_) osr_->scripts_na[i][japanese_id_] += 1.0; if (prev_id == hangul_id_) osr_->scripts_na[i][korean_id_] += 1.0; if (prev_id == han_id_) osr_->scripts_na[i][korean_id_] += kHanRatioInKorean; if (prev_id == han_id_) <<<<==== osr_->scripts_na[i][japanese_id_] += kHanRatioInJapanese; .... }

PVS-Studio चेतावनी: V581 एक-दूसरे के साथ स्थित 'if' ऑपरेटर के सशर्त भाव समान हैं। जाँच लाइनें: 551, 553. osdetect.cpp 553

सबसे अधिक संभावना है, सबसे हाल की तुलना इस तरह होनी चाहिए:

 if (prev_id == japanese_id_)

अनावश्यक जाँच

यह जांचने की आवश्यकता नहीं है कि 'नया' ऑपरेटर क्या लौटाता है। यदि मेमोरी आवंटित नहीं की जा सकती है, तो एक अपवाद फेंक दिया जाएगा। बेशक, आप एक विशेष ऑपरेटर 'नया' बना सकते हैं, जो अशक्त संकेत देता है, लेकिन यह एक अलग मामला ( विवरण ) है।

परिणामस्वरूप, इस कार्य को सरल बनाया जा सकता है:

 void SetLabel(char_32 label) { if (label32_ != NULL) { delete []label32_; } label32_ = new char_32[2]; if (label32_ != NULL) { label32_[0] = label; label32_[1] = 0; } }

PVS-Studio चेतावनी: V668 नल के खिलाफ 'label32_' पॉइंटर के परीक्षण में कोई समझदारी नहीं है, क्योंकि स्मृति को 'नए' ऑपरेटर का उपयोग करके आवंटित किया गया था। मेमोरी आवंटन त्रुटि के मामले में अपवाद उत्पन्न होगा। char_samp.h 73

101 स्थान ऐसे भी हैं जहां सूचक को 'नया' ऑपरेटर लौटाया जाता है। उन्हें लेख में सूचीबद्ध करने के लिए, मुझे कोई कारण नहीं दिखता है। इसके लिए पीवीएस-स्टूडियो चलाना आसान है।

निष्कर्ष

नियमित रूप से स्थैतिक विश्लेषण का उपयोग करें, और आप मूर्खतापूर्ण त्रुटियों और टाइपो को पकड़ने की तुलना में अधिक उपयोगी कार्यों को सुलझाने में बहुत समय बचाएंगे।

और ट्विटर पर मुझे फॉलो करना ना भूलें: @Code_Analysis मैं नियमित रूप से दिलचस्प सी ++ संबंधित लेखों के लिंक प्रकाशित करता हूं।

क्या आपने लेख पढ़ा है और एक प्रश्न है?

अक्सर हमारे लेखों से वही प्रश्न पूछे जाते हैं। हमने यहां उनके उत्तर एकत्र किए हैं: पीवीएस-स्टूडियो और कैप्पकैट, संस्करण 2014 के बारे में लेखों के पाठकों के सवालों के जवाब । कृपया सूची देखें।

Tesseract। मान्यता प्रणाली में त्रुटियों को पहचानो