परिप्रेक्ष्य में एक दस्तावेज, इसके साथ क्या करना है? संपर्क रहित स्कैनिंग और दस्तावेजों की तस्वीरों के परिणामों का सुधार

इस लेख का विचार हमारे साथ तब आया जब “ Http पर ABBYY द्वारा प्रकाशित “ ABBYYSScanner में एक छवि पर स्वचालित दस्तावेज़ का चयन कैसे होता है?

लेख निश्चित रूप से दिलचस्प और उपयोगी है। हम, "गहरी संतुष्टि की भावना के साथ" ने कहा कि एबीबीवाई उसी गणितीय एल्गोरिदम का उपयोग करता है जैसा हम करते हैं, और यह विवेकपूर्ण रूप से कुछ विवरणों को छोड़ देता है जिसके बिना दस्तावेज़ की सीमाओं का निर्धारण करने की सटीकता काफी कम हो जाती है।

मुझे लगता है कि लेख को पढ़ने के बाद, कुछ पाठकों ने एक उचित सवाल किया था: "चित्र में पाए गए दस्तावेज़ के साथ आगे क्या करना है?" मैं चेशायर कैट एलिस के शब्दों का जवाब दूंगा: "आप कहाँ आना चाहते हैं?" यदि अंतिम लक्ष्य तस्वीर से "निकालना" पाठ है? डेटा, तो आपको पहचान प्रणाली के कार्य को अधिकतम करने की आवश्यकता है। ऐसा करने के लिए, सबसे पहले, परिप्रेक्ष्य विकृतियों को ठीक करना आवश्यक है, दस्तावेजों की सभी तस्वीरों का "हाथ से"। यदि यह समस्या हल नहीं होती है, तो डेटा को पहचानने का प्रयास कैप्चा को पहचानने के प्रयासों के परिणामस्वरूप एक परिणाम प्राप्त कर सकता है। छोटी कीमत सूची के लिए कैप्चा पर मशीन इंटेलिजेंस की जीत में "विश्वासियों" ने नियमितता के साथ फ्रीलांस साइटों पर दिखाई। धन्य है वह जो विश्वास करता है, लेकिन हम अब उसके बारे में नहीं हैं।

इसलिए, इस लेख में हम ABBYY से बैटन लेने की कोशिश करेंगे और अपने स्वयं के अनुभव से हमें बताएँगे कि प्रिज़मैटिक को कैसे कम किया जाए, सबसे अच्छा, दस्तावेज़ जिसे हमने न्यूनतम लागतों के साथ छवि में पहचाना (विज्ञान के लिए ABBYY के लिए धन्यवाद), अधिमानतः परिरक्षण के साथ। प्रारंभिक अनुपात। विदेशी मामले, जैसे कि पेंटागन या अंडाकार दस्तावेज, हम विचार नहीं करते हैं, हालांकि, सवाल दिलचस्प है।



आशाजनक विकृतियों की विकृति की समस्या ALANIS सॉफ़्टवेयर के उस पक्ष से उत्पन्न नहीं हुई, जहाँ से कोई उम्मीद कर सकता है। मेरा मतलब है, यह तथ्य कि हम मोबाइल विकास के विशेषज्ञ नहीं हैं। हालांकि, हमारे ग्राहक, जिनके लिए हम कैनन ईओएस डिजिटल एसएलआर कैमरों (हाय, फोटोग्राफरों!) पर आधारित ग्रहों के स्कैनर के लिए एक स्कैनिंग और इमेज प्रोसेसिंग सिस्टम विकसित कर रहे हैं, कुछ समय में, शस्त्रागार में ऐसी कार्यक्षमता चाहते थे। इसके अलावा, यह समाप्त कैमरा छवि को संसाधित करने के बारे में नहीं था, लेकिन लाइव व्यू पूर्वावलोकन चरण में वीडियो स्ट्रीम को समायोजित करने के बारे में था। हालांकि, हमने जो समाधान विकसित किया है वह पहले से ही लिए गए दस्तावेज़ के सुधार मोड में समान रूप से अच्छी तरह से काम करता है।

दिए गए:

1. एक आयताकार दस्तावेज़ की विकृत छवि
2. चित्र में दस्तावेज़ के आकृति

उद्देश्य:

दस्तावेज़ को उसके मूल रूप में सबसे कम तरीके से वापस लाएं

चुनौती (रूसी समकक्ष किसी तरह घटित नहीं होती है):

1. मूल दस्तावेज के अनुपात हमें ठीक से ज्ञात नहीं हैं
2. उस विमान की दूरी जिस पर दस्तावेज़ निहित है, हम नहीं जानते
3. ऐसी कोई संदर्भ वस्तु नहीं है जिस पर आप ध्यान केंद्रित कर सकते हैं (उदाहरण के लिए, सही वर्ग जो लेंस में गिर गया)

समाधान:

इसलिए, समस्या को संपूर्ण रूप से हल करने के लिए, हम इसे दो अलग-अलग भागों में तोड़ने का प्रस्ताव देते हैं:

1. ढूँढना, वास्तव में, स्कैन की गई छवि पर दस्तावेज़ की विकृत रूपरेखा (शायद, हम इस मुद्दे को एक बार फिर से उन लोगों के लिए कवर करेंगे, जिन्होंने एबीबीवाई लेख नहीं पढ़ा है)।
2. दस्तावेज़ के सही अनुपात का निर्धारण करना जिसमें एक संरेखित दस्तावेज़ प्राप्त करने के लिए मूल विकृत रूपरेखा को मैप किया जाना चाहिए।

आप निश्चित रूप से, एक साइकिल का आविष्कार करने की कोशिश कर सकते हैं, और कुछ अभी भी सफल होते हैं, लेकिन हमने आसान तरीका अपनाया और ओपनसीवी टूलकिट का इस्तेमाल किया। हम ज्यादातर C # Wrapper OpenCVSharp के माध्यम से .NET वातावरण में काम करते हैं। OpenCVSharp विजुअल स्टूडियो में Nuget पैकेज के रूप में भी उपलब्ध है। "यह सब है" (सी) और हम इसका इस्तेमाल करेंगे।

निम्नलिखित छवि में परिप्रेक्ष्य छवि को सही करने की समस्या को हल करने में मुख्य दिलचस्प बिंदुओं पर विचार करें:





1. प्रस्तुत छवि में समोच्च खोजने के लिए, छोटे हिस्सों से छुटकारा पाना आवश्यक है जो हस्तक्षेप कर सकते हैं। यह कम बिजली गॉसियन के "ब्लर स्पेल" को लागू करके किया जा सकता है, जो पहले छवि को ग्रे के रंगों में परिवर्तित करता है:

imgSource.CvtColor(imgGrayscale, ColorConversion.BgrToGray);

imgSource.Smooth(imgSource, SmoothType.Gaussian, 15);







उपरोक्त श्रृंखला को लागू करने के परिणामस्वरूप ऐसा हुआ है (यदि मैं अपना चश्मा उतारता हूं, तो लगभग एक ही प्रभाव होगा। इसलिए नैतिक: "मायोपिया एक बीमारी नहीं है, लेकिन बौद्धिक छवि प्रसंस्करण है, जिसका उद्देश्य सब कुछ बहाना करना और दुनिया को और अधिक सुंदर बनाना है!"):





2. अगला, आपको छवि को काले और सफेद बनाने की आवश्यकता है:



imgSource.Threshold(imgSource, 0, 255, ThresholdType.Binary | ThresholdType.Otsu);









3. परिणामी छवि में दस्तावेज़ की रूपरेखा ढूंढना आसान है। हम अधिकतम बाहरी समोच्च की तलाश करेंगे। OpenCVSharp में एक बेहतरीन CvContourScanner क्लास है जो किसी इमेज की सभी पाई गई रूपरेखाओं को सूचीबद्ध कर सकता है। Linq का उपयोग करके, आप क्षेत्र के आधार पर इन रूपरेखाओं को क्रमबद्ध कर सकते हैं और पहले ले सकते हैं, जो सबसे अधिक होगी।



using (var storage = new CvMemStorage())

using (var scanner = new CvContourScanner(image, _storage, CvContour.SizeOf, ContourRetrieval.External, ContourChain.ApproxSimple))

{

var largestContour = scanner.OrderBy(contour => Math.Abs(contour.ContourArea())).FirstOrDefault();

}







यदि आप पाया रूपरेखा बनाते हैं, तो आपको निम्न छवि मिलती है:





4. हुर्रे! एक सर्किट मिला! हालांकि, यह बहुत कम दिखा सकता है - यह सभी कोने के बिंदुओं के निर्देशांक को जानने के लिए आवश्यक है - दस्तावेज़ के किनारों के चौराहे के बिंदु। जाहिर है, इन बिंदुओं के निर्देशांक खोजने के लिए, सीधी रेखा समीकरणों द्वारा पाया समोच्च के पक्षों का वर्णन करना वांछनीय है। OpenCV इसमें हमारी मदद कैसे कर सकता है? बहुत आसान है! इसमें एक टूल है जो Hough ट्रांसफॉर्म का उपयोग करता है । हमने पिछले चरण में प्राप्त छवि के लिए यह विधि "डाली":

var lineSegments = imgSource.HoughLines2(storage, HoughLinesMethod.Probabilistic, 1, Math.PI / 180.0, 70, 100, 1).ToArray();

, 4 , , ! 100, 200, . , , , ( «» OpenCV). , - , , : , :



var verticalSegments = segments

.Where(s => Math.Abs(s.P1.X - s.P2.X) < Math.Abs(s.P1.Y - s.P2.Y))

.ToArray();



var horizontalSegments = segments

.Where(s => Math.Abs(s.P1.X - s.P2.X) >= Math.Abs(s.P1.Y - s.P2.Y))

.ToArray();







, «» – ; – . , , :





, . , :



var corners = horizontalSegments

.SelectMany(sh => verticalSegments

.Select(sv => sv.LineIntersection(sh))

.Where(v => v != null)

.Select(v => v.Value))

// exclude points which is out of image area

.Where(c => new CvRect(0, 0, imgSource.Width, imgSource.Height).Contains(c))

.ToArray();













:





– ). OpenCVSharp:



contour = contour.ApproxPoly(CvContour.SizeOf, storage, ApproxPolyMethod.DP, contour.ArcLength() * 0.02, true);







, ! , - :





5. , . , – , . , , . , – - , . , , .



, , , 100% . , , , , , .

, , . : . . , , :





:





, , . !



- . , ( 10, – , – ):





, «» . - , , . - , , :



:



deltaX, deltaY – , ;

targetWidth, targetHeight – ;

topWidth, bottomWidth, leftHeight, rightHeight – .



:





, :





. , .



, «» , «» , , - …



, - . , . , Canon. «» « » LiveView, .







, . youtube , , . !



var lineSegments = imgSource.HoughLines2(storage, HoughLinesMethod.Probabilistic, 1, Math.PI / 180.0, 70, 100, 1).ToArray();

, 4 , , ! 100, 200, . , , , ( «» OpenCV). , - , , : , :



var verticalSegments = segments

.Where(s => Math.Abs(s.P1.X - s.P2.X) < Math.Abs(s.P1.Y - s.P2.Y))

.ToArray();



var horizontalSegments = segments

.Where(s => Math.Abs(s.P1.X - s.P2.X) >= Math.Abs(s.P1.Y - s.P2.Y))

.ToArray();







, «» – ; – . , , :





, . , :



var corners = horizontalSegments

.SelectMany(sh => verticalSegments

.Select(sv => sv.LineIntersection(sh))

.Where(v => v != null)

.Select(v => v.Value))

// exclude points which is out of image area

.Where(c => new CvRect(0, 0, imgSource.Width, imgSource.Height).Contains(c))

.ToArray();













:





– ). OpenCVSharp:



contour = contour.ApproxPoly(CvContour.SizeOf, storage, ApproxPolyMethod.DP, contour.ArcLength() * 0.02, true);







, ! , - :





5. , . , – , . , , . , – - , . , , .



, , , 100% . , , , , , .

, , . : . . , , :





:





, , . !



- . , ( 10, – , – ):





, «» . - , , . - , , :



:



deltaX, deltaY – , ;

targetWidth, targetHeight – ;

topWidth, bottomWidth, leftHeight, rightHeight – .



:





, :





. , .



, «» , «» , , - …



, - . , . , Canon. «» « » LiveView, .







, . youtube , , . !