हाल ही में हबेरा में दिखाई दिया है, और "न्यूरल नेटवर्क" की अवधारणा के काम और सिद्धांत का वर्णन करने वाले कई महत्वपूर्ण लेख भी हैं, लेकिन, दुर्भाग्यवश, हमेशा प्राप्त किए गए या नहीं प्राप्त किए गए व्यावहारिक परिणामों का बहुत कम विवरण और विश्लेषण है। मुझे लगता है कि मेरे जैसे कई लोग एक वास्तविक उदाहरण को समझने के लिए अधिक सहज, आसान और अधिक समझने योग्य हैं। इसलिए, इस लेख में मैं लैटिन वर्णमाला के अक्षरों को पहचानने की समस्या के लगभग एक कदम-दर-चरण समाधान का वर्णन करने की कोशिश करूंगा + स्वतंत्र शोध के लिए एक उदाहरण। एकल-लेयर पर्सेप्ट्रॉन का उपयोग करने वाले नंबरों की मान्यता पहले ही हो चुकी है, अब आइए इसे समझें और कंप्यूटर को अक्षरों को पहचानने का तरीका सिखाएं।

हमारी समस्या

संक्षेप में, मेरा कहना है कि सामान्य रूप से तंत्रिका नेटवर्क व्यावहारिक समस्याओं की एक विस्तृत श्रृंखला को हल कर सकते हैं, विशेष रूप से, पहचान कार्यों को। ज्यादातर मामलों में, उत्तरार्द्ध में एक "टेम्पलेट" चरित्र होता है। उदाहरण के लिए, एक प्रणाली जो दक्षता के संदर्भ में "बैंक चेक" पढ़ती है, ऑपरेटर से कई गुना बेहतर है। इस तरह के कार्यों में, तंत्रिका नेटवर्क का उपयोग उचित है और पैसे और संसाधनों को महत्वपूर्ण रूप से बचाता है।

हम तय करेंगे कि हमें क्या करना, समझना और करना है। हमें एक विशेषज्ञ प्रणाली बनाने की जरूरत है जो लैटिन वर्णमाला के अक्षरों को पहचान सके। ऐसा करने के लिए, आपको तंत्रिका नेटवर्क (एनएस) की क्षमताओं को समझने और एक ऐसी प्रणाली का निर्माण करने की आवश्यकता है जो लैटिन वर्णमाला के अक्षरों को पहचान सके। तंत्रिका नेटवर्क के सिद्धांत का विवरण लेख के अंत में दिए गए लिंक पर पाया जा सकता है। इस लेख में NS ऑपरेशन के सिद्धांत (गणित) का विवरण या MATLAB के साथ काम करते समय आदेशों का वर्णन नहीं मिलता है (ठीक है, केवल अगर लिंक लेख के अंत में हैं), यह आपके विवेक पर रहता है। लेख का उद्देश्य एक व्यावहारिक कार्य के लिए एक तंत्रिका नेटवर्क के उपयोग को दिखाना और बताना है, परिणाम दिखाने के लिए, नुकसान में दौड़ना है, यह दिखाने की कोशिश करें कि यह कैसे लागू किया जाता है, इसके बारे में विवरण में जाने के बिना एक तंत्रिका नेटवर्क से बाहर निचोड़ करना संभव है, बाकी के लिए विशेष साहित्य है जिसमें से सब कुछ है उतना ही भागना भी नहीं है।

चलो लैटिन वर्णमाला के अक्षरों को पहचानने के लिए त्रुटियों के पीछे प्रसार के साथ एक तंत्रिका नेटवर्क का उपयोग करते समय संभावनाओं का पता लगाने की कोशिश करें। हम गणितीय गणितीय पैकेज MATLAB के सॉफ्टवेयर वातावरण में एल्गोरिथ्म को लागू करेंगे, अर्थात्, तंत्रिका नेटवर्क टूलबॉक्स की शक्ति की आवश्यकता होगी।

क्या दिया है

इनपुट डेटा से निपटना आवश्यक है। हम सभी कल्पना करते हैं कि पत्र क्या हैं, वे एक किताब में मॉनिटर पर कैसे देखते हैं, आदि। (उदाहरण के लिए, नीचे दिए गए चित्र में दिखाया गया है)।







वास्तव में, आपको अक्सर आदर्श अक्षरों के साथ काम नहीं करना पड़ता है, जैसा कि ऊपर दिखाया गया है, लेकिन अधिक बार जैसा कि नीचे दिखाया गया है, अर्थात्, विकृतियों को पात्रों में पेश किया जाता है।







अब वापस एक छवि का प्रतिनिधित्व करने की समस्या के लिए जो एक तंत्रिका नेटवर्क के लिए समझ में आता है। यह स्पष्ट है कि छवि के प्रत्येक अक्षर को मैट्रिक्स के रूप में उन तत्वों के कुछ मूल्यों के साथ दर्शाया जा सकता है जो पत्र को स्पष्ट रूप से पहचान सकते हैं। यही है, लैटिन वर्णमाला के एक चरित्र के प्रतिनिधित्व को आसानी से n पंक्तियों और एम कॉलम के मैट्रिक्स द्वारा औपचारिक रूप दिया जाता है। ऐसे मैट्रिक्स का प्रत्येक तत्व मान [0, 1] की सीमा में ले सकता है। तो, इस तरह के एक औपचारिक रूप में प्रतीक ए इस तरह दिखाई देगा (बाईं ओर - विरूपण के बिना, दाईं ओर - गर्भपात के साथ:







सिर में क्या हो रहा है, इसका थोड़ा विचार करने के बाद, इसे MATLAB में लागू करने के लिए आगे बढ़ें। इस पैकेज में लैटिन वर्णमाला पहले से ही उपलब्ध है, यहां तक ​​कि इसके साथ काम करने का एक डेमो उदाहरण भी है, लेकिन हम इसमें से केवल वर्णमाला लेंगे। इसलिए, आप उनके डेटा का उपयोग कर सकते हैं, या आप स्वयं भी सभी अक्षर आकर्षित कर सकते हैं, यह वैकल्पिक है।

MATLAB 7 पंक्तियों और 5 स्तंभों के मैट्रिक्स द्वारा औपचारिक रूप से वर्ण प्रदान करता है। लेकिन इस तरह के मैट्रिक्स को केवल एक तंत्रिका नेटवर्क के इनपुट को नहीं खिलाया जा सकता है, इसके लिए 35-तत्व वेक्टर एकत्र करना अभी भी आवश्यक है।

विभिन्न संस्करणों और सुविधा के साथ संगतता के लिए, मैंने एक फ़ाइल में वर्णों के मैट्रिक्स को बचाया (और आप prprob फ़ंक्शन का उपयोग कर सकते हैं, यह वर्णमाला को कार्यक्षेत्र में लोड करेगा)।

सिद्धांत से यह ज्ञात है कि हमें नेटवर्क के प्रशिक्षण के लिए इनपुट डेटा और आउटपुट डेटा (लक्ष्य, लक्ष्य डेटा) की आवश्यकता है। लक्ष्य वेक्टर में 26 तत्व शामिल होंगे, जहां तत्वों में से एक का मान 1 है, और अन्य सभी तत्व 0 हैं, इकाई वाले तत्व की संख्या वर्णमाला के संबंधित अक्षर को एन्कोड करती है।

संक्षेप में, एक इनपुट 35-तत्व वेक्टर तंत्रिका नेटवर्क के इनपुट पर लागू होता है, जिसकी तुलना 26-तत्व आउटपुट वेक्टर से संबंधित पत्र के साथ की जाती है। NS का आउटपुट 26-तत्व वेक्टर है, जिसमें केवल एक तत्व है जो वर्णमाला के संबंधित अक्षर को एनकोड करता है। 1. NS के साथ काम करने के लिए इंटरफ़ेस के निर्माण के साथ निपटा, हम इसे बनाना शुरू करेंगे।

नेटवर्क बिल्डिंग

हम एक तंत्रिका नेटवर्क का निर्माण करेंगे, जिसमें 35 इनपुट शामिल हैं (क्योंकि वेक्टर में 35 तत्व शामिल हैं) और 26 आउटपुट (क्योंकि 26 अक्षर हैं)। यह NS एक टू-लेयर नेटवर्क है। सक्रियण फ़ंक्शन एक लॉगरिदमिक सिग्मॉइड फ़ंक्शन है, जो उपयोग करने के लिए सुविधाजनक है, क्योंकि आउटपुट वैक्टर में 0 से 1 तक के मान वाले तत्व होते हैं, जिसे बाद में आसानी से बूलियन बीजगणित में परिवर्तित किया जा सकता है। हम छिपे हुए स्तर पर 10 न्यूरॉन्स आवंटित करेंगे (क्योंकि बस उसी तरह, कोई भी मूल्य हो सकता है, तो हम जांच करेंगे कि उनमें से कितने की आवश्यकता है)। यदि नेटवर्क बनाने के बारे में ऊपर जो कुछ लिखा गया है, उससे आपको कुछ स्पष्ट नहीं है, तो कृपया इसके बारे में साहित्य में पढ़ें (यदि आप एनएस के साथ काम करना चाहते हैं तो आवश्यक अवधारणाएं)। योजनाबद्ध रूप से माना गया नेटवर्क निम्नलिखित योजना द्वारा दर्शाया जा सकता है:







और अगर आप इसे स्क्रिप्ट भाषा MATLAB के सिंटैक्स में लिखते हैं, तो यह है, हमें यह मिलता है:

1. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
2. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
3. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
4. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
5. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
6. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
7. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
8. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   
9. S1 = 10; % [S2,Q] = size(targets); % ( ) P = alphabet; % , % net = newff(minmax(P), % [S1 S2], % {'logsig' 'logsig'}, % 'traingdx' % ( ) );
   
   
   
   

नेटवर्क प्रशिक्षण

अब जब नेशनल असेंबली बनाई गई है, तो इसे प्रशिक्षित करना आवश्यक है, क्योंकि वह एक छोटे बच्चे के रूप में, कुछ भी नहीं जानता है, पूरी तरह से साफ चादर। तंत्रिका नेटवर्क को बैकप्रोपैजेशन प्रक्रिया का उपयोग करके प्रशिक्षित किया जाता है - सामान्य आउटपुट मोड में संकेतों के प्रत्यक्ष प्रसार के विपरीत दिशा में एनएस आउटपुट से त्रुटि संकेतों का प्रसार, (अभी भी प्रशिक्षण विधियां हैं, यह सबसे बुनियादी माना जाता है, और अन्य सभी संशोधन हैं)।

एक तंत्रिका नेटवर्क बनाने के लिए जो शोर इनपुट डेटा के साथ काम कर सकता है, शोर के साथ या बिना डेटा की आपूर्ति करके नेटवर्क को प्रशिक्षित करना आवश्यक है। ऐसा करने के लिए, आपको पहले शोर घटक के बिना डेटा की आपूर्ति करके नेटवर्क को प्रशिक्षित करना होगा। फिर, जब नेटवर्क को आदर्श डेटा पर प्रशिक्षित किया जाता है, तो हम आदर्श और शोर इनपुट डेटा के सेट पर प्रशिक्षण देंगे (जैसा कि हम बाद में देखेंगे, यह बहुत महत्वपूर्ण है क्योंकि इस तरह के प्रशिक्षण से पत्रों की सही पहचान का प्रतिशत बढ़ जाता है)।

सभी वर्कआउट्स के लिए, ट्रेंग्डेक्स फ़ंक्शन का उपयोग किया जाता है - एक नेटवर्क प्रशिक्षण फ़ंक्शन जो कि ढाल वंश की विधि का उपयोग करके वजन और ऑफसेट के मूल्यों को संशोधित करता है, क्षणों को ध्यान में रखते हुए और अनुकूली प्रशिक्षण का उपयोग करता है।

पहले आपको शोर डेटा पर नेटवर्क को प्रशिक्षित करने की आवश्यकता है, अर्थात, एक साधारण से शुरू करना। सिद्धांत रूप में, प्रशिक्षण का क्रम विशेष रूप से महत्वपूर्ण नहीं है, लेकिन अक्सर आदेश को बदलते हुए, आप नेशनल असेंबली की पर्याप्तता का एक अलग गुण प्राप्त कर सकते हैं। फिर, एक तंत्रिका तंत्र बनाने में सक्षम होने के लिए जो शोर के प्रति संवेदनशील नहीं होगा, हम नेटवर्क को दो आदर्श प्रतियों और दो प्रतियों के साथ प्रशिक्षित करते हैं जिसमें शोर होता है (0.1 और 0.2 के फैलाव के साथ शोर जोड़ा जाता है)। इसलिए लक्ष्य मान में लक्ष्य वेक्टर की 4 प्रतियां होंगी।

शोर इनपुट डेटा के साथ प्रशिक्षण पूरा करने के बाद, तंत्रिका नेटवर्क के लिए आदर्श इनपुट डेटा के साथ प्रशिक्षण को दोहराना आवश्यक है ताकि सफलतापूर्वक इनपुट डेटा के साथ सामना किया जा सके। मैं कोड के टुकड़ों का हवाला नहीं देता, क्योंकि वे बहुत सरल हैं, एक ट्रेन फ़ंक्शन का उपयोग किया जाता है, जिसे लागू करना आसान है।

नेटवर्क परीक्षण

सबसे दिलचस्प और महत्वपूर्ण चरण वह है जो हमें मिला है। इसके लिए, मैं टिप्पणियों के साथ निर्भरता ग्राफ दूंगा।

पहले तो हमने नेटवर्क को केवल आदर्श डेटा पर प्रशिक्षित किया और अब हम देखेंगे कि यह कैसे मान्यता के साथ मुकाबला करता है। स्पष्टता के लिए, मैं इनपुट आउटपुट अनुपात को दर्शाने वाला एक ग्राफ़ बनाऊंगा, यानी इनपुट पर अक्षर की संख्या आउटपुट पर पत्र की संख्या के अनुरूप होनी चाहिए (आदर्श मान्यता तब होगी जब हमें ग्राफ़ पर क्वाड्रंट का विकर्ण प्राप्त होगा)।







जैसा कि आप देख सकते हैं, नेटवर्क ने एक खराब काम किया है, निश्चित रूप से, आप प्रशिक्षण मापदंडों (जो वांछनीय है) के साथ खेल सकते हैं और यह सबसे अच्छा परिणाम देगा, लेकिन हम एक तुलना करेंगे, एक नया नेटवर्क बनाएंगे और इसे शोर डेटा के साथ प्रशिक्षित करेंगे, और फिर परिणामी एनएस की तुलना करेंगे।

अब इस प्रश्न पर वापस, छिपी हुई परत में कितने न्यूरॉन होने चाहिए। ऐसा करने के लिए, हम एक ऐसे संबंध का निर्माण करते हैं जो छिपी हुई परत में न्यूरॉन्स के अनुपात और गलत पहचान के प्रतिशत को दर्शाता है।







जैसा कि आप देख सकते हैं, न्यूरॉन्स की संख्या में वृद्धि के साथ, इनपुट डेटा की 100% मान्यता प्राप्त की जा सकती है। सही मान्यता की संभावना में वृद्धि से डेटा की एक बड़ी मात्रा के साथ एक प्रशिक्षित तंत्रिका नेटवर्क के घाव का दोहराया प्रशिक्षण होगा। इस चरण के बाद, यह देखना आसान है कि अक्षरों की सही पहचान का प्रतिशत बढ़ जाता है। सच है, एक निश्चित बिंदु तक सब कुछ अच्छी तरह से काम करता है, क्योंकि जब 25 से अधिक न्यूरॉन्स की संख्या दिखाई देती है, तो नेटवर्क गलतियां करना शुरू कर देता है।







याद रखें कि हम एक अन्य नेटवर्क को प्रशिक्षित करने जा रहे हैं, आदर्श डेटा के अलावा, शोर डेटा और तुलना भी। तो चलिए नीचे दिए गए ग्राफ़ में प्राप्त परिणामों के आधार पर देखें कि कौन सा नेटवर्क बेहतर है।







जैसा कि आप देख सकते हैं, एक महत्वपूर्ण शोर के साथ, एनएस, जो विकृत डेटा के साथ प्रशिक्षित किया गया था, बेहतर तरीके से नकल करता है (गलत पहचान का प्रतिशत कम है)।

संक्षेप

मैंने विवरणों और trifles को कम नहीं करने की कोशिश की, "मुर्ज़िल्का" (चित्रों के साथ एक पत्रिका) को व्यवस्थित करने की कोशिश की, बस यह समझने के लिए कि एनएस का उपयोग क्या था।

प्राप्त परिणामों के बारे में, वे संकेत देते हैं कि सही पहचान की मात्रा बढ़ाने के लिए, तंत्रिका नेटवर्क को प्रशिक्षित (प्रशिक्षित) करना और छिपी हुई परत में न्यूरॉन्स की संख्या में वृद्धि करना आवश्यक है। यदि संभव हो, तो इनपुट वैक्टर के संकल्प को बढ़ाएं, उदाहरण के लिए, 10x14 मैट्रिक्स एक पत्र को औपचारिक रूप देता है। सबसे महत्वपूर्ण बात यह है कि सीखने की प्रक्रिया में इनपुट डेटा के सेट की एक बड़ी संख्या का उपयोग करना आवश्यक है, यदि संभव हो तो उपयोगी जानकारी के अधिक शोर के साथ।

नीचे एक उदाहरण है जिसमें सब कुछ वर्णित है और लेख में वर्णित है (थोड़ा और भी)। मैंने आपको कुछ उपयोगी बताने की कोशिश की, न कि कुछ अजीब फॉर्मूलों से लोड करने की। अधिक लेखों की योजना बनाई गई है, लेकिन यह सब आपकी इच्छाओं पर निर्भर करता है।

उदाहरण और साहित्य

CharacterRecognition.zip

तंत्रिका नेटवर्क पर लेखों का चयन

तंत्रिका नेटवर्क एल्गोरिदम का विवरण