तंत्रिका नेटवर्क वास्तव में क्या छिपाते हैं?

कुछ दिनों पहले, हब पर एक लेख दिखाई दिया: तंत्रिका नेटवर्क क्या छिपाते हैं? । वह अंग्रेजी लेख The Flaw Lurking In Every Deep Neural Net का एक नि: शुल्क रिटेलिंग है, और वह बदले में, तंत्रिका नेटवर्क के कुछ गुणों (तंत्रिका नेटवर्क के गुणों का गहन अध्ययन) के बारे में बात करती है।



अध्ययन का वर्णन करने वाले लेख में, लेखकों ने सामग्री की प्रस्तुति के लिए कुछ सनसनीखेज दृष्टिकोण लिया और "तंत्रिका नेटवर्क में एक गंभीर समस्या पाई गई" और "हम सुरक्षा संबंधी समस्याओं के लिए तंत्रिका नेटवर्क पर भरोसा नहीं कर सकते" की भावना में एक पाठ लिखा। मेरे कई परिचितों ने अपने दोस्तों के बीच Habré की एक पोस्ट का लिंक साझा किया, इस विषय पर कई चर्चाएँ फेसबुक पर एक ही बार में शुरू हुईं। उसी समय, मुझे यह आभास हुआ कि दो अध्ययनों में प्रारंभिक अध्ययन से कुछ जानकारी खो गई थी, साथ ही तंत्रिका नेटवर्क के बारे में कई सवाल उठे थे जिन्हें मूल पाठ में नहीं माना गया था। यह मुझे लगता है कि अध्ययन में क्या किया गया था और अधिक विस्तार से वर्णन करने की आवश्यकता है, और साथ ही प्रारंभिक प्रश्नों का उत्तर देने का प्रयास करें। इस तरह के लंबे ग्रंथों के लिए फेसबुक का प्रारूप बिल्कुल भी फिट नहीं है, इसलिए मैंने अपने विचारों को हैबे पर पोस्ट में डालने की कोशिश करने का फैसला किया।

स्रोत लेख की सामग्री

मूल लेख, "न्यूरल नेटवर्क्स के गहन गुणों" शीर्षक से, सात वैज्ञानिकों की एक टीम द्वारा लिखा गया था, जिनमें से तीन Google में तंत्रिका नेटवर्क अनुसंधान विभाग में काम करते हैं। लेख तंत्रिका नेटवर्क के दो गैर-स्पष्ट गुणों पर चर्चा करता है:

• यह माना जाता है कि यदि तंत्रिका नेटवर्क के गहरे स्तर पर एक विशेष न्यूरॉन के लिए, स्रोत छवियों को चुना जाता है ताकि यह न्यूरॉन सक्रिय हो जाए, तो चयनित छवियों में कुछ सामान्य शब्दार्थ विशेषता होगी। वैज्ञानिकों ने दिखाया है कि यदि हम एक न्यूरॉन की सक्रियता पर नहीं, बल्कि कई न्यूरॉन्स के आउटपुट के रैखिक संयोजन पर विचार करते हैं तो यह कथन सही है।
• तंत्रिका नेटवर्क के प्रशिक्षण नमूने के प्रत्येक तत्व के लिए, एक बहुत ही समान दृश्य उदाहरण चुन सकता है जिसे गलत तरीके से वर्गीकृत किया जाएगा - इसे शोधकर्ताओं द्वारा अंधा स्थान कहा जाता है।

आइए अधिक विस्तार से समझने की कोशिश करें कि इन दो गुणों का क्या मतलब है।

विशिष्ट न्यूरॉन्स का मूल्य

पहली संपत्ति जल्दी से बाहर करने की कोशिश करेगी।



तंत्रिका नेटवर्क के प्रशंसकों के बीच एक धारणा लोकप्रिय है, जो इस तथ्य में शामिल है कि तंत्रिका नेटवर्क अपने आप स्रोत डेटा को अलग-अलग समझने योग्य गुणों में पार्स करता है और तंत्रिका नेटवर्क के गहरे स्तरों पर प्रत्येक न्यूरॉन मूल वस्तु की कुछ विशिष्ट संपत्ति के लिए जिम्मेदार होता है।



यह कथन आमतौर पर दृश्य निरीक्षण द्वारा जांचा जाता है:

1. एक प्रशिक्षित नेटवर्क में एक न्यूरॉन का चयन किया जाता है।
2. एक परीक्षण नमूने से छवियाँ जो इस न्यूरॉन को सक्रिय करती हैं, का चयन किया जाता है।
3. चयनित छवियों को एक व्यक्ति द्वारा देखा जाता है और यह निष्कर्ष निकाला जाता है कि इन सभी छवियों में कुछ सामान्य संपत्ति है।

शोधकर्ताओं ने लेख में क्या किया: व्यक्तिगत न्यूरॉन्स को देखने के बजाय, उन्होंने न्यूरॉन्स के रैखिक संयोजनों पर विचार करना शुरू किया और उन छवियों की खोज की जो एक विशिष्ट संयोजन, सामान्य अर्थ गुणों को सक्रिय करते हैं। लेखक सफल हुए - उन्होंने यह निष्कर्ष निकाला कि तंत्रिका नेटवर्क में विषय क्षेत्र का डेटा विशिष्ट न्यूरॉन्स में संग्रहीत नहीं किया जाता है, लेकिन सामान्य नेटवर्क कॉन्फ़िगरेशन में।



आम तौर पर, मैं वास्तव में लेख के इस हिस्से पर गंभीरता से चर्चा नहीं करना चाहता, क्योंकि यह विज्ञान की तुलना में धर्म के क्षेत्र से अधिक संबंधित है।



विशिष्ट संकेतों के लिए विशिष्ट न्यूरॉन्स जिम्मेदार प्रारंभिक तर्क को बहुत ही अमूर्त तर्क से लिया जाता है कि एक तंत्रिका नेटवर्क को अपने काम में मानव मस्तिष्क जैसा दिखना चाहिए। जिस बात पर जोर दिया जाता है कि प्रतिष्ठित विशेषताओं को एक व्यक्ति द्वारा समझा जाना चाहिए, मुझे कहीं भी नहीं मिला। इस कथन की जाँच एक बहुत ही अजीब अभ्यास है, क्योंकि मनमानी छवियों के एक छोटे से चयन में एक सामान्य विशेषता खोजना आसान है, अगर केवल एक इच्छा थी। और बड़ी मात्रा में छवियों पर सांख्यिकीय रूप से महत्वपूर्ण जांच करना असंभव है, क्योंकि प्रक्रिया स्वचालित नहीं हो सकती है। नतीजतन, हमें एक तार्किक परिणाम मिला: यदि आप छवियों के एक सेट पर सामान्य संकेत पा सकते हैं, तो आप किसी अन्य पर भी ऐसा कर सकते हैं।





मूल लेख से समान संपत्ति वाले चित्रों का एक उदाहरण।



लेख के इस भाग में सामान्य निष्कर्ष वास्तव में तार्किक लगता है - तंत्रिका नेटवर्क में, विषय क्षेत्र के बारे में ज्ञान वास्तव में तंत्रिका नेटवर्क की पूरी वास्तुकला और इसके न्यूरॉन्स के मापदंडों में निहित है, और प्रत्येक विशिष्ट न्यूरॉन में व्यक्तिगत रूप से नहीं।

नेटवर्क ब्लाइंड स्पॉट

शोधकर्ताओं ने निम्नलिखित प्रयोग किए - वे उन वस्तुओं को खोजने के लिए निर्धारित करते हैं जिन्हें गलत तरीके से नेटवर्क द्वारा वर्गीकृत किया जाता है, प्रशिक्षण नमूने की वस्तुओं के जितना करीब हो सके। उनकी खोज करने के लिए, लेखकों ने एक विशेष अनुकूलन एल्गोरिथ्म विकसित किया, जो तंत्रिका नेटवर्क की प्रतिक्रियाओं के बिगड़ने की दिशा में मूल छवि से विदा हो गया जब तक कि वस्तु का वर्गीकरण टूट नहीं गया।



प्रयोग के परिणामस्वरूप निम्नलिखित थे:

• प्रशिक्षण के नमूने के किसी भी उद्देश्य के लिए, हमेशा एक तस्वीर होती है जो एक व्यक्ति पहले से अपनी आँखों से अलग नहीं करता है, और तंत्रिका नेटवर्क उस पर टूट जाता है।
• पेश दोषों के साथ चित्रों को तंत्रिका नेटवर्क द्वारा खराब मान्यता प्राप्त होगी, भले ही इसमें वास्तुकला परिवर्तन हो या प्रशिक्षण सेट के किसी अन्य सबसेट पर प्रशिक्षित किया गया हो।

दरअसल, इन ब्लाइंड स्पॉट्स के बारे में और मुख्य रूप से बात होती है, तो चलिए उन सवालों के जवाब देने की कोशिश करते हैं जो एक ही समय में सामने आते हैं। लेकिन पहले, आइए कुछ बुनियादी आपत्तियों को देखें जो एक अध्ययन विवरण पढ़ने वाले लोगों में दिखाई देते हैं:

• "अध्ययन बहुत ही सरल तंत्रिका नेटवर्क का उपयोग करता है, अब कोई भी उनका उपयोग नहीं करता है" - नहीं, अध्ययन ने 6 अलग-अलग प्रकार के नेटवर्क का उपयोग किया, सरल सिंगल-लेयर से लेकर बड़े गहरे नेटवर्क तक, पिछले 2-3 वर्षों के अन्य प्रसिद्ध कार्यों के सभी। सभी प्रकार के नेटवर्क पर सभी प्रयोग नहीं किए गए थे, लेकिन लेख के सभी मुख्य निष्कर्ष नेटवर्क के प्रकार से स्वतंत्र हैं।
• "शोधकर्ता एक तंत्रिका नेटवर्क का उपयोग करते हैं जो इनपुट पर रेखापुंज छवियों को प्राप्त करता है, न कि उन पर प्रकाश डाला गया संकेत - यह शुरू में अप्रभावी है" - लेख वास्तव में स्पष्ट रूप से कभी नहीं कहता है कि वे वास्तव में तंत्रिका नेटवर्क के इनपुट पर क्या संचारित करते हैं। इसी समय, उनके तंत्रिका नेटवर्क बड़ी छवि के ठिकानों पर अच्छी गुणवत्ता दिखाते हैं, इसलिए उन्हें मूल प्रणाली की अक्षमता पर दोष देना मुश्किल है।
• "शोधकर्ताओं ने एक बहुत ही संयमित तंत्रिका नेटवर्क लिया - वे स्वाभाविक रूप से प्रशिक्षण सेट के बाहर खराब परिणाम प्राप्त करते हैं" - नहीं, वे जो परिणाम देते हैं वे बताते हैं कि उनके द्वारा प्रशिक्षित किए गए नेटवर्क वापस नहीं किए गए थे। विशेष रूप से, लेख में जोड़े गए यादृच्छिक शोर के साथ प्रारंभिक नमूने पर काम करने वाले नेटवर्क का परिणाम है, जिस पर गुणवत्ता में कोई गिरावट नहीं है। एक मुकर प्रणाली के साथ, ऐसा कोई परिणाम नहीं होगा।
• "नेटवर्क में जोड़े जाने वाले विकृतियां बहुत विशेष हैं और वास्तविक जीवन में नहीं मिल सकती हैं" - ऐसा नहीं है। एक तरफ, ये विकृतियां आकस्मिक नहीं हैं, दूसरी तरफ, वे तस्वीर को बहुत कम बदलते हैं, औसतन एक यादृच्छिक आदेश से कम यादृच्छिक परिमाण जो मानव आंख के लिए अदृश्य है - लेख में संबंधित संख्याएं हैं। इसलिए मैं यह तर्क नहीं दूंगा कि ऐसी विकृतियों को वास्तविकता में प्राप्त नहीं किया जा सकता है - इस बात की संभावना कम है, लेकिन ऐसी संभावनाओं से इंकार नहीं किया जा सकता है।

यहां असली खबर क्या है?

तथ्य यह है कि प्रशिक्षण नमूने की वस्तुओं के पास तंत्रिका नेटवर्क में अंधे धब्बे हो सकते हैं, वास्तव में बड़ी खबर नहीं है। तथ्य यह है कि तंत्रिका नेटवर्क में किसी ने कभी भी स्थानीय सटीकता का वादा नहीं किया है।



वर्गीकरण के तरीके हैं (उदाहरण के लिए, सपोर्ट वेक्टर मशीन ), जो उनके प्रशिक्षण के आधार पर, वर्ग के परिवर्तनों की सीमाओं से प्रशिक्षण नमूने की वस्तुओं का अधिकतम पृथक्करण करते हैं। तंत्रिका नेटवर्क में, इस तरह की कोई आवश्यकता नहीं है, इसके अलावा, तंत्रिका नेटवर्क की जटिलता के कारण, प्रारंभिक सेट का अंतिम विभाजन आमतौर पर सामान्य व्याख्या और अनुसंधान के लिए उत्तरदायी नहीं है। इसलिए, तथ्य यह है कि नेटवर्क में कोई भी स्थानीय अस्थिरता के क्षेत्रों को पा सकता है, समाचार नहीं है, लेकिन एक तथ्य की पुष्टि है जो पहले से ही अच्छी तरह से जाना जाता था।



यहां वास्तविक खबर यह है कि त्रुटियों को जन्म देने वाली विकृतियां एक अलग नेटवर्क आर्किटेक्चर पर स्विच करते समय और प्रशिक्षण के नमूने को बदलते समय अपने गुणों को बनाए रखती हैं। यह वास्तव में एक बहुत ही अप्रत्याशित खोज है, और मुझे आशा है कि निम्नलिखित कार्यों में लेखकों को इसके लिए एक स्पष्टीकरण मिलेगा।

क्या तंत्रिका नेटवर्क वास्तव में एक मृत अंत है?

नहीं, तंत्रिका नेटवर्क एक मरा हुआ अंत नहीं है। यह एक बहुत ही शक्तिशाली और शक्तिशाली उपकरण है जो बहुत विशिष्ट कार्यों के एक निश्चित सेट को हल करता है।



तंत्रिका नेटवर्क की लोकप्रियता दो विचारों पर आधारित है:

• रोसेनब्लाट पर्सेप्ट्रॉन कन्वर्जेंस प्रमेय - किसी भी प्रशिक्षण सेट के लिए, एक आंतरिक परत के साथ एक तंत्रिका नेटवर्क की वास्तुकला और वजन चुन सकते हैं, जैसे कि प्रशिक्षण सेट को 100% सटीकता के साथ वर्गीकृत किया गया है।
• एक तंत्रिका नेटवर्क के प्रशिक्षण में लगभग सभी प्रक्रियाएं (हाल ही में वास्तुकला के चयन सहित) पूरी तरह से स्वचालित हैं।

इसलिए, एक तंत्रिका नेटवर्क बहुत जटिल मान्यता समस्याओं के लिए जल्दी से स्वीकार्य समाधान प्राप्त करने का एक साधन है। किसी ने कभी भी तंत्रिका नेटवर्क के लिए कुछ और वादा नहीं किया है (हालांकि कई प्रयास हुए हैं)। यहां कीवर्ड "तेज" और "जटिल कार्य" हैं:

• यदि आप सीखना चाहते हैं कि लगातार एक साल तक YouTube पर कुत्तों से बिल्लियों को कैसे अलग किया जाए, तो तंत्रिका नेटवर्क के अलावा आपके पास अभी भी गुणवत्ता और सुविधा में तुलनीय उपकरण नहीं हैं - सरल क्लासिफायर के लिए संकेतों का आविष्कार करना और उन्हें सेट करना अधिक समय लगेगा। लेकिन एक ही समय में यह आवश्यक होगा कि एक तंत्रिका नेटवर्क का ब्लैक बॉक्स कभी-कभी गलतियों, व्यक्ति के दृष्टिकोण से अजीब बना देगा, जिसे सही करना मुश्किल होगा।
• और यदि आप पाठ को पहचानना चाहते हैं या नकारात्मक लोगों से सकारात्मक समीक्षाओं को अलग करना चाहते हैं, तो बेहतर वर्गीकरण करें - जो हो रहा है, उस पर आपका बहुत अधिक नियंत्रण होगा, हालांकि पहले परिणाम प्राप्त करने में कुछ समय लग सकता है।

क्या आप तंत्रिका नेटवर्क पर भरोसा कर सकते हैं?

मूल अध्ययन पर चर्चा करने वाले लेख का मुख्य निष्कर्ष था: "जब तक ऐसा नहीं होता, हम तंत्रिका नेटवर्क पर भरोसा नहीं कर सकते, जहां सुरक्षा महत्वपूर्ण है ..." फिर, अलग-अलग चर्चाओं में, Google कार अक्सर किसी कारण से (जाहिर तौर पर लेखकों के काम की जगह और लेख में कार की तस्वीर के कारण) पॉप अप हो जाती है।



वास्तव में, आप तंत्रिका नेटवर्क पर भरोसा कर सकते हैं, और इसके कई कारण हैं:

1. यह तंत्रिका नेटवर्क के उपयोगकर्ता (शोधकर्ता नहीं) के लिए महत्वपूर्ण है, जहां यह गलत है, लेकिन कितनी बार। मेरा विश्वास करो, यह आपके लिए बिल्कुल मायने नहीं रखेगा, आपकी स्वचालित कार ने उस ट्रक को नहीं पहचाना जो उसके प्रशिक्षण आधार में था, या वह जिसे उसने पहले नहीं देखा था। संपूर्ण अध्ययन प्रशिक्षण नमूने के पास विशिष्ट क्षेत्रों में त्रुटियों की खोज के लिए समर्पित है, जबकि तंत्रिका नेटवर्क (और इसके मूल्यांकन के तरीके) के काम की समग्र गुणवत्ता को प्रश्न में नहीं कहा जाता है।
2. कोई भी मान्यता प्रणाली कभी भी 100% काम नहीं करती है, इसमें हमेशा त्रुटियां होती हैं। रोबोटिक्स में पहचाने जाने वाले पहले सिद्धांतों में से एक यह है कि आप सेंसर के एक अलग संकेतक के आधार पर कभी भी कार्रवाई नहीं कर सकते हैं, आपको हमेशा मूल्यों की एक अस्थायी खिड़की लेने और वहां से शैतान को बाहर फेंकने की आवश्यकता है। किसी भी महत्वपूर्ण प्रणाली के लिए, यह भी सच है - किसी भी वास्तविक कार्य में हमेशा डेटा की एक धारा होती है, भले ही कुछ बिंदु पर सिस्टम क्रैश हो जाए, पड़ोसी डेटा स्थिति को सही करेगा।

इसलिए, किसी भी महत्वपूर्ण प्रणाली में तंत्रिका नेटवर्क को एक अन्य प्रकार के सेंसर के रूप में माना जाना चाहिए, जो कि पूरे डेटा को सही डेटा देता है, लेकिन कभी-कभी यह गलत होता है और इसकी त्रुटियों पर बिछाने के लिए आवश्यक है।

इस लेख में क्या महत्वपूर्ण है?

ऐसा लगता है कि यदि लेख में कोई महान रहस्योद्घाटन नहीं मिला, तो यह बिल्कुल क्यों लिखा गया था?



मेरी राय में, लेख का एक मुख्य परिणाम है - यह प्रशिक्षण के दौरान तंत्रिका नेटवर्क की गुणवत्ता को महत्वपूर्ण रूप से बढ़ाने का एक विचारशील तरीका है। अक्सर प्रशिक्षण मान्यता प्रणालियों के दौरान, एक मानक चाल का उपयोग किया जाता है, जब प्रशिक्षण सेट की मूल वस्तुओं के अलावा, जोड़ा शोर के साथ समान वस्तुओं का उपयोग प्रशिक्षण के लिए किया जाता है।



लेख के लेखकों ने दिखाया कि इसके बजाय आप विकृतियों वाली वस्तुओं का उपयोग कर सकते हैं जो तंत्रिका नेटवर्क में त्रुटियों को जन्म देती हैं और इस प्रकार इन विकृतियों पर त्रुटियों को खत्म करती हैं, और साथ ही परीक्षण नमूने में पूरे नेटवर्क की गुणवत्ता में सुधार करती हैं। तंत्रिका नेटवर्क के साथ काम करने के लिए यह एक महत्वपूर्ण परिणाम है।



अंत में, मैं केवल "सनसनीखेज" सुर्खियों के साथ लेख नहीं पढ़ने की सिफारिश कर सकता हूं, लेकिन स्रोत को खोजने और उन्हें पढ़ने के लिए बेहतर है - वहां सब कुछ बहुत अधिक दिलचस्प है।