तंत्रिका नेटवर्क क्या छिपाते हैं?

लेख द फ़्लो लाइकिंग इन एवरी डीप न्यूरल नेट का एक मुफ्त अनुवाद है।



एक हानिरहित शीर्षक के साथ हाल ही में प्रकाशित लेख backpropagation एल्गोरिथ्म के आविष्कार के बाद तंत्रिका नेटवर्क की दुनिया में शायद सबसे बड़ी खबर है । लेकिन इसमें क्या लिखा है?



क्रिश्चियन सजीदी, वोज्शिएक ज़रेम्बा, इल्या सुतसेवर, जोन ब्रूना, डुमित्रु एरहान, इयान गुडफेलो और रोब फर्गस द्वारा तंत्रिका नेटवर्क लेख के लुभावने गुणों, Google डीप लर्निंग प्रोजेक्ट के लेखकों की एक टीम, संक्षेप में तंत्रिका नेटवर्क के व्यवहार में दो खोजों का वर्णन करती है। इसके विपरीत जो हमने पहले सोचा था। और उनमें से एक, स्पष्ट रूप से, अद्भुत है।



पहली खोज इस धारणा पर संदेह जताती है कि हम इतने लंबे समय से सत्य मानते हैं कि तंत्रिका नेटवर्क डेटा को व्यवस्थित करते हैं। लंबे समय तक, यह माना जाता था कि प्रत्येक स्तर पर बहुपरत नेटवर्क में, न्यूरॉन्स को अगली परत के लिए विशेषताओं को पहचानने के लिए प्रशिक्षित किया जाता है। कम शक्तिशाली यह धारणा थी कि अंतिम स्तर महत्वपूर्ण और आमतौर पर महत्वपूर्ण विशेषताओं को पहचान सकता है।



यह पता लगाने के लिए मानक तरीका है कि क्या वास्तव में यह मामला किसी विशेष न्यूरॉन के लिए इतनी बड़ी संख्या में इनपुट डेटा को खोजने के लिए है जो आउटपुट मूल्य को अधिकतम करता है। इस सेट में जो भी विशेषता है, यह माना जाता है कि न्यूरॉन विशेष रूप से इसका जवाब देता है। उदाहरण के लिए, एक चेहरा पहचान कार्य में, एक न्यूरॉन एक छवि में एक आंख या नाक की उपस्थिति का जवाब दे सकता है। लेकिन ध्यान दें - कोई कारण नहीं है कि ऐसी विशेषताएं उन लोगों के साथ मेल खाना चाहिए जो एक व्यक्ति बनाता है।



यह पाया गया कि एक व्यक्तिगत न्यूरॉन की एक विशेषता को न्यूरॉन्स के यादृच्छिक सेट की तुलना में सार्थक नहीं कहा जा सकता है। यही है, यदि आप बेतरतीब ढंग से कई न्यूरॉन्स का चयन करते हैं और उन छवियों को ढूंढते हैं जो आउटपुट मूल्य को अधिकतम करते हैं, तो ये छवियां केवल एक न्यूरॉन के साथ मामले के समान शब्दार्थ के समान होंगी।



इसका मतलब है कि तंत्रिका नेटवर्क डेटा को "बदनाम" नहीं करते हैं, उदाहरण के लिए, व्यक्तिगत न्यूरॉन्स पर विशेषताएं प्रदर्शित करते हैं, आउटपुट परत। तंत्रिका नेटवर्क के अर्क की जानकारी सभी न्यूरॉन्स के बीच वितरित की जाती है क्योंकि यह उनमें से एक में केंद्रित है। यह एक दिलचस्प खोज है, और यह एक और की ओर जाता है, और भी दिलचस्प ...



प्रत्येक न्यूरल नेटवर्क में "ब्लाइंड स्पॉट्स" इस अर्थ में होते हैं कि इनपुट डेटा के सेट होते हैं जो सही ढंग से वर्गीकृत होने के बहुत करीब होते हैं, जिन्हें सही तरीके से पहचाना नहीं जाता है।



तंत्रिका नेटवर्क के अध्ययन की शुरुआत से ही यह धारणा थी कि तंत्रिका नेटवर्क सामान्यीकरण कर सकते हैं। यही है, अगर आप अपनी तस्वीरों के एक निश्चित सेट का उपयोग करके बिल्लियों की छवियों को पहचानने के लिए नेटवर्क को प्रशिक्षित करते हैं, तो यह प्रदान कर सकता है कि इसे सही ढंग से प्रशिक्षित किया गया है, बिल्लियों को पहचानें कि यह पहले नहीं मिली है।



इस धारणा में एक और, और भी "स्पष्ट" एक शामिल था, जिसके अनुसार यदि एक तंत्रिका नेटवर्क एक बिल्ली की तस्वीर को "बिल्ली" के रूप में वर्गीकृत करता है, तो यह इस छवि के थोड़ा संशोधित संस्करण को भी वर्गीकृत करेगा। ऐसी छवि बनाने के लिए, आपको कुछ पिक्सेल के मूल्यों को थोड़ा बदलना होगा, और जब तक ये परिवर्तन छोटे नहीं होते, तब तक किसी व्यक्ति को अंतर दिखाई नहीं देगा। संभवतः, कंप्यूटर इसे नोटिस नहीं करेगा।

जैसा हो सकता है वैसा हो, ऐसा नहीं है।

शोधकर्ताओं का काम एक अनुकूलन एल्गोरिथ्म का आविष्कार था जो एक सही ढंग से वर्गीकृत उदाहरण के साथ शुरू होता है और इनपुट मानों में एक छोटा बदलाव खोजने की कोशिश करता है जो एक गलत वर्गीकरण को जन्म देगा। बेशक, यह गारंटी नहीं है कि इस तरह का परिवर्तन बिल्कुल मौजूद है - और अगर पहले उल्लिखित तंत्रिका नेटवर्क के अनुक्रम के बारे में धारणा सही है, तो खोज परिणाम नहीं लाएगी।



हालांकि, वहाँ परिणाम हैं।



यह साबित हो गया कि तंत्रिका नेटवर्क और स्रोत डेटा के विभिन्न सेटों के लिए, यह बहुत संभावना है कि इस तरह के "परस्पर विरोधी उदाहरण" उन लोगों से उत्पन्न हो सकते हैं जिन्हें सही तरीके से पहचाना जाता है। लेख का हवाला देते हुए:

हमारे द्वारा अध्ययन किए गए सभी नेटवर्क के लिए, और प्रत्येक डेटा सेट के लिए, हम हमेशा बहुत ही समान, नेत्रहीन अविभाज्य, विरोधाभासी उदाहरण उत्पन्न करने का प्रबंधन करते हैं जिन्हें सही ढंग से पहचाना नहीं जाता है।

यह स्पष्ट करने के लिए, किसी व्यक्ति के लिए, प्रारंभिक और विरोधाभासी छवियां समान दिखती हैं, लेकिन नेटवर्क उन्हें अलग तरह से वर्गीकृत करता है। आपके पास दो तस्वीरें हो सकती हैं, जो न केवल दो बिल्लियों को दर्शाती हैं, बल्कि एक व्यक्ति के दृष्टिकोण से भी एक ही बिल्ली है, लेकिन कंप्यूटर एक को सही ढंग से पहचान लेगा और दूसरे को नहीं।









दाईं ओर के चित्रों को सही ढंग से वर्गीकृत किया गया है, बाईं ओर के चित्र गलत हैं। बीच में, अंतर को दृश्यमान बनाने के लिए दो छवियों के अंतर को 10 से गुणा किया जाता है।









बाईं तस्वीर में, विषम कॉलम को सही ढंग से वर्गीकृत किया गया है, लेकिन कॉलम भी नहीं हैं। सही तस्वीर में, सबकुछ सही ढंग से पहचाना जाता है, यहां तक ​​कि मूल चित्रों की यादृच्छिक विरूपण भी कॉलम में प्रस्तुत की जाती है। इससे पता चलता है कि परिवर्तन बहुत विशिष्ट होना चाहिए - विरोधाभास का एक उदाहरण खोजने के लिए आपको कड़ाई से परिभाषित दिशा में जाने की आवश्यकता है।



इससे भी अधिक हड़ताली एक निश्चित सार्वभौमिकता है, जो इन सभी उदाहरणों को एकजुट करती है। उदाहरणों का एक अपेक्षाकृत बड़ा अनुपात दोनों को आम डेटा पर प्रशिक्षित नेटवर्क द्वारा गलत तरीके से पहचाना जाता है, लेकिन विभिन्न मापदंडों (परतों की संख्या, नियमितीकरण या प्रारंभिक गुणांक), और विभिन्न डेटा सेटों पर प्रशिक्षित समान मापदंडों के साथ नेटवर्क।

ऊपर वर्णित टिप्पणियों से पता चलता है कि उदाहरणों की असंगति कुछ वैश्विक है, न कि केवल पुनः प्रयास का परिणाम है।

यह शायद परिणाम का सबसे उत्कृष्ट हिस्सा है: प्रत्येक सही ढंग से वर्गीकृत उदाहरण के लिए, एक और ऐसा उदाहरण है, जो मूल से अप्रभेद्य है, लेकिन गलत तरीके से वर्गीकृत किया जाता है, भले ही तंत्रिका नेटवर्क या प्रशिक्षण सेट का उपयोग किया गया हो।



इसलिए, यदि आपके पास बिल्ली की तस्वीर है, तो कई छोटे परिवर्तन हैं जो नेटवर्क को बिल्ली को कुत्ते के रूप में पहचान सकते हैं - नेटवर्क और इसके प्रशिक्षण की परवाह किए बिना।

इस सब का क्या मतलब है?

शोधकर्ता सकारात्मक हैं और नेटवर्क के प्रशिक्षण के लिए विरोधाभासी उदाहरणों का उपयोग करते हैं, जिससे इसकी उचित कार्यप्रणाली सुनिश्चित होती है। वे इन उदाहरणों को विशेष रूप से जटिल प्रकार के प्रशिक्षण डेटा के लिए उपयोग करते हैं जिनका उपयोग नेटवर्क और इसके सामान्यीकरण की क्षमता में सुधार के लिए किया जा सकता है।



हालांकि, यह खोज सिर्फ एक बेहतर प्रशिक्षण सेट से अधिक प्रतीत होती है।



पहली चीज जिसके बारे में आप सोच सकते हैं, "ठीक है, और क्या, एक बिल्ली को कुत्ते के रूप में वर्गीकृत किया जा सकता है?" लेकिन अगर आप स्थिति को थोड़ा बदल देते हैं, तो सवाल यह हो सकता है कि "क्या होगा यदि एक गहरे तंत्रिका नेटवर्क का उपयोग करने वाला मानव रहित वाहन अपने सामने पैदल चलने वाले को नहीं पहचानता है और सोचता है कि सड़क स्पष्ट है?"



गहरे तंत्रिका नेटवर्क की स्थिरता और स्थिरता उनके व्यावहारिक अनुप्रयोग के लिए महत्वपूर्ण है।



एक दार्शनिक सवाल यह भी है कि पहले उल्लेख किए गए अंधे क्षेत्रों के बारे में। यदि जैविक मॉडल गहरे तंत्रिका नेटवर्क का आधार था, तो क्या इसका परिणाम लागू किया जा सकता है? या, अधिक सरलता से, मानव मस्तिष्क में ऐसी अंतर्निहित त्रुटियां हैं? यदि नहीं, तो यह कैसे तंत्रिका नेटवर्क से अलग है जो इसके काम को दोहराने की कोशिश कर रहा है? इसकी स्थिरता और स्थिरता का रहस्य क्या है?



एक व्याख्या यह हो सकती है कि यह आयाम के अभिशाप का एक और प्रकटीकरण है। यह ज्ञात है कि अंतरिक्ष की गतिशीलता की वृद्धि के साथ, हाइपरस्फेयर का आयतन तेजी से अपनी सीमा पर केंद्रित होता है। यह देखते हुए कि समाधानों की सीमाएं बहुत बड़े स्थान पर हैं, यह तर्कसंगत लगता है कि सबसे अच्छी तरह से वर्गीकृत उदाहरण सीमा के करीब स्थित होंगे। इस मामले में, एक उदाहरण को गलत तरीके से वर्गीकृत करने की क्षमता सही ढंग से करने की क्षमता के बहुत करीब है - आपको केवल निकटतम सीमा की दिशा निर्धारित करने की आवश्यकता है।



यदि यह सब कुछ समझाता है, तो यह स्पष्ट है कि मानव मस्तिष्क भी इस तरह के प्रभाव से नहीं बच सकता है और किसी भी तरह इसका सामना करना चाहिए। अन्यथा, बिल्लियों खतरनाक नियमितता के साथ कुत्तों में बदल जाती हैं।

परिणाम

तंत्रिका नेटवर्क ने एक नए प्रकार की अस्थिरता का खुलासा किया है, और ऐसा नहीं लगता है कि वे क्रमिक रूप से निर्णय ले सकते हैं। और प्रशिक्षण के सेटों में परस्पर विरोधी उदाहरणों को शामिल करने के बजाय, "पैचिंग होल", विज्ञान को जांच करनी चाहिए और समस्या को ठीक करना चाहिए। ऐसा होने तक, हम तंत्रिका नेटवर्क पर भरोसा नहीं कर सकते, जहां सुरक्षा महत्वपूर्ण है ...