संदर्भ वेक्टर विधि द्वारा डेटा का वर्गीकरण

शुभ दोपहर



इस लेख में मैं समर्थन वेक्टर मशीन (सपोर्ट वेक्टर मशीन, एसवीएम) द्वारा डेटा वर्गीकरण की समस्या के बारे में बात करना चाहता हूं। इस वर्गीकरण में काफी व्यापक अनुप्रयोग है: रॉकेट के निकास में गर्म एल्यूमीनियम कणों के वितरण की गणना करने के लिए पैटर्न मान्यता या स्पैम फिल्टर बनाने से।



सबसे पहले, मूल कार्य के बारे में कुछ शब्द। वर्गीकरण कार्य यह निर्धारित करना है कि कम से कम दो प्रारंभिक वस्तुओं का वर्ग किस श्रेणी का है। आमतौर पर, ऐसी वस्तु n- आयामी वास्तविक स्थान में एक वेक्टर है । वेक्टर के निर्देशांक वस्तु की व्यक्तिगत विशेषताओं का वर्णन करते हैं। उदाहरण के लिए, RGB मॉडल में निर्दिष्ट रंग c तीन-आयामी अंतरिक्ष में एक वेक्टर है: c = ( लाल, हरा, नीला )।







यदि केवल दो वर्ग हैं ("स्पैम / स्पैम नहीं", "क्रेडिट दें / क्रेडिट न दें", "लाल / काला"), तो कार्य को द्विआधारी वर्गीकरण कहा जाता है। यदि कई वर्ग हैं - मल्टीस्कल्स (बहुस्तरीय) वर्गीकरण। प्रत्येक वर्ग के नमूने भी हो सकते हैं - जिन वस्तुओं के बारे में यह पहले से ज्ञात है कि वे किस वर्ग के हैं। ऐसे कार्यों को एक शिक्षक के साथ सीखने कहा जाता है, और ज्ञात डेटा को एक प्रशिक्षण नमूना कहा जाता है। (नोट: यदि कक्षाएं शुरू में परिभाषित नहीं हैं, तो हमारे पास क्लस्टरिंग का कार्य है )



इस आलेख में माना गया समर्थन वेक्टर विधि एक शिक्षक के साथ शिक्षण से संबंधित है।



तो, वर्गीकरण समस्या का गणितीय सूत्रीकरण निम्नानुसार है: X को वस्तुओं का स्थान होने दें (उदाहरण के लिए, ), Y हमारी कक्षाएं हैं (उदाहरण के लिए, Y = {-1,1})। प्रशिक्षण नमूना दिया गया: । एक फ़ंक्शन का निर्माण करना आवश्यक है (classifier) ​​जो क्लास y को एक मनमाना ऑब्जेक्ट x में मैप करता है ।

वेक्टर विधि का समर्थन करें

यह विधि मूल रूप से बाइनरी क्लासीफायर को संदर्भित करती है, हालांकि इसे बहुस्तरीयकरण कार्यों के लिए काम करने के तरीके हैं।

विधि विचार

निम्नलिखित सरल उदाहरण के साथ विधि के विचार को चित्रित करना सुविधाजनक है: विमान के बिंदुओं को दो वर्गों (छवि 1) में विभाजित किया गया है। इन दो वर्गों को विभाजित करते हुए एक रेखा खींचें (चित्र 1 में लाल रेखा)। इसके अलावा, सभी नए बिंदु (प्रशिक्षण सेट से नहीं) स्वचालित रूप से निम्नानुसार वर्गीकृत किए जाते हैं:



लाइन के ऊपर बिंदु वर्ग A में आता है,

लाइन के नीचे बिंदु वर्ग बी में है ।







ऐसी रेखा को हम विभाजन रेखा कहते हैं। हालांकि, उच्च आयामों वाले स्थानों में सीधी रेखा अब हमारी कक्षाओं को अलग नहीं करेगी, क्योंकि "रेखा के नीचे" या "रेखा के ऊपर" की अवधारणा सभी अर्थ खो देती है। इसलिए, लाइनों के बजाय हाइपरप्लेन पर विचार करना आवश्यक है - रिक्त स्थान जिनके आयाम मूल स्थान के आयामों से कम हैं। उदाहरण के लिए, एक हाइपरप्लेन एक साधारण द्वि-आयामी विमान है।



हमारे उदाहरण में, दो वर्गों को अलग करने वाली कई लाइनें हैं (चित्र 2):







वर्गीकरण सटीकता के दृष्टिकोण से, एक सीधी रेखा चुनना सबसे अच्छा है, जिसमें से प्रत्येक वर्ग की दूरी अधिकतम है। दूसरे शब्दों में, हम उस रेखा को चुनते हैं जो कक्षाओं को सबसे अच्छे तरीके से विभाजित करती है (चित्र 2 में लाल रेखा)। इस तरह की एक सीधी रेखा, और सामान्य स्थिति में एक हाइपरप्लेन, को इष्टतम पृथक्करण हाइपरप्लेन कहा जाता है।



वे वैक्टर जो डिवाइडिंग हाइपरप्लेन के सबसे करीब होते हैं, उन्हें सपोर्ट वैक्टर कहा जाता है। चित्रा 2 में, वे लाल रंग में चिह्नित हैं।

गणित का एक सा

एक प्रशिक्षण नमूना होने दें: ।



समर्थन वेक्टर विधि फॉर्म में एक वर्गीकरण फ़ंक्शन एफ का निर्माण करती है ।

जहाँ स्केलर उत्पाद है, w हाइपरप्लेन को विभाजित करने के लिए सामान्य वेक्टर है, बी सहायक पैरामीटर है। वे वस्तुएँ जिनके लिए F ( x ) = 1 एक वर्ग में आते हैं, और F ( x ) = -1 वाली वस्तुएँ दूसरी में गिरती हैं। केवल ऐसे फ़ंक्शन का विकल्प आकस्मिक नहीं है: किसी भी हाइपरप्लेन को फॉर्म में निर्दिष्ट किया जा सकता है कुछ w और b के लिए।







अगला, हम w और b को चुनना चाहते हैं जो प्रत्येक वर्ग के लिए अधिकतम दूरी तय करे। यह गणना की जा सकती है कि यह दूरी बराबर है । अधिकतम खोजने की समस्या एक न्यूनतम खोजने की समस्या के बराबर । हम यह सब एक अनुकूलन समस्या के रूप में लिखेंगे:







जो एक मानक द्विघात प्रोग्रामिंग समस्या है और लैग्रेंज मल्टीप्लायरों का उपयोग करके हल किया जाता है। इस पद्धति का विवरण विकिपीडिया पर पाया जा सकता है ।

रैखिक अविभाज्यता

व्यवहार में, ऐसे मामले जहां डेटा हाइपरप्लेन द्वारा अलग किया जा सकता है, या, जैसा कि वे कहते हैं, रैखिक रूप से , काफी दुर्लभ हैं। रेखीय अविभाज्यता का एक उदाहरण चित्र 3 में देखा जा सकता है:







इस मामले में, वे ऐसा करते हैं: प्रशिक्षण सेट के सभी तत्व एक विशेष मानचित्रण का उपयोग करके उच्च आयाम के अंतरिक्ष एक्स में एम्बेडेड होते हैं । इसके अलावा, मानचित्रण चुना जाता है ताकि नए स्थान X में, नमूना रैखिक रूप से अलग हो सके।



वर्गीकरण समारोह एफ फार्म लेता है । अभिव्यक्ति जिसे क्लासिफायर का मूल कहा जाता है। गणितीय दृष्टिकोण से, कर्नेल दो चरों के किसी भी सकारात्मक निश्चित सममितीय कार्य हो सकता है। सकारात्मक निश्चितता आवश्यक है ताकि अनुकूलन समस्या में संबंधित लैग्रेग फ़ंक्शन नीचे से घिरा हो, अर्थात अनुकूलन कार्य को सही ढंग से परिभाषित किया जाएगा।



क्लासिफायर की सटीकता, विशेष रूप से, कोर की पसंद पर निर्भर करती है। वीडियो में आप बहुपद कोर का उपयोग करके वर्गीकरण का एक उदाहरण देख सकते हैं:







सबसे अधिक बार, निम्नलिखित गुठली व्यवहार में पाए जाते हैं:



बहुपद:



रेडियल आधार समारोह:



गाऊसी रेडियल आधार फ़ंक्शन:



अवग्रह:

निष्कर्ष और साहित्य

अन्य क्लासीफायर के बीच, मैं रीलेन्स वेक्टर मशीन (आरवीएम) विधि को भी नोट करना चाहता हूं। एसवीएम के विपरीत, यह विधि उन संभावनाओं को देती है जिनके साथ ऑब्जेक्ट इस वर्ग का है। यानी यदि SVM कहता है " x वर्ग A के अंतर्गत आता है," तो RVM कहता है " x वर्ग A से संबंधित है और संभाव्यता 1-p के साथ वर्ग B है।"



1. क्रिस्टोफर एम। बिशप। पैटर्न की मान्यता और मशीन लर्निंग, 2006।



2. के.वी. वोर्त्सोव। सपोर्ट वैक्टर की विधि पर व्याख्यान।