🤲🏻 😺 👼🏼 स्वचालित टैगिंग 👩🏻‍🚀 💇🏻 🚳

इस लेख में हम अपनी परियोजना www.favoraim.com में पाठ दस्तावेजों के लिए खोज टैग के स्वत: प्लेसमेंट की समस्या को हल करने के उदाहरण का उपयोग करके कई वर्गीकरण की समस्या के बारे में बात करने की कोशिश करेंगे। जो पाठक इस विषय से अच्छी तरह से परिचित हैं, वे संभवतः अपने लिए कुछ भी नया नहीं पाएंगे, लेकिन इस समस्या को हल करने की प्रक्रिया में हमने बहुत से अलग-अलग साहित्य फिर से पढ़े, जहाँ बहुत से वर्गीकरण की समस्या के बारे में बहुत कम कहा गया था, या यह बिल्कुल भी नहीं कहा गया था।

तो, चलो वर्गीकरण समस्या के बयान से शुरू करते हैं। X को वस्तुओं के विवरणों का समूह, Y वर्गों की संख्या (या नामों) का समूह होने दें। एक अज्ञात लक्ष्य संबंध है - मानचित्रण

जिनका मूल्य केवल अंतिम प्रशिक्षण सेट की वस्तुओं पर जाना जाता है

। एक एल्गोरिथ्म का निर्माण करना आवश्यक है

एक मनमानी वस्तु को वर्गीकृत करने में सक्षम x∈X। हालाँकि, समस्या का संभाव्य सूत्रीकरण अधिक सामान्य है। X को वस्तुओं के विवरणों का समूह, Y वर्गों की संख्या (या नामों) का समूह होने दें। संभाव्यता माप P को "ऑब्जेक्ट, क्लास" X × Y के जोड़े के सेट पर परिभाषित किया गया है। स्वतंत्र प्रशिक्षण का एक परिमित प्रशिक्षण सेट है

संभाव्यता माप पी के अनुसार प्राप्त किया।

अब हम खोज टैग को स्वचालित रूप से रखने के कार्य पर चलते हैं। हमारे पास एक ऑब्जेक्ट x है - एक पाठ दस्तावेज़ और कई कक्षाएं

- खोज टैग। प्रत्येक दस्तावेज़ को एक या अधिक खोज टैग के साथ मिलान किया जाना चाहिए। उदाहरण के लिए, हमारे पास "कंसर्ट ऑफ द एपोकैलिप्टिका समूह" शीर्षक के साथ एक घटना है, निम्नलिखित खोज टैग इस घटना को सौंपा जा सकता है: "एपोकैलिप्टिका", "कॉन्सर्ट", "भारी धातु", "सेलो", आदि। हमारे पास एक प्रशिक्षण नमूना भी है, अर्थात पहले से रखे गए खोज टैग वाले दस्तावेज़ों का सेट। इस प्रकार, हमें इंटरसेक्टिंग कक्षाओं के साथ एक वर्गीकरण समस्या है, अर्थात। एक वस्तु एक साथ कई वर्गों से संबंधित हो सकती है। लेकिन इसके बजाय, हम एन बाइनरी वर्गीकरण की समस्याओं को हल करेंगे, प्रत्येक जोड़ी

हम कक्षाओं में वर्गीकृत करते हैं {0,1}, अर्थात निर्धारित करें कि क्या आप खोज टैग लगा सकते हैं

दस्तावेज़ x या नहीं।

इस समस्या को हल करने के लिए, हम "दस्तावेज़ों के बैग" या शब्दों के बहुआयामी वेक्टर और उनके वजन (घटना की आवृत्ति) के रूप में एक दस्तावेज़ ( http://en.wikipedia.org/wiki/Bag-of-words_model ) के रूप में पाठ दस्तावेज़ प्रस्तुत करेंगे। अंजीर में। 1 अंजीर में व्यावसायिक प्रशिक्षण विवरण शब्दों का हिस्टोग्राम दिखाता है। 2 - फोटोग्राफी में मास्टर क्लास का वर्णन करने वाले शब्दों का एक हिस्टोग्राम।

एक वर्गीकरण विधि के रूप में, आप किसी भी सांख्यिकीय (बायेसियन) वर्गीकरण विधि ले सकते हैं। क्लासिफायर के लिए संभाव्य मॉडल सशर्त मॉडल p (y )d), y∈Y है। अब हमें घनत्व p (y│d), y ,Y, अर्थात् को पुनर्स्थापित करना होगा। संभावना है कि हमारे दस्तावेज़ के लिए आप खोज टैग लगा सकते हैं। घनत्व को बहाल करने के लिए कई तरीके हैं, आप दस्तावेज़ वर्गीकरण ( http://ru.wikipedia.org/wiki/Document वर्गीकरण) के लिए भोले बायेसियन मॉडल के साथ शुरू कर सकते हैं। इस मॉडल के लिए, एक "भोली" धारणा दस्तावेज़ में पाए गए शब्दों की स्वतंत्रता के बारे में बनाई गई है, और हालांकि यह स्पष्ट रूप से एक गलत धारणा है, मॉडल काफी अच्छी तरह से काम करता है।

अब जब हमने वितरण घनत्व को बहाल कर दिया है और प्रत्येक टैग के लिए, तो हमें संभावना मिल गई है कि इसे हमारे दस्तावेज़ d को सौंपा जा सकता है, हमें यह निर्धारित करने की आवश्यकता है कि कौन से टैग दस्तावेज़ को सौंपा जाना चाहिए और जिसे त्याग दिया जाना चाहिए, अर्थात्। संभाव्यता p (y )d) के लिए न्यूनतम कट-ऑफ थ्रेशोल्ड खोजें। यहां आपको आरओसी वक्र ( http://www.machinelearning.ru/wiki/index.php?title=ROC वक्र) के विश्लेषण का उपयोग करना होगा।

आरओसी वक्र गलत तरीके से वर्गीकृत नकारात्मक उदाहरण (झूठी सकारात्मक दर) की संख्या पर सही ढंग से वर्गीकृत सकारात्मक उदाहरण (सच्ची सकारात्मक दर) की संख्या की निर्भरता को दर्शाता है। यह माना जाता है कि क्लासिफायर का एक निश्चित पैरामीटर है, जिसे अलग करते हुए, हमें एक या दूसरे विभाजन को दो वर्गों में मिलेगा। इस पैरामीटर को अक्सर थ्रेशोल्ड या कटऑफ पॉइंट कहा जाता है। हमारे मामले में, संभाव्यता p (y cased) इस पैरामीटर की भूमिका निभाएगी। आरओसी वक्र का निर्माण नियंत्रण नमूने से किया जाता है, जो आमतौर पर प्रशिक्षण नमूने का हिस्सा होता है। उसी समय, नियंत्रण नमूने की वस्तुओं का उपयोग क्लासिफायरफायर को प्रशिक्षित करने के लिए नहीं किया जा सकता है, अन्यथा हम रिट्रीटिंग की घटना के कारण अत्यधिक आशावादी आरओसी वक्र प्राप्त कर सकते हैं। हालांकि, यदि संसाधन हमें अनुमति देते हैं, तो हम क्रॉस-वैलिडेशन का उपयोग कर सकते हैं। इसका सार इस तथ्य में निहित है कि प्रशिक्षण के नमूने को भागों में विभाजित किया गया है, जिनमें से k-1 का उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाता है, जबकि शेष भाग का उपयोग नियंत्रण नमूने के रूप में किया जाता है। यह प्रक्रिया k समय के अनुसार की जाती है। व्यवहार में, इस तकनीक का उपयोग समस्याग्रस्त है, क्योंकि गणना में बहुत समय लगता है।

आरओसी वक्र में निम्नलिखित मुख्य विशेषताएं हैं। संवेदनशीलता (संवेदनशीलता) - यह वास्तव में सकारात्मक मामलों का अनुपात है। विशिष्टता वास्तव में नकारात्मक मामलों का अनुपात है जिन्हें मॉडल द्वारा सही ढंग से पहचाना गया है। ध्यान दें कि fpr = 100-विशिष्टता। आरओसी वक्र (एयूसी) के तहत क्षेत्र। AUC मान आमतौर पर क्लासिफायर की गुणवत्ता का आकलन करने के लिए उपयोग किया जाता है। उदाहरण के लिए, निर्भरता fpr = tpr सबसे खराब स्थिति (यादृच्छिक भाग्य बताने) से मेल खाती है। अंजीर में। 3 सबसे खराब स्थिति को धराशायी लाइन द्वारा दर्शाया गया है। उच्च घनत्व, बेहतर भविष्यवक्ता क्लासिफायरियर देता है। एक आदर्श क्लासिफायरियर के लिए, आरओसी वक्र ग्राफ ऊपरी बाएं कोने से गुजरता है।

अब आपको न्यूनतम कटऑफ सीमा का चयन करने की आवश्यकता है। 3 दृष्टिकोण हैं।

मॉडल की न्यूनतम संवेदनशीलता (विशिष्टता) की आवश्यकता। यानी मूल्यों में से एक स्थिर है और इसके आधार पर, कटऑफ थ्रेशोल्ड का मूल्य चुना जाता है।
मॉडल की अधिकतम कुल संवेदनशीलता और विशिष्टता की आवश्यकता।
संवेदनशीलता और विशिष्टता के बीच संतुलन की मांग, अर्थात्। जब विशिष्टता। यहां, दहलीज दो घटता का प्रतिच्छेदन बिंदु है, जब एक्स अक्ष के साथ कटऑफ थ्रेशोल्ड को प्लॉट किया जाता है, और मॉडल संवेदनशीलता और विशिष्टता को वाई अक्ष (छवि 4) के साथ प्लॉट किया जाता है।

इस प्रकार, हम अपने दस्तावेज़ को उन खोज टैगों के लिए असाइन कर सकते हैं जिनके लिए p (y )d)> c निष्पादित किया गया है, जहाँ c कट-ऑफ थ्रेशोल्ड मान है।

अब थोड़ा अभ्यास। पहली बात यह है कि स्टॉप शब्दों को हटाने के साथ हमारे दस्तावेज़ के पाठ को सामान्य रूप में परिवर्तित करना है (उदाहरण के लिए, normalized_string ("सामान्य रूप में उदाहरण स्ट्रिंग") = "सामान्य रूप में उदाहरण स्ट्रिंग")। इन उद्देश्यों के लिए, postgreSQL FTS शब्दकोश अच्छी तरह से अनुकूल हैं। अगला, हमें अपने क्लासिफायरफायर प्रशिक्षण के लिए पहले से निर्धारित टैग के साथ दस्तावेजों के एक सेट की आवश्यकता है एक उदाहरण के रूप में, मैं प्रशिक्षण के लिए बायेसियन भोला क्लासिफायर स्यूडोकोड का हवाला दूंगा।

Map<String, Map<String, Integer>> naiveBayes; for (Entry<String, String[]> entry: docSet) { for (String lexem: get_normalized_string(entry.key).split(MY_DELIMS)) { for (String tag: entry.value) { naiveBayes[tag][lexem]++; } } }

इस प्रकार, हम अपने प्रशिक्षण सेट में दस्तावेजों से टोकन के हिस्टोग्राम के साथ प्रत्येक खोज टैग से मेल खाते हैं। क्लासिफायर के प्रशिक्षित होने के बाद, आप एक नए दस्तावेज़ में टैग की उपस्थिति की संभावनाओं की गणना करने के लिए आगे बढ़ सकते हैं। एक भोले बायेसियन मॉडल में, दस्तावेज़ डी के लिए टी टैग की उपस्थिति की संभावना सूत्र द्वारा गणना की जाती है

, जहां P (t) संभावना है कि टैग t होता है,

- दोहराव सहित दस्तावेज़ के टोकन डी। संभावना P (t) के रूप में अनुमान लगाया जा सकता है

जहाँ

टैग टी के साथ प्रशिक्षण सेट में दस्तावेजों की संख्या है, और प्रशिक्षण सेट में सभी दस्तावेजों की संख्या एन है। प्रशिक्षण सेट का उपयोग करके संभाव्यता अनुमान P (l│t) निम्नानुसार है

जहाँ

- टैग टी के साथ सभी दस्तावेजों में टोकन एल की घटनाओं की संख्या, और

- टैग टी के साथ सभी दस्तावेजों में सभी टोकन की संख्या। बड़ी संख्या में कारकों के कारण संभावनाओं की गणना करने के सूत्र में अतिप्रवाह से बचने के लिए, उत्पाद के बजाय, लघुगणक के योग का आमतौर पर उपयोग किया जाता है। लॉगरिथम अधिकतम खोजने को प्रभावित नहीं करता है, क्योंकि लॉगरिथम एक नीरस रूप से बढ़ता हुआ कार्य है।

 Map<String, Double> probs; for (String tag: naiveBayes.keySet()) { probs[tag] = log(P(t)); for (String lexem: get_normalized_string(document).split(MY_DELIMS)) { probs[tag] += log(naiveBayes[tag][lexem]/sum(naiveBayes[tag])); } }

यह आरओसी वक्र बनाने के लिए बनी हुई है। छद्म कोड के रूप में, मैं संभवतः कॉपी-पेस्ट सम्मिलित करूंगा।

आरओसी वक्र के निर्माण के लिए विहित एल्गोरिथ्म

इनपुट्स: एल - कई उदाहरण; f [i] मॉडल द्वारा प्राप्त की गई रेटिंग है, या संभावना है कि i-th उदाहरण का सकारात्मक परिणाम है; न्यूनतम और अधिकतम न्यूनतम और अधिकतम मूल्य हैं जो एफ द्वारा लौटाए गए हैं; dx कदम है; पी और एन क्रमशः सकारात्मक और नकारात्मक उदाहरणों की संख्या हैं।
 t=min  FP=TP=0    i  L {  f[i] >= t  //       i    { TP=TP+1 }  //    { FP=FP+1 } } Se=TP/P*100 100_m_Sp=FP/N //  (100  Sp)   (100_m_Sp, Se)  ROC  t=t+dx  (t>max)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

कटऑफ सीमा के लिए खोज करने के लिए, डिफ़ॉल्ट रूप से विधि 2 का चयन करना प्रस्तावित है: मॉडल की अधिकतम कुल संवेदनशीलता और विशिष्टता की आवश्यकता, मुझे लगता है कि यह मुश्किल नहीं होगा। यह संभवतः सब है, यदि आपके पास प्रश्न या सुझाव हैं, तो लिखें, मुझे उनका जवाब देने में खुशी होगी।

स्वचालित टैगिंग

More articles: