डेटा क्लस्टरिंग एल्गोरिदम का अवलोकन

नमस्ते!



अपनी थीसिस में, मैंने डेटा क्लस्टरिंग एल्गोरिदम की समीक्षा और तुलनात्मक विश्लेषण किया। मैंने सोचा था कि पहले से ही एकत्र और काम की गई सामग्री किसी के लिए दिलचस्प और उपयोगी हो सकती है।

क्लस्टरिंग क्या है, साशाएव ने "क्लस्टरिंग: के-मतलब और सी-मतलब" लेख में कहा। मैं आंशिक रूप से अलेक्जेंडर के शब्दों को दोहराऊंगा, आंशिक रूप से पूरक। इस लेख के अंत में, रुचि रखने वाले लोग संदर्भ की सूची में लिंक से सामग्री को पढ़ सकते हैं।



मैंने प्रस्तुति की सूखी "डिप्लोमा" शैली को और अधिक पत्रकारिता में लाने की कोशिश की।

क्लस्टरिंग की अवधारणा

क्लस्टरिंग (या क्लस्टर विश्लेषण) समूहों में समूहों में कई वस्तुओं को तोड़ने का कार्य है। प्रत्येक समूह के अंदर "समान" वस्तुएं होनी चाहिए, और विभिन्न समूहों की वस्तुएं यथासंभव अलग होनी चाहिए। क्लस्टरिंग और वर्गीकरण के बीच मुख्य अंतर यह है कि समूहों की सूची स्पष्ट रूप से परिभाषित नहीं है और एल्गोरिथ्म के संचालन के दौरान निर्धारित की जाती है।



सामान्य रूप से क्लस्टर विश्लेषण का अनुप्रयोग निम्न चरणों में घटाया गया है:

1. क्लस्टरिंग के लिए ऑब्जेक्ट का चयन करना।
2. चर के एक सेट की परिभाषा जिसके द्वारा नमूने में वस्तुओं का मूल्यांकन किया जाएगा। यदि आवश्यक हो, चर के मूल्यों को सामान्य करें।
3. वस्तुओं के बीच समानता के एक माप के मूल्यों की गणना।
4. समान वस्तुओं (समूहों) के समूह बनाने के लिए क्लस्टर विश्लेषण पद्धति का अनुप्रयोग।
5. विश्लेषण परिणामों की प्रस्तुति।

परिणामों को प्राप्त करने और उनका विश्लेषण करने के बाद, इष्टतम परिणाम प्राप्त करने के लिए चयनित मीट्रिक और क्लस्टरिंग विधि को समायोजित करना संभव है।

दूरी के उपाय

तो, वस्तुओं की "समानता" कैसे निर्धारित करें? पहले आपको प्रत्येक ऑब्जेक्ट के लिए विशेषताओं का एक वेक्टर बनाने की आवश्यकता है - एक नियम के रूप में, यह संख्यात्मक मानों का एक सेट है, उदाहरण के लिए, व्यक्ति की ऊंचाई-वजन। हालांकि, ऐसे एल्गोरिदम भी हैं जो गुणात्मक (तथाकथित श्रेणीबद्ध) विशेषताओं के साथ काम करते हैं।



हमने विशेषताओं के वेक्टर को निर्धारित करने के बाद, हम सामान्य कर सकते हैं ताकि सभी घटक "दूरी" की गणना में समान योगदान दें। सामान्यीकरण प्रक्रिया में, सभी मान एक निश्चित सीमा तक कम हो जाते हैं, उदाहरण के लिए, [-1, -1] या [0, 1]।



अंत में, प्रत्येक जोड़ी की वस्तुओं के लिए, उनके बीच की "दूरी" को मापा जाता है - समानता की डिग्री। कई मैट्रिक्स हैं, यहाँ सिर्फ मुख्य हैं:

1. यूक्लिडियन दूरी
   
   सबसे आम दूरी समारोह। बहुआयामी अंतरिक्ष में एक ज्यामितीय दूरी का प्रतिनिधित्व करता है:
   
   
   
   
2. स्क्वाड यूक्लिडियन दूरी
   
   इसका उपयोग उन वस्तुओं को अधिक वजन देने के लिए किया जाता है जो एक दूसरे से अधिक दूर हैं। इस दूरी की गणना इस प्रकार की जाती है:
   
   
   
   
3. शहर ब्लॉक दूरी (मैनहट्टन दूरी)
   
   यह दूरी निर्देशांक में अंतर का औसत है। ज्यादातर मामलों में, दूरी का यह माप सामान्य यूक्लिडियन दूरी के समान परिणाम की ओर जाता है। हालांकि, इस उपाय के लिए, व्यक्तिगत बड़े अंतर (उत्सर्जन) का प्रभाव कम हो जाता है (क्योंकि वे चुकता नहीं हैं)। मैनहट्टन दूरी की गणना के लिए सूत्र:
   
   
   
   
4. चेबीशेव दूरी
   
   यह दूरी तब उपयोगी हो सकती है जब आपको दो वस्तुओं को "अलग" के रूप में परिभाषित करने की आवश्यकता होती है यदि वे किसी एक समन्वय में भिन्न होती हैं। चेबीशेव दूरी की गणना सूत्र द्वारा की जाती है:
   
   
   
   
5. बिजली की दूरी
   
   इसका उपयोग तब किया जाता है जब आयाम से संबंधित भार को बढ़ाने या घटाने के लिए आवश्यक होता है जिसके लिए संबंधित वस्तुएं बहुत भिन्न होती हैं। बिजली की दूरी की गणना निम्न सूत्र द्वारा की जाती है:
   
   ।
   
   जहाँ r और p उपयोगकर्ता परिभाषित पैरामीटर हैं। पैरामीटर पी व्यक्तिगत निर्देशांक द्वारा अंतरों के क्रमिक भार के लिए जिम्मेदार है, पैरामीटर आर ऑब्जेक्ट्स के साथ बड़ी दूरी के प्रगतिशील वजन के लिए जिम्मेदार है। यदि दोनों पैरामीटर - आर और पी - दो के बराबर हैं, तो यह दूरी यूक्लिडियन दूरी के साथ मेल खाती है।

मीट्रिक का विकल्प पूरी तरह से शोधकर्ता के पास है, क्योंकि विभिन्न उपायों का उपयोग करते समय क्लस्टरिंग के परिणाम काफी भिन्न हो सकते हैं।

एल्गोरिथम वर्गीकरण

अपने लिए, मैंने क्लस्टरिंग एल्गोरिदम के दो मुख्य वर्गीकरणों की पहचान की है।

1. पदानुक्रमित और फ्लैट।
   
   पदानुक्रमित एल्गोरिदम (जिसे टैक्सोनॉमी एल्गोरिदम भी कहा जाता है) नमूना के केवल एक विभाजन को असंतुष्ट समूहों में नहीं बनाते हैं, बल्कि नेस्टेड विभाजन की एक प्रणाली बनाते हैं। इस प्रकार आउटपुट पर, हमें क्लस्टर्स का एक पेड़ मिलता है, जिसकी जड़ में पूरा नमूना होता है, और पत्तियां सबसे छोटी क्लस्टर होती हैं।
   
   फ्लैट एल्गोरिदम वस्तुओं के एक विभाजन को क्लस्टर में बनाते हैं।
2. स्पष्ट और फजी।
   
   स्पष्ट (या असहमति) एल्गोरिदम प्रत्येक नमूना वस्तु के साथ एक क्लस्टर संख्या को जोड़ता है, अर्थात। प्रत्येक ऑब्जेक्ट केवल एक क्लस्टर से संबंधित है। फ़ज़ी (या इंटरसेक्टिंग) एल्गोरिदम प्रत्येक ऑब्जेक्ट के साथ वास्तविक मूल्यों का एक समूह जोड़ते हैं जो ऑब्जेक्ट के संबंध की डिग्री को क्लस्टर के लिए दिखाते हैं। यानी प्रत्येक ऑब्जेक्ट प्रत्येक क्लस्टर के लिए कुछ संभावना के साथ होता है।

समूहों का मेल

पदानुक्रमित एल्गोरिदम के मामले में, यह सवाल उठता है कि समूहों को कैसे संयोजित किया जाए, उनके बीच की "दूरी" की गणना कैसे करें। कई मैट्रिक्स हैं:

1. एकल संचार (निकटतम पड़ोसी दूरी)
   
   इस विधि में, दो समूहों के बीच की दूरी अलग-अलग समूहों में दो निकटतम वस्तुओं (निकटतम पड़ोसियों) के बीच की दूरी से निर्धारित होती है। परिणामी क्लस्टर एक साथ चेन करते हैं।
   
   
2. पूर्ण संचार (सबसे दूर के पड़ोसियों की दूरी)
   
   इस पद्धति में, समूहों के बीच की दूरी को विभिन्न समूहों में किसी भी दो वस्तुओं (यानी, सबसे दूर के पड़ोसी) के बीच की सबसे बड़ी दूरी द्वारा निर्धारित किया जाता है। यह विधि आमतौर पर बहुत अच्छी तरह से काम करती है जब ऑब्जेक्ट अलग-अलग समूहों से आते हैं। यदि क्लस्टर समाप्त हो गए हैं या उनका प्राकृतिक प्रकार "चेन" है, तो यह विधि अनुपयुक्त है।
   
   
3. अनियंत्रित जोड़ीवार औसत
   
   इस विधि में, दो अलग-अलग समूहों के बीच की दूरी की गणना उन सभी वस्तुओं के बीच की औसत दूरी के रूप में की जाती है। विधि तब प्रभावी होती है जब ऑब्जेक्ट अलग-अलग समूह बनाते हैं, लेकिन यह विस्तारित ("श्रृंखला" प्रकार) समूहों के मामलों में समान रूप से अच्छी तरह से काम करता है।
   
   
4. भारित Pairwise औसत
   
   यह विधि अनवीटेड पेयरवाइज एवरेज विधि के समान है, सिवाय इसके कि गणना में संबंधित समूहों के आकार (यानी उनमें निहित वस्तुओं की संख्या) को वजन गुणांक के रूप में उपयोग किया जाता है। इसलिए, इस विधि का उपयोग तब किया जाना चाहिए जब असमान क्लस्टर आकार ग्रहण किए जाते हैं।
   
   
5. अनिर्धारित सेंट्रोइड विधि
   
   इस विधि में, दो समूहों के बीच की दूरी को गुरुत्वाकर्षण के उनके केंद्रों के बीच की दूरी के रूप में परिभाषित किया गया है।
   
   
6. भारित Centroid विधि (मेडियन)
   
   यह विधि पिछले एक के समान है, सिवाय इसके कि गणना क्लस्टर आकारों के बीच अंतर के लिए वजन का उपयोग करती है। इसलिए, यदि क्लस्टर आकारों में महत्वपूर्ण अंतर हैं या संदिग्ध हैं, तो यह विधि पिछले वाले के लिए बेहतर है।
   
   

एल्गोरिथ्म अवलोकन

पदानुक्रमिक क्लस्टरिंग एल्गोरिदम

पदानुक्रमित क्लस्टरिंग एल्गोरिदम में, दो मुख्य प्रकार प्रतिष्ठित हैं: अपस्ट्रीम और डाउनस्ट्रीम एल्गोरिदम। टॉप-डाउन एल्गोरिदम "टॉप-डाउन" सिद्धांत के अनुसार काम करते हैं: शुरुआत में, सभी वस्तुओं को एक क्लस्टर में रखा जाता है, जिसे बाद में छोटे और छोटे समूहों में विभाजित किया जाता है। अपस्ट्रीम एल्गोरिदम अधिक सामान्य हैं, जो काम की शुरुआत में प्रत्येक ऑब्जेक्ट को एक अलग क्लस्टर में डालते हैं, और तब क्लस्टर को बड़े लोगों में जोड़ते हैं जब तक कि चयन में सभी ऑब्जेक्ट एक क्लस्टर में शामिल नहीं होते हैं। इस प्रकार, नेस्टेड विभाजन की एक प्रणाली का निर्माण किया जाता है। इस तरह के एल्गोरिदम के परिणाम आमतौर पर एक पेड़ के रूप में प्रस्तुत किए जाते हैं - डेंड्रोग्राम। इस तरह के पेड़ का एक क्लासिक उदाहरण जानवरों और पौधों का वर्गीकरण है।



समूहों के बीच की दूरी की गणना करने के लिए, अधिक से अधिक हर कोई दो दूरी का उपयोग नहीं करता है: एक एकल लिंक या एक पूर्ण लिंक (क्लस्टर के बीच की दूरी के उपायों का अवलोकन देखें)।



पदानुक्रमित एल्गोरिदम का नुकसान पूर्ण विभाजन की प्रणाली है, जो समस्या के हल के संदर्भ में बेमानी हो सकती है।

द्विघात त्रुटि एल्गोरिदम

क्लस्टरिंग कार्य को समूहों में ऑब्जेक्ट के इष्टतम विभाजन के निर्माण के रूप में माना जा सकता है। इसके अलावा, इष्टतमता को विभाजन के औसत वर्ग त्रुटि को कम करने के लिए आवश्यकता के रूप में परिभाषित किया जा सकता है:







जहाँ c _j , क्लस्टर j का "द्रव्यमान केंद्र" है (एक क्लस्टर के लिए विशेषताओं के औसत मूल्यों के साथ एक बिंदु)।



द्विघात त्रुटि एल्गोरिदम फ्लैट एल्गोरिथ्म का एक प्रकार है। इस श्रेणी में सबसे आम एल्गोरिथ्म k- साधन विधि है। यह एल्गोरिथ्म दिए गए समूहों की संख्या को एक दूसरे से यथासंभव दूर बनाता है। एल्गोरिथ्म को कई चरणों में विभाजित किया गया है:

1. यादृच्छिक रूप से k बिंदुओं का चयन करें जो समूहों के प्रारंभिक "द्रव्यमान केंद्र" हैं।
2. प्रत्येक ऑब्जेक्ट को निकटतम "द्रव्यमान के केंद्र" वाले क्लस्टर में असाइन करें।
3. उनकी वर्तमान संरचना के अनुसार समूहों के "द्रव्यमान के केंद्र" को पुनर्गठित करें।
4. यदि एल्गोरिथ्म को रोकने की कसौटी संतुष्ट नहीं है, तो चरण 2 पर लौटें।

एल्गोरिथ्म के संचालन को रोकने के लिए एक मानदंड के रूप में, मानक त्रुटि में न्यूनतम परिवर्तन आमतौर पर चुना जाता है। एल्गोरिथ्म के संचालन को रोकना भी संभव है यदि, चरण 2 में, क्लस्टर से क्लस्टर में जाने वाली कोई वस्तु नहीं थी।



इस एल्गोरिथ्म के नुकसान में विभाजन के लिए समूहों की संख्या निर्दिष्ट करने की आवश्यकता शामिल है।

फजी एल्गोरिदम

सबसे लोकप्रिय फजी क्लस्टरिंग एल्गोरिदम सी-साधन एल्गोरिथ्म है। यह k- साधन विधि का एक संशोधन है। एल्गोरिथम के चरण:

1. N nx की सदस्यता मैट्रिक्स U चुनकर k ऑब्जेक्ट्स में n ऑब्जेक्ट्स के प्रारंभिक फ़ज़ी विभाजन का चयन करें।
2. मैट्रिक्स यू का उपयोग करके, फजी त्रुटि मानदंड का मान ज्ञात करें:
   
   ।
   
   जहां c _k , फजी क्लस्टर के "द्रव्यमान का केंद्र" है:
   
   ।
3. फजी त्रुटि मानदंड के इस मूल्य को कम करने के लिए वस्तुओं को फिर से इकट्ठा करें।
4. मैट्रिक्स यू में परिवर्तन महत्वहीन होने तक चरण 2 पर लौटें।

यह एल्गोरिथ्म उपयुक्त नहीं हो सकता है यदि क्लस्टर की संख्या पहले से ज्ञात नहीं है, या प्रत्येक ऑब्जेक्ट को एक क्लस्टर में स्पष्ट रूप से असाइन करना आवश्यक है।

ग्राफ आधारित एल्गोरिदम

इस तरह के एल्गोरिदम का सार यह है कि वस्तुओं के नमूने को ग्राफ G = (V, E) के रूप में दर्शाया जाता है, जिसके कोने वस्तुओं के अनुरूप होते हैं, और किनारों का वजन वस्तुओं के बीच "दूरी" के बराबर होता है। ग्राफ क्लस्टरिंग एल्गोरिदम के फायदे दृश्यता, कार्यान्वयन में सापेक्ष आसानी और ज्यामितीय विचारों के आधार पर विभिन्न सुधार करने की संभावना है। मुख्य एल्गोरिदम जुड़े घटकों का चयन करने के लिए एल्गोरिथ्म हैं, न्यूनतम फैले हुए पेड़ के निर्माण के लिए एल्गोरिथ्म और परत-दर-परत क्लस्टरिंग एल्गोरिदम।

कनेक्टेड घटक एल्गोरिथम

कनेक्ट किए गए घटकों को चुनने के लिए एल्गोरिथ्म में, इनपुट पैरामीटर आर सेट किया गया है और ग्राफ में सभी किनारों के लिए "दूरी" जो आर से अधिक हैं हटाए गए हैं। केवल वस्तुओं के निकटतम जोड़े जुड़े रहते हैं। एल्गोरिथ्म का अर्थ आर के एक मूल्य का चयन करना है जो सभी "दूरी" की सीमा में है, जिस पर ग्राफ कई जुड़े घटकों में "अलग हो जाता है"। परिणामी घटक क्लस्टर हैं।



पैरामीटर आर का चयन करने के लिए, युग्मक दूरियों के वितरण का एक हिस्टोग्राम आमतौर पर बनाया जाता है। एक अच्छी तरह से परिभाषित क्लस्टर डेटा संरचना के साथ समस्याओं में, हिस्टोग्राम में दो चोटियां होंगी - एक इंट्राक्लस्टर दूरी से मेल खाती है, दूसरा इंटरकस्टर दूरी से। पैरामीटर R इन चोटियों के बीच न्यूनतम क्षेत्र से चुना गया है। इसी समय, दूरी सीमा का उपयोग करके समूहों की संख्या को नियंत्रित करना मुश्किल है।

न्यूनतम स्पैनिंग ट्री एल्गोरिथम

न्यूनतम फैले ट्री एल्गोरिथम पहले ग्राफ पर एक न्यूनतम फैले हुए पेड़ का निर्माण करता है, और फिर क्रमिक रूप से किनारों को उच्चतम वजन के साथ हटाता है। आंकड़ा नौ वस्तुओं के लिए प्राप्त न्यूनतम फैले हुए पेड़ को दर्शाता है।







6 इकाइयों (अधिकतम दूरी के साथ बढ़त) के साथ सीडी लेबल वाले बॉन्ड को हटाकर, हम दो क्लस्टर प्राप्त करते हैं: {ए, बी, सी} और {डी, ई, एफ, जी, एच, आई}। दूसरा क्लस्टर किनारे EF को हटाकर दो और क्लस्टर में विभाजित किया जा सकता है, जिसकी लंबाई 4.5 इकाइयों के बराबर है।

परत-दर-परत क्लस्टरिंग

परत-दर-परत क्लस्टरिंग एल्गोरिथ्म वस्तुओं के बीच एक निश्चित स्तर की दूरी (लंबवत) पर ग्राफ के जुड़े घटकों के आवंटन पर आधारित है। दूरी का स्तर दूरी दहलीज c द्वारा निर्धारित किया जाता है। उदाहरण के लिए, यदि वस्तुओं के बीच की दूरी तो ।



परत-दर-परत क्लस्टरिंग एल्गोरिथ्म स्तंभ G के उपसमूह का एक क्रम बनाता है जो समूहों के बीच पदानुक्रमित संबंधों को दर्शाता है:



।



जहां जी ^टी = (वी, ई ^टी ) ^{टी के} साथ स्तर पर एक ग्राफ ^है ,

।

^{टी के} साथ - टी-वें दूरी सीमा,

मीटर पदानुक्रम स्तरों की संख्या है,

जी ⁰ = (वी, ओ) , ओ टी ⁰ = 1 पर प्राप्त ग्राफ के किनारों का खाली सेट है,

G ^m = G , अर्थात, दूरी (ग्राफ़ के किनारों की लंबाई) पर प्रतिबंध के बिना वस्तुओं का ग्राफ, टी = 1 के बाद से।



दूरी थ्रेशोल्ड { c ⁰ , ..., c ^m } को बदलकर, जहां 0 = c ⁰ < c ¹ <... < c ^m = 1, परिणामी समूहों के पदानुक्रम की गहराई को नियंत्रित करना संभव है। इस प्रकार, परत-दर-परत क्लस्टरिंग एल्गोरिथ्म एक फ्लैट डेटा विभाजन और एक पदानुक्रमित दोनों बनाने में सक्षम है।

एल्गोरिथम तुलना

एल्गोरिदम की कम्प्यूटेशनल जटिलता

क्लस्टरिंग एल्गोरिथ्म	कम्प्यूटेशनल जटिलता
श्रेणीबद्ध	ओ (एन 2 )
k-साधन	O (nkl), जहां k समूहों की संख्या है, l पुनरावृत्तियों की संख्या है
सी मध्यम
जुड़े घटकों का चयन	एल्गोरिथ्म पर निर्भर करता है
न्यूनतम फैले पेड़	ओ (एन 2 लॉग एन)
परत-दर-परत क्लस्टरिंग	ओ (अधिकतम (एन, एम)), जहां एम <एन (एन -1) / 2

एल्गोरिथम तुलना चार्ट

क्लस्टरिंग एल्गोरिथ्म	क्लस्टर आकार	इनपुट डेटा	परिणाम
श्रेणीबद्ध	मनमाना	एक पदानुक्रम को छोटा करने के लिए समूहों या दूरी की संख्या	बाइनरी क्लस्टर ट्री
k-साधन	अति क्षेत्र	गुच्छों की संख्या	क्लस्टर केंद्र
सी मध्यम	अति क्षेत्र	गुच्छों की संख्या, फजीता की डिग्री	क्लस्टर केंद्र, सदस्यता मैट्रिक्स
जुड़े घटकों का चयन	मनमाना	दूरी की सीमा आर	गुच्छों की वृक्ष संरचना
न्यूनतम फैले पेड़	मनमाना	किनारे हटाने के लिए क्लस्टर या दूरी की संख्या	गुच्छों की वृक्ष संरचना
परत-दर-परत क्लस्टरिंग	मनमाना	दूरी सीमा अनुक्रम	पदानुक्रम के विभिन्न स्तरों के साथ समूहों की वृक्ष संरचना

आवेदन के बारे में थोड़ा सा

अपने काम में, मुझे पदानुक्रमित संरचनाओं (पेड़ों) से अलग क्षेत्रों का चयन करने की आवश्यकता थी। यानी मूल रूप से मूल पेड़ को कई छोटे पेड़ों में काटना आवश्यक था। चूंकि उन्मुख पेड़ एक ग्राफ का एक विशेष मामला है, ग्राफ सिद्धांत पर आधारित एल्गोरिदम स्वाभाविक रूप से उपयुक्त हैं।



एक पूरी तरह से जुड़े हुए ग्राफ के विपरीत, सभी वर्टिकल एक ओरिएंटेड ट्री में किनारों से नहीं जुड़े होते हैं, और किनारों की कुल संख्या n - 1 होती है, जहाँ n वर्टिस की संख्या होती है। यानी पेड़ के नोड्स के संबंध में, कनेक्ट किए गए घटकों को चुनने के लिए एल्गोरिदम का संचालन सरल किया जाएगा, क्योंकि किसी भी संख्या में किनारों को हटाने से पेड़ को जुड़े घटकों (अलग-अलग पेड़ों) में "टूट जाएगा"। इस मामले में न्यूनतम फैले हुए पेड़ के एल्गोरिथ्म जुड़े घटकों के चयन के लिए एल्गोरिदम के साथ मेल खाएंगे - सबसे लंबे किनारों को हटाकर, मूल पेड़ को कई पेड़ों में विभाजित किया गया है। यह स्पष्ट है कि सबसे छोटे फैले हुए पेड़ के निर्माण के चरण को छोड़ दिया जाता है।



अन्य एल्गोरिदम का उपयोग करने के मामले में, उन्हें वस्तुओं के बीच संबंधों की उपस्थिति को अलग से ध्यान में रखना होगा, जो एल्गोरिथ्म को जटिल करता है।



अलग से, मैं यह कहना चाहता हूं कि सर्वोत्तम परिणाम प्राप्त करने के लिए, दूरी के उपायों की पसंद के साथ प्रयोग करना आवश्यक है, और कभी-कभी एल्गोरिथ्म को भी बदलना चाहिए। एक भी उपाय नहीं है।

संदर्भ

1. वोर्त्सोव के.वी. क्लस्टरिंग और बहुआयामी स्केलिंग एल्गोरिदम । व्याख्यान का पाठ्यक्रम। मॉस्को स्टेट यूनिवर्सिटी, 2007।

2. जैन ए।, मर्टी एम।, फ्लिन पी। डेटा क्लस्टरिंग: ए रिव्यू । // एसीएम कम्प्यूटिंग सर्वेक्षण। 1999. वॉल्यूम। ३१, नहीं। 3।

3. Kotov A., Krasilnikov N. डेटा क्लस्टरिंग । 2006।

3. मैंडल आई। डी। क्लस्टर विश्लेषण। - एम .: वित्त और सांख्यिकी, 1988।

4. अनुप्रयुक्त आँकड़े: वर्गीकरण और आयाम में कमी। / एस.ए. अयवाज़्यान, वी.एम. बुचस्टबेर, आई.एस. एन्युकोव, एल.डी. Meshalkin - M .: वित्त और सांख्यिकी, 1989।

5. मशीन लर्निंग, पैटर्न रिकग्निशन और डेटा माइनिंग के लिए समर्पित सूचना और विश्लेषणात्मक संसाधन - www.machinelearning.ru

6. चुबुकोवा आई। ए। व्याख्यान पाठ्यक्रम "डाटा माइनिंग", इंटरनेट सूचना प्रौद्योगिकी विश्वविद्यालय - www.intuit.ru/department/database/datamining