बिग डेटा डेटा माइनिंग: सोशल मीडिया उद्धरण रेटिंग

"एक विश्लेषक क्या बिग डेटा पसंद नहीं करता है!" - इसलिए आप तेजी से ड्राइविंग के बारे में लोकप्रिय कहावत को फिर से लागू कर सकते हैं। 35 मिलियन लेखकों से 650 मिलियन सोशल मीडिया संदेश, 358 मिलियन लिंक, जिनमें से 110 मिलियन "संक्षिप्त" हैं - इस तरह के डेटा की मात्रा का विश्लेषण मार्च 2014 में मीडिया उद्धरण रेटिंग को संकलित करने के लिए किया गया था।

इस पोस्ट में हम पद्धति और तकनीकी पहलुओं के बारे में बात करेंगे, साथ ही डेटा खनन सोशल मीडिया के "इन-डेप्थ ड्रिलिंग" के विचारों पर चर्चा करने का सुझाव देंगे। इच्छुक व्यक्तियों को बिल्ली के लिए आमंत्रित किया जाता है।





दरअसल, रेटिंग ही इस तरह से निकला:

सोशल मीडिया में शीर्ष 30 मीडिया उद्धरण रेटिंग (मार्च 2014):

में रखें श्रेणी	संसाधन का नाम	साइट का पता	सूची SMI	संख्या संदर्भ
1	RIA "समाचार"	ria.ru	117	516 641
2	रूसी में आरटी	russian.rt.com	83	364,845
3	करने के लिए Lenta.Ru	lenta.ru	72	३१ 8३५ है
4	रेडियो स्टेशन "मास्को की प्रतिध्वनि"	echo.msk.ru	52	226 985
5	सूचना देना	gazeta.ru	51	226,760
6	जीवन समाचार	lifenews.ru	48	212 870
7	चैनल "बारिश"	tvrain.ru	48	210 413
8	ITAR-TASS	itar-tass.com	46	203,795
9	बीबीसी समाचार	vesti.ru	45	197 654
10	Sports.ru	sports.ru	42	184 831
11	RBC (RosBusinessConsulting)	rbc.ru	35	154,048
12	NEWSru.com	newsru.com	32	140 082
13	कोम्सोमोल सत्य	kp.ru	31	136,291
14	Interfax	interfax.ru	28	१२१ 14१४
15	रूसी अखबार	rg.ru	27	118 643
16	NTV	ntv.ru	26	113 353
17	नया क्षेत्र २	nr2.ru	25	११० १०४
18	व्यापार समाचार पत्र "Vzglyad"	vz.ru	23	100 647
19	पहला चैनल	1tv.ru	19	9४ ६५ ९
20	स्नोब मीडिया	snob.ru	18	78,439
21	REGNUM समाचार एजेंसी	regnum.ru	17	76 920
22	Kommersant.ru	kommersant.ru	15	66 221
23	Slon.ru	slon.ru	15	65,872
24	शीट्स	vedomosti.ru	15	६३ ९ १५
25	तर्क और तथ्य	aif.ru	13	58,290
26	Izvestia	izvestia.ru	13	56 109
27	मास्को में - मास्को समाचार	newsmsk.com	12	54,147
28	नया अखबार	novayagazeta.ru	12	52,367
29	फ्री प्रेस	svpressa.ru	11	49,069
30	InoSMI.ru	inosmi.ru	10	42,757

रेटिंग, SMI इंडेक्स के गठन और SMR की रेटिंग के बारे में अधिक जानकारी हमारे ब्लॉग में पाई जा सकती है: http://br-analytics.ru/blog/?p=1264

क्यों और किसके लिए?

मीडिया अनुसंधान बाजार पर प्रकाशनों की कई रेटिंग हैं: संचलन द्वारा, ऑनलाइन संस्करणों की उपस्थिति से, अन्य मीडिया में उद्धरण _ द्वारा, ग्राहकों की संख्या (दोनों ऑफ़लाइन और ऑनलाइन) द्वारा। वास्तव में, ये सभी माप डेटा की तुलना करते हैं जो पहले से ही कहीं एकत्र किए गए हैं: प्रिंटर, इंटरनेट सांख्यिकी सेवाओं और सामाजिक नेटवर्क काउंटरों में। अन्य मीडिया में प्रशस्ति पत्र के लिए मीडिया की तुलना अधिकतम है जो मीडिया निगरानी उद्योग की पेशकश कर सकता है, लेकिन, आप देखते हैं, यह मीट्रिक उत्तर की तुलना में अधिक प्रश्न उठाता है।



जब हमारे साथी समाजशास्त्रियों के पास पाठकों की विश्वसनीयता और विश्वास के अनुसार मीडिया को रैंकिंग देने का कार्य था, तो समाधान मानक था - एक प्रस्ताव के साथ एक सर्वेक्षण करने के लिए, जो कि साक्षात्कारकर्ताओं के अनुसार, मीडिया में से एक को इंगित करने के लिए अधिक आधिकारिक हैं।



सोशल मीडिया पर सभी सामाजिक कार्यों को प्रोजेक्ट करने की आदत (खराब :-)) होने के कारण, हमने सोशल नेटवर्क पर उपयोगकर्ता पोस्ट और लेखों की टिप्पणियों से अतिरिक्त जानकारी प्राप्त करने में भागीदारों की मदद करने का फैसला किया।

कैसे करें: छूट और लाभ

कार्य तकनीकी दृष्टि से दिलचस्प था और परिणामों में अप्रत्याशित था। डेटा की मात्रा को पहले से समझा गया था - हमारा प्लेटफॉर्म प्रति दिन 20-25 मिलियन संदेश और टिप्पणियां एकत्र करता है, जिसका अर्थ है कि मार्च में लगभग 600 मिलियन सामग्रियों को संसाधित करना होगा।



तब सब कुछ सरल प्रतीत होता है: यह उन संदेशों की संख्या को समझने के लिए रहता है जिनमें लिंक होते हैं, उन्हें फाड़ते हैं, उन्हें संसाधित करते हैं, अनावश्यक हटाते हैं, सामान्य करते हैं और उन्हें सॉर्ट करते हैं। विश्लेषण के लिए, हमने एक दिन और दूर जाने के लिए डेटा लिया। पहला आश्चर्य लिंक की संख्या में आया: कोई भी विश्लेषक यह अनुमान नहीं लगा सकता था कि संदेशों की संख्या के लगभग लिंक की संख्या - प्रति दिन 15 मिलियन से अधिक है!



दूसरा "उपद्रव" चित्रों, ग्राफिक तत्वों, वीडियो के लिंक की संख्या है - कुल का लगभग 30%। हम पहले से ही तीसरे "परेशानी" के लिए तैयार थे - ब्रांड एनालिटिक्स सिस्टम की रिपोर्टों में "शॉर्ट" लिंक को तैनात करने की तकनीक पहले से ही उपयोग की जाती है, लेकिन दसियों हज़ार को स्कैन करने की एक बात है, दूसरी बात लगभग 4-5 मिलियन प्रति दिन है। उसी समय, लंबे लिंक की पहले से ही परिचित 12 लोकप्रिय दृढ़ संकल्प सेवाओं में एक और 23 नई सेवाओं को जोड़ा गया था।



एक दिन में "ललाट" एकल-थ्रेडेड डेटा प्रोसेसिंग में 3-4 घंटे लगते थे, जो आम तौर पर "घुटने के उच्च" इत्मीनान से अनुसंधान विकल्प के लिए सामान्य है, लेकिन नियमित रूप से दैनिक निगरानी के लिए बहुत स्वीकार्य नहीं है। अंतिम मल्टीथ्रेडेड (3 थ्रेड्स) एल्गोरिथ्म, जो एक महीने के लिए डेटा प्रोसेसिंग के लिए लागू किया गया था, ने हमें 6 घंटे में 655 मिलियन की मासिक सरणी संसाधित करने की अनुमति दी।



पुनश्च यदि आप असंरचित डेटा को पार्स करने के लिए विभिन्न तरीकों के साथ प्रयोग करना चाहते हैं, तो आप प्रति घंटा डेटा अपलोड प्रदान करने के लिए तैयार हैं - शायद कोई तेज़ समाधान की पेशकश कर सकता है।

परिणाम

सारांश डेटा:

• मार्च के लिए संसाधित संदेश: 655 269 709

• अद्वितीय लेखक: 35 172 270

• कुल लिंक मिले: 536 185 906

• चित्रों के बिना लिंक: 357 853 627

• लघु संदर्भ: 110 685 097



आंकड़ों के प्रशंसकों के लिए, हम शीर्ष "कच्चे" पर अनन्य डेटा प्रदान करते हैं

लिंक- "करोड़पति" - हमारी राय में एक बहुत ही रोचक जानकारी:

154659839	vk.com
25776485	apps.facebook.com
23611855	dsm.odnoklassniki.ru
१० ५३१ ५४५	facebook.com
10 123 556	youtube.com
5240568	instagram.com
4026849	twitter.com
२ ३२० ४ 47२	plus.google.com
२ ३०५ ५२१	ask.fm
१ 1४ 1 ५47१	docs.google.com
1 225 210	islandandroid.17bullets.com

टेक्नोलॉजिकल मुद्दों से मेथोडोलॉजिकल में लौटना ...



1. यह कोई रहस्य नहीं है कि प्रत्येक लोकप्रिय सामाजिक नेटवर्क में स्वचालित संदेशों का एक उच्च (10 से 47%) स्तर है: दोनों बॉट खाते (बॉटनेट) और अधिसूचना संदेश (खेल, कार्ड, उपहार, मुस्कान, आदि)। चौकस विशेषज्ञ पाठकों के तार्किक सवाल का अनुमान लगाते हुए - हाँ, इस तरह के संदेश फ़िल्टर किए जाते हैं और लिंक लिंक का विश्लेषण और रेटिंग करने के लिए मॉड्यूल तक नहीं पहुंचते हैं।



2. लोकप्रिय संसाधनों पर मीडिया प्रशस्ति पत्र के प्रकाशन के बाद, सामाजिक नेटवर्क पर कई समूहों में एक चर्चा उत्पन्न हुई, जहां लोगों ने रेटिंग नेता, आरआईए नोवोस्ती पर व्यंग्य किया, कि सोशल मीडिया में उनके उच्च स्तर के उद्धरण इस तथ्य के कारण थे कि संपादकीय कार्यालय ने टिप्पणी करने की संभावना को बंद कर दिया था। वेबसाइट ria.ru एक दिलचस्प विचार है, है ना? और यह SMM के :-) के लिए नई "चाल" की ओर जाता है



शायद हमारे विश्लेषकों ने अगले अध्ययन में अप्रैल के महीने के लिए मीडिया के रेटिंग और प्रशस्ति पत्र सूचकांक की गणना में इस पहलू को ध्यान में रखा जाएगा। उदाहरण के लिए, सोशल मीडिया में प्रकाशनों के साथ एक प्रकाशन की वेबसाइट पर एक लेख के लिए टिप्पणियों की बराबरी करना (यह सब इसलिए क्योंकि हमारी पद्धति के अनुसार, समाचार पर टिप्पणी को एक स्वतंत्र वस्तु के रूप में ध्यान में रखा जाता है)। यदि आपके पास इस मुद्दे पर एक राय है, तो हम राय और निश्चित रूप से, के खिलाफ और दलीलें सुनकर प्रसन्न होंगे।



पी एस लिंक की रैंकिंग में, हैबर पहले 50 के दशक में, और तकनीकी संसाधनों के बीच पहले स्थान पर है।