फुटबॉल की भाषा में: विश्व कप के लिए एक विजेट के लिए बिग डेटा + भाषाविज्ञान

हममें से ज्यादातर लोग फुटबॉल विश्व कप देखेंगे। और विशेषज्ञों का कहना है कि, हमेशा की तरह, हमारी टीम चमकती नहीं है, विश्व फुटबॉल की सुंदरता उन लोगों को भी पकड़ लेगी जो खुद को प्रशंसक नहीं मानते हैं। क्या आपने कभी "जोड़ों के दर्द" की सुंदरता के बारे में सोचा है? अपने आप को एक विशाल वैश्विक मंच पर महसूस करें, सुनें कि विभिन्न देशों के प्रशंसक क्या कहते हैं और महसूस करते हैं, उनकी आंखों के माध्यम से मैच देखें ... असंरचित डेटा के प्रसंस्करण के लिए आधुनिक प्रौद्योगिकियां प्रशंसकों के सपनों को सच करती हैं। हर मिनट, हजारों फुटबॉल ट्वीट्स, इंस्टाग्राम तस्वीरें और यूट्यूब वीडियो हमारे द्वारा बनाए गए हैं, प्रशंसकों, अब, विश्व कप की शुरुआत से पहले भी। क्या आप सोच सकते हैं कि मैचों के दौरान क्या होगा? यह "वर्ल्ड ट्रिब्यून ऑफ फैंस" को इकट्ठा करने के लिए बना हुआ है, जिसे हम कामचलाऊ सामग्री से एक साथ, जल्दी और कटौती के तहत करेंगे।







ऑनलाइन बिग डेटा वर्ग "वर्ल्ड ग्रैंडस्टैंड" के निर्माता लेगो सिद्धांत के अनुसार इकट्ठे हुए हैं, कई पूरी तरह से उपलब्ध भागों से उपलब्ध हैं:



1. सामग्री:

हर दिन, मानवता (हम पूरी दुनिया को सोचते हैं!) सोशल मीडिया में 1 बिलियन से अधिक सार्वजनिक संदेश (ट्वीट, पोस्ट, टिप्पणियां, फोटो, वीडियो) उत्पन्न करता है। प्रत्येक सामाजिक नेटवर्क, ब्लॉग प्लेटफ़ॉर्म और अन्य इंटरनेट सेवाओं के अपने नियम हैं, इसलिए हमें सार्वजनिक संदेशों (अमेरिकन टॉपसी एंड ग्निप, इंग्लिश डेटाशिफ्ट या रूसी ब्रांड एनालिटिक्स) के सर्विस एग्रीगेटर की आवश्यकता है।



2. वांछित सामग्री का एग्रीगेटर:

हमें पूरे अरब संदेशों की आवश्यकता नहीं है, लेकिन केवल फुटबॉल के बारे में। लेकिन अलग-अलग भाषाओं में। और आकारिकी, वाक्यविन्यास, भाषा की परिभाषा, लेमेटेटाइजेशन, उत्तर-सुधार के साथ। और वास्तविक समय के बारे में मत भूलना! "Goooool!" चिल्लाते हुए और दुनिया के आधे हिस्से में, आपको अभी भी नेट स्विंगिंग गोल में गेंद चाहिए, और सुबह की खबर में नहीं।



3. ऑटो-अनुवादक:

सोशल नेटवर्क पर पोस्ट के लिए। हंसने लगे। क्लासिक विकल्प: Google अनुवादक या Translate.ru।



4. टीम:

एपीआई बाध्यकारी प्रोग्रामर और अच्छा लेआउट डिजाइनर - आप रचनाकारों के बिना कहां हैं!



और यहां कई दिनों के काम का परिणाम है - वेबसाइट / ब्लॉग पर देखने और प्रविष्टि के लिए उपलब्ध विजेट्स:

- रूसी भाषी क्षेत्र के लिए http://br-analytics.ru/widget-generator-theme/wc2014ru

- कॉस्मोपॉलिटन और ब्राजीलियाई / स्पेनियों / अंग्रेजी और अन्य पसंदीदा लोगों का समर्थन करने वालों के लिए br-analytics.ru/widget-generator-theme/wc2014



नीचे न केवल फुटबॉल के प्रशंसकों के लिए अधिक विस्तृत तकनीकी जानकारी है।

सामग्री एकत्रीकरण

रूसी बाजार में, सोशल मीडिया डेटा के मुख्य प्रदाता की स्थिति ब्रांड एनालिटिक्स (बीए) प्रणाली द्वारा कब्जा कर ली गई है, जो वास्तविक समय में रूसी आकारिकी और वाक्यविन्यास को ध्यान में रखते हुए विषयगत डेटा की एक फ़िल्टर स्ट्रीम को कॉन्फ़िगर और प्राप्त करना आसान बनाता है। DataSift के विपरीत, BA न केवल सामाजिक नेटवर्क से डेटा एकत्र करता है, बल्कि ब्लॉग और फ़ोरम, न्यूज़ पोर्टल्स से भी पोस्ट करता है। फ़िल्टर किए गए डेटा प्राप्त करने के लिए बीए के पास एक सार्वजनिक एपीआई है।



इस तरह के सिस्टम में सबसे श्रमसाध्य और मस्तिष्क की खपत वाला व्यवसाय फ़िल्टरिंग है: प्रमुख वाक्यांश, शून्य शब्द और आधिकारिक स्रोत। इस काम में वास्तविक खेल विशेषज्ञों - लोकप्रिय खेल पोर्टल Championat.com के कर्मचारियों ने भाग लिया।

सिस्टम में बॉट्स के लिए एक फिल्टर है, इसलिए केवल वास्तविक उपयोगकर्ताओं के संदेश विजेट में प्रवेश करते हैं, और ऑफ-स्केल भावनाओं की अपवित्रता विशेष फिल्टर के साथ कट जाती है।

अनुवाद की कठिनाइयाँ

Translate.ru को एक अनुवादक के रूप में चुना गया था, जिसने विश्व कप के लिए एक साधारण एपीआई के अलावा, विशेष भाषाई मॉड्यूल और शब्दकोशों का एक सेट प्राप्त किया, जिससे अनुवाद की गुणवत्ता में काफी सुधार हुआ। ऑटो-अनुवाद के लिए, 4 भाषाओं को चुना गया, जो विश्व कप के संदर्भ में सबसे आम हैं: पुर्तगाली (ब्राजीलियाई), स्पेनिश, अंग्रेजी और रूसी।

वास्तविक समय प्रसंस्करण

नई जानकारी के दैनिक बढ़ते प्रवाह के संबंध में, डाटा प्रोसेसिंग की गति आज एक जरूरी समस्या बनती जा रही है। कंप्यूटर भाषाविज्ञान "संवाद" पर अभी-अभी संपन्न अंतर्राष्ट्रीय सम्मेलन में जानी-मानी कंपनियों के कुछ आधुनिक भाषाई सिस्टम प्रस्तुत किए गए। जैसा कि गणना दिखाती है, उनकी प्रीप्रोसेसिंग गति अभी भी कम है और एक वास्तविक डेटा स्ट्रीम के साथ काम करने की अनुमति नहीं देता है: सर्वश्रेष्ठ सिस्टम एक प्रोसेसर पर दसियों केबी / एस दिखाते हैं, जबकि अभ्यास से पता चलता है कि एक स्ट्रीम के साथ पूर्ण काम के लिए, गति को केबी / एस के सैकड़ों में मापा जाना चाहिए।

हमारे सिस्टम की गति भी आदर्श तक नहीं पहुंचती है, लेकिन फिर भी, आज हम एक स्ट्रीम (~ 200 kB / s) पर प्रति दिन 15 जीबी तक की प्रक्रिया कर सकते हैं। यह प्रसंस्करण गति एक बुद्धिमान समानांतर कंप्यूटिंग प्रणाली द्वारा प्रदान की जाती है। भाषाई मॉड्यूल बैलेंसर आपको प्रवाह प्रसंस्करण की शुद्धता के उच्च प्रतिशत को बनाए रखने की अनुमति देता है। उदाहरण के लिए, इस तरह की घटना का सूक्ष्म, चतुर प्रसंस्करण, जैसे कि नामकरण केवल अत्यधिक लोड किए गए एल्गोरिदम का उपयोग करने की अनुमति देता है, जब यह वास्तव में आवश्यक होता है।



यह केवल हमारे लिए ठीक से खुश रहना, सम्मिलित होना है।



पुनश्च: हम कंप्यूटर भाषा विज्ञान और पाठ खनन पर प्रकाशनों की एक श्रृंखला की योजना बना रहे हैं, जिसमें प्रौद्योगिकियों के उपयोग के बारे में एक कहानी है जैसे कि संदेश की भावना का ऑटो-डिटेक्शन, संस्थाओं का वर्गीकरण, निंदा और होमोमी का समाधान, आदि। यदि आप उपरोक्त विषयों या अन्य भाषाई विषयों में से एक में रुचि रखते हैं, तो हमें लिखें। , और हम महान और शक्तिशाली के कम्प्यूटरीकरण के सभी रहस्यों को विस्तार से प्रकट करने का प्रयास करेंगे।