👒 💞 🚎 ट्रांसकोडर - एनएसआई पर एक और नज़र 😵 🥢 👨‍🎓

वर्षों में, कंपनी आमतौर पर इस तथ्य पर आती है कि एक ही विषय पर कई निर्देशिकाएं (उदाहरण के लिए, "शौक" या "लिंग") पूरी तरह से अकल्पनीय प्रारूपों में विभिन्न प्रणालियों में संग्रहीत की जाती हैं, प्रभावी एकीकरण और डेटा विनिमय को रोकती हैं।

इस समस्या को हल करने के लिए पारंपरिक दृष्टिकोण "हॉबी" निर्देशिका के एक एकल संस्करण को बनाने और सभी सूचना प्रणालियों के लिए इसमें (और इसमें से) प्रवाह को स्थापित करने की सिफारिश करता है। हमने दूसरे रास्ते पर जाने का फैसला किया और एक विकेन्द्रीकृत ओपन-सोर्स NSI - रिकोडर बनाया।

जानना चाहते हैं कि वास्तव में हमने क्या किया था, और ल्यूसीन और अपाचे सीएक्सएफ हमारे उत्पाद में क्या भूमिका निभाते हैं?

आमतौर पर निर्देशिकाओं का भंडारण कैसे हल किया जाता है?

आईटी डायरेक्टर डायरेक्टरी की प्रजाति विविधता को रोकने का फैसला करता है, और कंपनी एक ही डायरेक्टरी बनाना शुरू कर देती है। इसे सभी संभावित प्रकार के कॉर्पोरेट डेटा को संयोजित करने और अंत में "पैचवर्क स्वचालन" और "ऐतिहासिक विरासत" को समाप्त करने के लिए कहा जाएगा।

यदि हम समस्या को हल करते हैं, तो तुरंत सब कुछ के लिए, है ना?

लेकिन नहीं।

केंद्रीयकरण के भयानक minuses बड़ी पश्चिमी कंपनियों की प्रस्तुतियों में नहीं लिखे जाएंगे जो वास्तव में आपको मल्टी-मिलियन डॉलर सॉफ्टवेयर बेचना चाहते हैं, और प्रेस विज्ञप्ति में नहीं बताया जाएगा। लेकिन इस तरह की परियोजना शुरू करने से, आप एक लंबे थकाऊ कार्यान्वयन में फंस जाएंगे जो वर्षों तक चलेगा। क्योंकि जिन संस्थाओं को आप एक मानक पर लाएंगे, उनकी प्रकृति अलग है। और यह उन्हें एक प्रणाली के भीतर संयोजित करने के लिए अनुचित बनाता है।

इस पर विश्वास न करें - डेटा प्रकारों के साथ तालिका देखें जो आमतौर पर कंपनी में पाए जाते हैं:

वे क्या वर्णन करते हैं	टेबल, मशीन, आदि	व्यक्तियों, कानूनी संस्थाओं, आपातकाल की स्थिति / एसपी।	इकाई गुण: शिक्षा, पेशा, आदि।
सत्य की कसौटी पर खरा उतरो	उद्देश्य (एक वास्तविक मशीन है जिसे आप देख सकते हैं)	उद्देश्य (कोई वास्तविक व्यक्ति या कंपनी है जो आप सब कुछ पूछ सकते हैं)	विशेषण (विशेषज्ञ की राय, जो कग्बे काफी सही नहीं हो सकती है, या सिस्टम)
आकार	मध्यम (हजारों इकाइयों का दसवां हिस्सा)	मध्यम या बड़ा (हजारों और लाखों रिकॉर्ड)	छोटा (हजारों यूनिट)
गुण की संख्या	माध्यमिक (माल और सामग्री की विशेषताएँ)	औसत (ग्राहक विशेषताएँ)	छोटा (ज्यादातर मामलों में, टाइप आईडी की एक संरचना एक नाम है)
मौजूदा वस्तुएं समय के साथ कैसे बदलती हैं?	शायद ही कभी	लगातार परिवर्तन (पते का परिवर्तन, वैवाहिक स्थिति, लिंग ...)	सूचना प्रणाली या व्यावसायिक प्रक्रिया की जरूरतों के आधार पर अप्रत्याशित रूप से परिवर्तन

व्यवहार में, सबसे तेज़ और सबसे सफल कार्यान्वयन उन कंपनियों में होते हैं जो अलग-अलग आविष्कारों की समस्या को अलग से हल करते हैं - अलग-अलग समकक्षों की एक निर्देशिका के निर्माण का कार्य, और किसी भी तरह क्लासिफायर के साथ सौदा करते हैं।

उत्पाद सूचना प्रबंधन (पीआईएम) आमतौर पर सामानों और सामग्रियों के लिए लागू किया जाता है, समकक्षों के लिए ग्राहक डेटा एकीकरण (सीडीआई), लेकिन दिलचस्प बात क्लासिफायर्स के साथ होती है: उनके लिए, एक एनएमआई (एमडीएम) अक्सर अलग से लागू किया जाता है और सच्चाई का एक एकल संस्करण बनता है।

क्या NSI को लागू करना और सहपाठियों का एकल संस्करण बनाना सही है? या आप इस समस्या को अलग तरीके से हल कर सकते हैं?

क्या क्लासिफायर के लिए सच्चाई का एक ही संस्करण होना अच्छा है?

जब क्लासिफायर को एकल रूप में लाया जाता है, तो आमतौर पर होने वाला एक परिदृश्य होता है:

एक राक्षस संदर्भ बनाया जाता है जो स्रोत प्रणालियों के सभी संयोजनों को ध्यान में रखता है। इस जटिल संदर्भ पुस्तक को संशोधित करना मुश्किल है, इसके लिए लंबे समय तक समन्वय की आवश्यकता होती है, और समय के साथ, धीरे-धीरे इसमें सब कुछ भरा जाता है।
एक एकल निर्देशिका बनाई जाती है जिसमें सत्य का एक छोटा संस्करण होता है जो सभी के लिए उपयुक्त होता है। जो लोग एक बड़ी कंपनी में काम करते थे, वे जानते हैं कि "सत्य जो हंस, कैंसर और पाइक को सूट करता है" की खोज शायद ही कभी सफलतापूर्वक समाप्त होती है, और अगर ऐसा होता है, तो इसके लिए कई, कई घंटों की भयंकर बैठकों की आवश्यकता होती है।

सामान्य तौर पर, सत्य का एक संस्करण आमतौर पर महंगा होता है।

इसके अलावा, एक एकल मानक के साथ, एक "ग्रे ज़ोन" की समस्या हमेशा उत्पन्न होती है। यह स्रोत प्रणालियों में मूल्यों और सत्य के प्रतिष्ठित एकीकृत संस्करण के मूल्यों के बीच अंतर है, जो विशेष रूप से नियुक्त विशेषज्ञ द्वारा व्यक्तिगत रूप से पुष्टि की गई थी। "ग्रे ज़ोन" की उपस्थिति और इसके साथ काम करने की आवश्यकता कई वर्कफ़्लो और वैकल्पिक प्रवाह की उपस्थिति की ओर ले जाती है, जो एनएसआई की कार्यक्षमता (लागत को पढ़ें) का एक महत्वपूर्ण हिस्सा है।

और यह भी कि व्यापार हमेशा वर्षों के लिए कई अनुमोदन के लिए इंतजार करने के लिए तैयार नहीं है। इसलिए, अंत में, "अस्थायी" ट्रांसकोड्स (यह क्या है, हम नीचे वर्णित करेंगे) का उपयोग करके डेटा को "तालिका के नीचे" अग्रेषित किया जाना शुरू होता है।

क्या सच का एक भी संस्करण बनाना संभव नहीं है?

एक तार्किक प्रश्न उठता है: यदि सत्य का एक भी संस्करण इतना महंगा है, तो क्या आप इसके बिना कर सकते हैं?

आप कर सकते हैं - ऐसे संगठन हैं जिनमें NSI लागू नहीं हैं। ध्यान से देखा जाए, तो आपको इन संगठनों में अलग-अलग प्रणालियों में संदर्भ पुस्तकों "सेक्स", "शिक्षा", आदि के बीच कई छोटे पत्राचार टेबल मिलेंगे। उन्हें या तो ओरेकल में संग्रहीत किया जाएगा, फिर बस पर, या यहां तक कि सीधे डाउनलोड-अपलोड और निर्यात-आयात के लिए कोड में। क्योंकि पत्राचार टेबल किसी समस्या को हल करने का सबसे स्वाभाविक तरीका है जब एक ही डोमेन को अलग-अलग लोगों या प्रणालियों के लिए अलग-अलग नामित किया जाता है।

दूसरे शब्दों में, आप धरती पर सभी लोगों को एस्पेरांतो (सत्य का एक संस्करण बनाने के लिए) बोलने के लिए मजबूर कर सकते हैं, या आप चीनी और जर्मन डॉक्टरों के साथ बातचीत करने के लिए चीनी-जर्मन चिकित्सा अनुवादक को आमंत्रित कर सकते हैं (पत्राचार तालिका बना सकते हैं)।

इसलिए, हमने एक साथ एक दुभाषिया बनाने का फैसला किया जो किसी भी प्रणाली की भाषा को समझता है, और उन्हें व्यापार प्रक्रिया के ढांचे के भीतर समान अवधारणाओं पर सहमत होने की अनुमति देता है। हमने पत्राचार तालिकाओं को ट्रांसकोडिंग कहा जाता है, और स्वयं सिस्टम - ट्रांसकोडर।

ट्रांसकोडर का मुख्य उद्देश्य स्रोत प्रणालियों और ट्रांसकोड की निर्देशिका की प्रतियों को स्टोर करना है।

यह सब कैसे काम करता है

काम की शुरुआत में, ट्रांसकोडर स्रोत प्रणालियों के डेटाबेस से निर्देशिकाओं को पढ़ता है और बाद में स्वचालित सिंक्रनाइज़ेशन के लिए डेटाबेस में अपनी प्रतियां बचाता है। हम Sybase, MariaDB, Vertica, MS SQL Server, MySQL, Oracle, PostgreSQL के साथ काम करते हैं।

Prufpik
ट्रांसकोडर इंटरफ़ेस में, ऑपरेटर निर्देशिका प्रविष्टियों के पत्राचार तालिकाओं को सेट करता है। उदाहरण के लिए, यदि एक प्रणाली में पुरुष लिंग को "M" और दूसरे में "1" के रूप में दर्ज किया जाता है, तो ऑपरेटर इन दोनों मूल्यों को जोड़ देता है, एक ट्रांसकोडिंग का निर्माण करता है।
अब, किसी अन्य प्रणाली के साथ सूचना का आदान-प्रदान करने की प्रक्रिया में कोई भी प्रणाली SOAP या REST इंटरफेस के माध्यम से ट्रांसकोडर से अनुरोध कर सकती है कि वह अपने क्लासिफायर से लक्ष्य प्रणाली की भाषा में मूल्य का अनुवाद करे या प्राप्त डेटा को अपनी बोली में अनुवाद करे।

CRM के लिए एक निश्चित बैंकिंग प्रणाली (ABS) के "दस्तावेज़ प्रकार" निर्देशिका से ट्रांसकोडिंग "DUL प्रकार" निर्देशिका। पासपोर्ट सामान्य विदेशी पासपोर्ट से मेल खाता है, चालक का लाइसेंस अन्य दस्तावेजों से मेल खाता है। एबीएस और सीआरएम को मास्टर निर्देशिका के साथ एकीकृत करने की आवश्यकता नहीं है, हर कोई खुश है।
ट्रांसकोड को मूल रूप से सूचना विनिमय में सभी प्रतिभागियों को संतुष्ट करने के लिए प्रति सेकंड एक हजार ट्रांसकोड के भार के लिए डिज़ाइन किया गया था: बस, ईटीएल स्क्रिप्ट जो वास्तविक समय प्रक्रियाओं की सेवा कर रही हैं, एक्सेल, स्पेस स्टेशन, आदि में मैक्रोज़।

मैं ट्रांसकोडर के साथ क्या कर सकता हूं

यह संभव और आवश्यक है:

निर्देशिकाओं, निर्देशिकाओं के समूह और ट्रांसकोड (बनाएं, संपादित करें और हटाएं) प्रबंधित करें।
स्रोत प्रणालियों के साथ ट्रांसकोडर निर्देशिकाओं के आवधिक सिंक्रनाइज़ेशन को सेट करें।
ऑनलाइन ट्रांसकोडिंग करें और स्रोत निर्देशिकाओं का मान SOAP और REST इंटरफेस के माध्यम से प्राप्त करें।
स्रोत निर्देशिकाओं में परिवर्तन के बारे में स्वचालित अलर्ट प्राप्त करें। यदि कोई मान अचानक प्रकट होता है जिसके लिए कोई रूपांतरण नहीं है, तो SOAP / REST एक त्रुटि लौटाएगा और सभी इच्छुक पक्षों को सूचित करेगा।

क्लासिफायर "ग्राहक सेवा कार्यक्रम", जिसमें कुछ कारण गैर-रूसी शब्द विवरण और पूर्ण विवरण जैसे हैं

हुड के नीचे क्या है?

सिस्टम को एपीआई, व्यापार तर्क और भंडारण को एक-दूसरे से अलग करने के लिए मॉड्यूल में विभाजित किया गया है। स्प्रिंग फ्रेमवर्क घटकों के बीच कनेक्टिंग IoC कंटेनर के रूप में कार्य करता है।

डेटा प्रवाह की तकनीकी योजना निम्नानुसार प्रस्तुत की जा सकती है:

जैसा कि आप देख सकते हैं, सेवाएं डेटाबेस के साथ सीधे बातचीत नहीं करती हैं। इसके बजाय, सभी काम (पढ़ने / लिखने) ल्यूसीन इंडेक्स के साथ जाते हैं, और लिखने के संचालन के परिणाम अतिरिक्त रूप से डेटाबेस में लिखे जाते हैं। ऐसा क्यों किया जाता है? सब कुछ सरल है: सिस्टम का मुख्य कार्य जल्दी से ट्रांसकोडिंग (निर्देशिकाओं की एक जोड़ी में प्रविष्टियों के बीच पत्राचार) को ढूंढना है, और इस तरह की वास्तुकला सबसे प्रभावी रूप से डेटा के बड़े संस्करणों पर इसका सामना करती है। साथ ही, हमें "बॉक्स से बाहर" सभी डेटा पर एक पूर्ण-पाठ खोज मिलती है। बेशक, उच्च-स्तरीय समाधानों का उपयोग करना संभव होगा, उदाहरण के लिए एलास्टिक्सर्च या सोलर, लेकिन उनकी अपनी कमियां हैं, जो आपके खुद के कोड को लिखने की तुलना में अधिक महंगी हैं।

सूचना की अखंडता को सुनिश्चित करने के लिए, डेटा संशोधन खोज सूचकांक में और डेटाबेस में एक लेनदेन में किया जाता है। इसके अलावा, इंटरफेस डिज़ाइन किए गए हैं ताकि एप्लिकेशन के व्यापार तर्क केवल इंडेक्स के बारे में जानता है, और डीबीएमएस को न्यूनतम संशोधनों के साथ दूसरे समाधान के साथ बदल दिया जा सकता है। वास्तव में, आपको कुछ वर्गों को लागू करने और उन्हें क्लासपाथ में जोड़ने की आवश्यकता है - स्प्रिंग और फ़्लाइट (रनटाइम कोड संकलन) पर कक्षा संकलन कारखाने बाकी काम करेंगे।

SOAP और RESTfull इंटरफेस की रूपरेखा Apache CXF है, जो एपीआई के संस्करण को कॉन्फ़िगर करना आसान बनाता है (यदि आपको अचानक इसे बदलने की आवश्यकता है) और आने वाले / बाहर जाने वाले संदेशों के प्रसंस्करण के किसी भी चरण में पच्चर।

स्रोत कोड

github.com/hflabs/perecoder

टेस्ट स्टैंड

rcd.hflabs.ru/rcd/admin/login

लॉगिन: व्यवस्थापक

पासवर्ड: डेमो

प्रलेखन

confluence.hflabs.ru/x/RICSCg

आगे क्या है

हमने कई ग्राहकों के साथ ट्रांसकोडर के कार्यान्वयन की शुरुआत की।

हम कार्यक्षमता पर आपकी टिप्पणियों का स्वागत करते हैं: आपको क्या पसंद है, क्या नहीं, क्या समझ से बाहर है।

खैर, अगर यह उत्पाद आपके लिए उपयोगी है, तो इसका मतलब है कि हमने इस लेख को लिखने में अपना समय बर्बाद नहीं किया है;)

ट्रांसकोडर - एनएसआई पर एक और नज़र

आमतौर पर निर्देशिकाओं का भंडारण कैसे हल किया जाता है? (adsbygoogle = window.adsbygoogle || []).push({});

क्या क्लासिफायर के लिए सच्चाई का एक ही संस्करण होना अच्छा है? (adsbygoogle = window.adsbygoogle || []).push({});