पायथन OLAP संगठन

शुभ दोपहर, प्रिय पाठकों।

आज मैं आपको बताऊंगा कि आप एक साधारण पायथन डेटा विश्लेषण प्रणाली कैसे बना सकते हैं। फ्रेमवर्क क्यूब्स और क्यूब्सव्यूसर पैकेज मुझे इसके साथ मदद करेंगे।

क्यूब्स पायथन का उपयोग करके बहुआयामी डेटा के साथ काम करने के लिए एक रूपरेखा है। इसके अलावा, इसमें सरलीकृत रिपोर्टिंग अनुप्रयोग विकास और सामान्य डेटा देखने के लिए एक OLAP HTTP सर्वर शामिल है।

Cubesviewer उपरोक्त सर्वर के साथ काम करने के लिए एक वेब-आधारित इंटरफ़ेस है।

क्यूब्स को स्थापित और कॉन्फ़िगर करें

पहले आपको काम करने के लिए पैकेज के लिए आवश्यक पुस्तकालयों को स्थापित करने की आवश्यकता है:

pip install pytz python-dateutil jsonschema pip install sqlalchemy flask
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अगला, क्यूब्स पैकेज को स्वयं स्थापित करें:

 pip install cubes
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

जैसा कि अभ्यास ने दिखाया है, वर्तमान रिपॉजिटरी से संस्करण (1.0alp22) का उपयोग करना बेहतर है ।

खिड़कियों के लिए उन्नत सेटिंग्स

यदि आप Windows के तहत काम करने की योजना बनाते हैं, तो आपको {PYTHON_DIR} \ Lib \ साइट-संकुल \ dateutil \ tz.py फ़ाइल में 40 लाइन को बदलना होगा:

 return myfunc(*args, **kwargs).encode()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

पर

 return myfunc(*args, **kwargs)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

फिर, जिस प्लेटफ़ॉर्म पर आप काम करते हैं, उसकी परवाह किए बिना, आपको सही ढंग से काम करने के लिए json parser के लिए निम्न फ़िक्सेस जोड़ने की आवश्यकता है। इसे {PYTHON_DIR} \ Lib \ साइट-संकुल \ cubes-1.0alpha-py2.7.egg \ cubes \ metadata.py में लाइन 90 से शुरू होना चाहिए:

 elif len(parts.scheme) == 1 and os.path.isdir(source): # TODO: same hack as in _json_from_url return read_model_metadata_bundle(source)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

क्यूब सेटअप और इसकी तैनाती प्रक्रिया का विवरण

उदाहरण के लिए, क्यूब के साथ आने वाले ओएलएपी क्यूब को लें । यह उदाहरण / hello_world फ़ोल्डर में स्थित है (आप इसे रिपॉजिटरी से प्राप्त कर सकते हैं)।

हमारे लिए सबसे दिलचस्प 2 फाइलें हैं:

• स्लाइसर.इन - हमारे क्यूब के लिए http सर्वर सेटिंग्स फ़ाइल
• model.json - घन मॉडल के विवरण के साथ फ़ाइल

आइए हम उन पर अधिक विस्तार से ध्यान दें। आइए स्लाइसर.इन फ़ाइल से शुरू करते हैं, जिसमें निम्नलिखित अनुभाग शामिल हो सकते हैं:

• [workspace]
  
  
  
  - कार्यस्थल विन्यास
• [server]
  
  
  
  - सर्वर पैरामीटर (पता, पोर्ट, आदि)
• [models]
  
  
  
  - डाउनलोड करने के लिए मॉडल की सूची
• [datastore] [store]
  
  
  
  - डेटा स्टोरेज पैरामीटर
• [translations]
  
  
  
  - मॉडल के लिए स्थानीयकरण सेटिंग्स।

इसलिए, हम अपनी परीक्षण फ़ाइल से विश्लेषण करेंगे कि सर्वर स्थानीय मशीन पर स्थित होगा और 5000 पोर्ट पर काम करेगा। एक स्थानीय SQLite डेटाबेस जिसे data.sqlite कहा जाता है, को स्टोरेज के रूप में उपयोग किया जाएगा।

आप दस्तावेज़ में सर्वर कॉन्फ़िगरेशन के बारे में अधिक पढ़ सकते हैं ।

यह फ़ाइल से भी देखा जा सकता है कि हमारे क्यूब के मॉडल का वर्णन मॉडल.जसन फ़ाइल में पाया जा सकता है, जिसकी संरचना का वर्णन अब हम उठाएंगे।

मॉडल विवरण फ़ाइल एक json फ़ाइल है जिसमें निम्नलिखित तार्किक खंड शामिल हैं:

• name
  
  
  
  - मॉडल का नाम
• label
  
  
  
  - लेबल
• description
  
  
  
  - मॉडल विवरण
• locale
  
  
  
  - मॉडल के लिए स्थान (यदि स्थानीयकरण निर्दिष्ट है)
• cubes
  
  
  
  - क्यूब्स मेटाडेटा सूची
• dimensions
  
  
  
  - dimensions
  
  
  
  मेटाडेटा सूची
• public_dimensions
  
  
  
  - उपलब्ध आयामों की एक सूची। डिफ़ॉल्ट रूप से, सभी माप उपलब्ध हैं।

क्यूब्स और आयाम अनुभाग हमारे लिए रुचि रखते हैं, क्योंकि अन्य सभी वैकल्पिक हैं।

आयाम सूची आइटम में निम्नलिखित मेटाडेटा शामिल हैं:

कुंजी	विवरण
नाम	आयाम पहचानकर्ता
लेबल	उपयोगकर्ता को दिखाई देने वाला आयाम नाम
विवरण	उपयोगकर्ताओं के लिए माप विवरण
स्तरों	माप के स्तर की सूची
पदानुक्रम	पदानुक्रम सूची
default_hierarchy_name	पदानुक्रम आईडी

क्यूब्स सूची आइटम में निम्नलिखित मेटाडेटा शामिल हैं:

कुंजी	विवरण
नाम	आयाम पहचानकर्ता
लेबल	उपयोगकर्ता को दिखाई देने वाला आयाम नाम
विवरण	उपयोगकर्ताओं के लिए माप विवरण
आयाम	ऊपर दिए गए मापन नामों की सूची
उपायों	उपायों की सूची
समुच्चय	एकत्रीकरण कार्यों की सूची
मैपिंग	तार्किक और शारीरिक विशेषताओं का मार्कअप

उपरोक्त के आधार पर, हम समझ सकते हैं कि हमारे मॉडल ( आइटम, वर्ष ) में हमारे 2 आयाम होंगे। " आइटम " माप में 3 माप स्तर हैं:

• श्रेणी । नाम "श्रेणी", फ़ील्ड "श्रेणी", "श्रेणी_सूची"
• उपश्रेणी । प्रदर्शन नाम "उप-श्रेणी", फ़ील्ड "उपश्रेणी", "उपश्रेणी_लैब"
• line_item प्रदर्शन नाम "लाइन आइटम", फ़ील्ड "लाइन_इटेम"

हमारे घन में एक माप के रूप में, "राशि" फ़ील्ड कार्य करेगा, जिसके लिए पंक्तियों की संख्या को गिनने और गिनने के कार्य किए जाते हैं।

प्रलेखन में घन मॉडल को चिह्नित करने के बारे में और पढ़ें ।

हम सेटिंग का पता लगाने के बाद, हमें अपना परीक्षण आधार बनाने की आवश्यकता है। ऐसा करने के लिए, आपको तैयार होना चाहिए

 python prepare_data.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अब वह सब कुछ जो हमारे परीक्षण सर्वर को क्यूबर नामक क्यूब के साथ शुरू करना है:

 slicer serve slicer.ini
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

उसके बाद, आप हमारे घन के प्रदर्शन की जांच कर सकते हैं। ऐसा करने के लिए, ब्राउज़र बार में, आप दर्ज कर सकते हैं:

लोकलहोस्ट : 5000 / घन / irbd_balance / समुच्चय? ड्रिलडाउन = वर्ष

जवाब में, हमें अपने डेटा के एकत्रीकरण के परिणाम के साथ एक json वस्तु मिलती है। सर्वर प्रतिक्रिया प्रारूप के बारे में और अधिक पढ़ें।

क्यूब्सव्यूअर स्थापित करें

जब हमने अपने क्यूब को कॉन्फ़िगर किया है, तो हम उप-साक्षात्कारकर्ता की स्थापना के साथ आगे बढ़ सकते हैं। ऐसा करने के लिए, अपनी डिस्क पर रिपॉजिटरी की प्रतिलिपि बनाएँ:

 git clone https://github.com/nonsleepr/cubesviewer.git
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

और फिर बस / src फ़ोल्डर की सामग्री को वांछित स्थान पर ले जाएं।

यह ध्यान दिया जाना चाहिए कि क्यूब्सव्यूअर एक Django अनुप्रयोग है, इसलिए, इसे Django (संस्करण 1.4 से अधिक नहीं) की आवश्यकता है , साथ ही अनुरोध और django- पिस्टन पैकेज भी। क्योंकि चूँकि Django का यह संस्करण पहले से ही पुराना है, इसलिए मैंने ऊपर एक लिंक दिया था, जहाँ से Django 1.6 के लिए उप-साक्षात्कारकर्ता प्राप्त करना था।

इसे स्थापित करना मूल से थोड़ा अलग है जिसमें आपको slicer.ini



सर्वर फाइल फ़ाइल में [server]



सेक्शन में लाइन जोड़ने की आवश्यकता है allow_cors_origin: localhost:8000





उसके बाद, आपको फ़ाइल {CUBESVIEWER_DIR} /web/cvapp/settings.py फ़ाइल में कॉन्फ़िगर करना होगा । डेटाबेस सेटिंग्स निर्दिष्ट करके, OLAP सर्वर पता ( CUBESVIEWER_CUBES_URL



चर) और CUBESVIEWER_CUBES_URL



पता ( CUBESVIEWER_BACKEND_URL



)

यह डजनो-पिस्टन में एक छोटे से तय करने के लिए बनी हुई है

अब आप डेटाबेस के साथ हमारे आवेदन को सिंक्रनाइज़ कर सकते हैं। ऐसा करने के लिए, {CUBESVIEWER_DIR} / web / cvapp से आपको करना होगा:

 python manage.py syncdb
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

यह स्थानीय Django सर्वर को शुरू करने के लिए बनी हुई है

 python manage.py runserver
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अब यह ब्राउज़र के माध्यम से CUBESVIEWER_BACKEND_URL



में निर्दिष्ट पते पर जाना है। और तैयार परिणाम का आनंद लें।

निष्कर्ष

काम का वर्णन करने के लिए, मैंने सबसे सरल उदाहरण लिया। यह ध्यान दिया जाना चाहिए कि उत्पादन परियोजनाओं के लिए क्यूब्स को अपाचे या uswgi पर उदाहरण के लिए तैनात किया जा सकता है। खैर, इस लेख का उपयोग करके क्यूब्सव्यूअर को कनेक्ट करना मुश्किल नहीं है।

यदि विषय समुदाय के लिए दिलचस्प है, तो मैं भविष्य के एक लेख में इसका खुलासा करूंगा।