बैकअप, रिकवरी और डेटा माइग्रेशन के लिए बल्क लोडर का उपयोग करना

Google सर्वर पर डेटा को / से स्टोरेज के लिए डाउनलोड करने के लिए Google App Engine में Bulkloader एक इंटरफ़ेस है। बल्कलोडर एप्लिकेशन डेटा के बैकअप / रिकवरी / माइग्रेशन के लिए उपयोग करना सुविधाजनक है, हालांकि, उपयोग के प्रलेखन और उदाहरण विनाशकारी रूप से छोटे हैं, और एक जटिल एप्लिकेशन पर आप विभिन्न समस्याओं और बग्स में आएंगे। मैं खुद काफी समय से सूचना के विभिन्न स्रोतों को खोद रहा हूं, एसडीके के स्रोत कोड में देरी कर रहा हूं, कीड़े पढ़ रहा हूं, अपने काम के दौर लिख रहा हूं; और अब मैं एक विस्तृत लेख के रूप में कुछ फल पेश करने के लिए तैयार हूं।



लेख बहुत बड़ा है, ध्यान रखें।



मैं विशेष रूप से ऐप इंजन एप्लिकेशन बनाने के विवरण में नहीं जाऊंगा, इस विषय को बार-बार उठाया गया है और उदाहरण समुद्र में पाए जा सकते हैं, जिसमें रूसी भी शामिल है। हालांकि, सिंथेटिक उदाहरणों को आमतौर पर खराब माना जाता है, इसलिए हम "वास्तविक" एप्लिकेशन पर विचार करेंगे - व्यक्तिगत ब्लॉग इंजन, विषय सभी के लिए अच्छी तरह से जाना जाता है और समझा जा सकता है। और बैकअप फ़ाइल प्रारूप के रूप में, हम सादे XML का चयन करेंगे।



दस्तावेज़ीकरण की वापसी यहाँ भी नहीं होगी।

शब्दावली

कोई रूसी-भाषी स्थापित शब्दावली नहीं है, इसलिए मैंने खुद को "वर्ग" या "प्रकार" कहकर कुछ स्वतंत्रता की अनुमति दी। इकाई एक इकाई बनी हुई है।



आयात = विघटन = वसूली। निर्यात = क्रमांकन = बैकअप।

ट्रेनिंग

इसके बाद हम स्थानीय यूनिक्स / लिनक्स मशीन पर जीएई एसडीके संस्करण 1.4.1 या उच्चतर का उपयोग करते हैं, खिड़कियों पर सब कुछ लगभग समान है। जब Google सर्वर पर एप्लिकेशन के साथ काम करते हैं, तो कुछ बारीकियां होती हैं, लेकिन आप आधिकारिक दस्तावेज में उनके बारे में पढ़ सकते हैं, यहां हम अभी भी केवल स्थानीय सर्वर के साथ काम करते हैं।



कंसोल में निष्पादन के लिए मुख्य GAE SDK प्रोग्राम (appcfg.py, dev_appserver.py) उपलब्ध होना चाहिए (SDK पथ उपयुक्त पर्यावरण चर में लिखे गए हैं, उदाहरण के लिए)।

बल्क लोडर क्या है

बल्कलोडर एक पायथन फ्रेमवर्क है और इसका उपयोग करने के लिए आपको न केवल कॉन्फ़िगरेशन फ़ाइलों को लिखना होगा, बल्कि कोड भी लिखना होगा। लेकिन, ढांचे में महारत हासिल करने से, आपको ऐप इंजन के अंदर अपने सर्वर से डेटा को बचाने और पुनर्स्थापित करने के लिए एक बहुत शक्तिशाली तंत्र मिलेगा।



आप स्थानीय मशीन पर डेटा को संग्रहीत करने के लिए किस प्रारूप में चुनते हैं, और बल्क लोडर उन्हें कुछ नियमों (आयात और निर्यात) के अनुसार परिवर्तित करता है। लेख के अंत में एक लिंक है जहां आप बल्क लोडर के बारे में अधिक जान सकते हैं।



बल्क लोडर को काम करने के लिए, एप्लिकेशन को पहले एपीआई तक पहुंच बिंदु को सक्षम करना होगा। तो, Remote_api को सक्षम करें, इसके लिए एप्लिकेशन कॉन्फिग (app.yaml) में एक सेक्शन जोड़ें (यदि यह नहीं है)

  builtins:
 - Remote_api: पर 

इस अनुभाग में http: // servername / _ah / Remote_api पर API का एक्सेस बिंदु शामिल है, डिफ़ॉल्ट सेटिंग्स वाले स्थानीय सर्वर के लिए यह http: // localhost: 8080 / _ah / remote_api होगा।

डेटा स्कीमा

चलो एप्लिकेशन डेटा स्कीमा के साथ शुरू करते हैं। ब्लॉग के लिए सबकुछ स्पष्ट है: लेख (लेख), टिप्पणियाँ (अनुच्छेद संग्रह), रेंडर किए गए लेख (रेंडरर्ड आर्टिकल)। टिप्पणियाँ एक पेड़ में प्रस्तुत की जाती हैं। Html में प्रदान किया गया एक लेख एक अलग भंडारण इकाई में संग्रहीत है।



इकाई वर्ग निम्नानुसार एक दूसरे को संदर्भित करते हैं:



लेख → RenderedArticle (लेख में प्रस्तुत लेख के लिए लिंक)

ArticleComment → लेख (टिप्पणी से लेख का लिंक)

ArticleComment → ArticleComment (मूल टिप्पणी के लिए लिंक)

class RenderedArticle(db.Model): html_body = db.TextProperty(required=True) class Article(db.Model): shortcut = db.StringProperty(required=True) title = db.StringProperty(required=True) body = db.TextProperty(required=True) html_preview = db.TextProperty() rendered_html = db.ReferenceProperty(RenderedArticle) published = db.DateTimeProperty(auto_now_add=True) updated = db.DateTimeProperty(auto_now_add=True) tags = db.StringListProperty() is_commentable = db.BooleanProperty() is_draft = db.BooleanProperty() class ArticleComment(db.Model): parent_comment = db.SelfReferenceProperty() name = db.StringProperty() email = db.StringProperty() homepage = db.StringProperty() body = db.TextProperty(required=True) html_body = db.TextProperty(required=True) published = db.DateTimeProperty(auto_now_add=True) article = db.ReferenceProperty(Article) ip_address = db.StringProperty() is_approved = db.BooleanProperty(default=False) is_subscribed = db.BooleanProperty(default=False)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

मॉडल दिखाते हैं कि कई अलग-अलग प्रकार के डेटा का उपयोग किया जाता है: दो प्रकार के लिंक, दिनांक, तार, बूलियन मान, सूचियां। आगे देखते हुए, मैं ध्यान देता हूं कि सबसे बड़ी समस्याएं सूचियों और लिंक के साथ उत्पन्न हुई हैं।

बल्क लोडर ऑपरेशन का सत्यापन

हम डेटाबेस को भरते हैं और एपीआई के माध्यम से बल्क लोडर के संचालन की जांच करते हैं:

  appcfg.py download_data --email = doesntmatter -एक वेयरवोर्ड --url = http: // localhost: 8080 / _ah / Remote_api --kind = Article --filename = out.dat 

हम ए-पैरामीटर में आवेदन का नाम निर्दिष्ट करते हैं, --मेल पैरामीटर में कोई भी लाइन (यह स्थानीय सर्वर के लिए कोई फर्क नहीं पड़ता), - मानव जाति के पैरामीटर में - वह इकाई वर्ग जिसे हम डाउनलोड करना चाहते हैं (download_data तर्क को देखें)। कमांड निष्पादित होने के बाद (केवल पासवर्ड अनुरोध पर Enter दबाएं) निर्दिष्ट इकाई वर्ग (आउट। डीएटी) के बैकअप के साथ एक फ़ाइल और विभिन्न लॉग्स (प्रपत्र बल्क लोडर- * की फाइलें) का एक गुच्छा वर्तमान निर्देशिका में दिखाई देगा। डिफ़ॉल्ट रूप से, SQLITE3 प्रारूप बैकअप के लिए उपयोग किया जाता है, आप परिणामी फ़ाइल (out.dat) को किसी भी SQLITE3 दर्शक में खोल सकते हैं और उसका अध्ययन कर सकते हैं। इसकी संरचना व्यावहारिक उपयोग (उदाहरण के लिए, माइग्रेशन) के लिए कम उपयोग की है, इसलिए हम बल्कलोडर के लिए कॉन्फ़िगरेशन (और अन्य संबंधित फाइलें) लिखना जारी रखेंगे ताकि डेटा एक प्रारूप में निर्यात किया जाए जो हमारे लिए अधिक सुविधाजनक हो।

बल्क लोडर के लिए एक विन्यास फाइल लिखना

एसडीके का वर्तमान संस्करण दो डेटा निर्यात / आयात प्रारूपों का समर्थन करता है: सीएसवी और एक्सएमएल, हम दूसरे का उपयोग करेंगे। कॉन्फ़िगरेशन फ़ाइल आपके लिए एक परिचित YAML फ़ाइल है, यह वर्णन करती है कि संग्रहण से डेटा निर्यात / आयात करते समय डेटा परिवर्तन कैसे किया जाता है। आधिकारिक दस्तावेज कहता है कि एप्लिकेशन से मूल कॉन्फ़िगरेशन कैसे उत्पन्न करें, लेकिन हम इसे स्क्रैच से लिखेंगे। हम इस फाइल को config.yaml कहेंगे, आमतौर पर मैं एप्लिकेशन ट्री में एक अलग बैकअप डायरेक्टरी बनाता हूं और इसमें मुझे जो कुछ भी चाहिए, वह व्यावहारिक रूप से मुख्य एप्लिकेशन के साथ इंटरसेक्ट नहीं होता है।



शुरुआत में - python_preamble सेक्शन में - उन python मॉड्यूल को परिभाषित किया जाता है जिनकी आवश्यकता निर्यात / आयात प्रक्रिया में होगी। यहां मॉड्यूल के "जेंटलमैन सेट", बेस 64 और री मानक पायथन मॉड्यूल हैं, Google। * एसडीके से मॉड्यूल हैं, और हेल्पर्स हमारा खुद का मॉड्यूल है, हेल्पर्सडैम फ़ाइल वर्तमान निर्देशिका में स्थित है। Helpers.py में, हमारे पास डेटा आयात / निर्यात करने के लिए विभिन्न वर्कअराउंड और अन्य उपयोगी कार्य होंगे, लेकिन शुरुआत में उस नाम के साथ एक खाली फ़ाइल बनाएं, हम बाद में कोड जोड़ देंगे।

 python_preamble: - import: base64 - import: re - import: google.appengine.ext.bulkload.transform - import: google.appengine.ext.bulkload.bulkloader_wizard - import: google.appengine.ext.db - import: google.appengine.api.datastore - import: google.appengine.api.users - import: helpers
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

कॉन्फ़िगरेशन का अगला भाग ट्रांसफार्मर है, यह स्थानीय बैकअप प्रारूप में संस्थाओं के "कन्वर्टर्स" का वर्णन करता है और इसके विपरीत। यहां आपको उस इकाई वर्ग के सभी क्षेत्रों का वर्णन करना होगा जिनकी आपको आवश्यकता है। प्रत्येक इकाई वर्ग को एक अलग सेक्शन में वर्णित किया जाता है जिसे प्रकार कहा जाता है, यहाँ इस तरह के सेक्शन का सबसे सरल उदाहरण है, इसमें हम अनुच्छेद क्लास के लिए कन्वर्टर का वर्णन करते हैं:

 transformers: - kind: Article connector: simplexml #   connector_options: #   xpath_to_nodes: "/blog/Articles/Article" # XPath,          style: element_centric #    XML,    — - property_map: - property: __key__ external_name: key export_transform: transform.key_id_or_name_as_string
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

एक छोटा नोट, XPath समर्थन बहुत कमजोर है, आप वास्तव में "/ AAA / BBB / CCC" फ़ॉर्म के केवल भावों का उपयोग कर सकते हैं।



अब बस बनाए गए कॉन्फिगर (विकल्प --config) का उपयोग करके सर्वर से डेटा डाउनलोड करें:

  appcfg.py download_data --email = doesntmatter -एक वेयरवोर्ड --url = http: // localhost: 8080 / _ah / Remote_api --kind = Article --config = test.yaml --flename = Article.xml 

और हमें दो वस्तुओं के बारे में डेटा वाला XML प्राप्त होता है:

 <?xml version="1.0"?> <blog> <Articles> <Article> <key>6</key> </Article> <Article> <key>8</key> </Article> </Articles> </blog>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

कृपया ध्यान दें कि XML में केवल वे फ़ील्ड शामिल हैं जिन्हें हमने ट्रांसफॉर्मर अनुभाग में कॉन्फ़िगरेशन फ़ाइल में वर्णित किया था; हमारे मामले में, यह केवल एक रिकॉर्ड कुंजी है। Export_transform पैरामीटर में, हमने इस फ़ील्ड के लिए एक विशिष्ट कनवर्टर निर्दिष्ट किया है - transform.key_id_or_name_as_string। यह google.appengine.ext.bulkload.transform मॉड्यूल से एक फ़ंक्शन है। अन्य प्रकार के क्षेत्रों के लिए, अन्य कनवर्टर फ़ंक्शंस का उपयोग किया जाता है, और अजगर में एक नियमित मेमने की अभिव्यक्ति इस तरह के एक कनवर्टर के रूप में कार्य कर सकती है।



और अब अनुच्छेद इकाई वर्ग का वर्णन करता है कि विन्यास का पूरा टुकड़ा:

 - kind: Article connector: simplexml connector_options: xpath_to_nodes: "/blog/Articles/Article" style: element_centric property_map: - property: __key__ external_name: key export_transform: transform.key_id_or_name_as_string - property: rendered_html external_name: rendered-html export_transform: transform.key_id_or_name_as_string # deep key! It's required here! import_transform: transform.create_deep_key(('Article', 'key'), ('RenderedArticle', transform.CURRENT_PROPERTY)) - property: shortcut external_name: shortcut - property: body external_name: body - property: title external_name: title - property: html_preview external_name: html-preview - property: published external_name: published export_transform: transform.export_date_time('%Y-%m-%dT%H:%M') import_transform: transform.import_date_time('%Y-%m-%dT%H:%M') - property: updated external_name: updated export_transform: transform.export_date_time('%Y-%m-%dT%H:%M') import_transform: transform.import_date_time('%Y-%m-%dT%H:%M') - property: tags external_name: tags import_transform: "lambda x: x is not None and len(x) > 0 and eval(x) or []" - property: is_commentable external_name: is-commentable import_transform: transform.regexp_bool('^True$') - property: is_draft external_name: is-draft import_transform: transform.regexp_bool('^True$')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

आइए इसका विस्तार से विश्लेषण करें। ऑब्जेक्ट के प्रत्येक क्षेत्र के लिए, संपत्ति पैरामीटर निर्दिष्ट किया जाता है, जो इस क्षेत्र के लिए डेटा रूपांतरण नियमों का वर्णन करता है।



एक्सएमएल फ़ाइल में संबंधित तत्व का नाम बाहरी_नाम पैरामीटर सेट करता है।



पैरामीटर में import_transform डेटा आयात करने के लिए एक फ़ंक्शन है, यह डेटा को बैकअप से फ़ील्ड के वांछित डेटा प्रकार में कनवर्ट करता है। हम यह मान सकते हैं कि यह वांछनीयता है।



Export_transform पैरामीटर में, फ़ील्ड को टेक्स्ट में परिवर्तित करने का कार्य जो बैकअप, डेटा क्रमांकन के लिए लिखा जाएगा।



सरल प्रकारों के लिए (स्ट्रिंग, उदाहरण के लिए), आयात और निर्यात कार्यों का एक स्पष्ट विवरण आवश्यक नहीं है; मानक का उपयोग किया जाता है, जो काफी पर्याप्त है। हम अन्य प्रकारों के बारे में अलग से बात करेंगे।



आइए rend_html फ़ील्ड से शुरू करें, यह है, सबसे पहले, किसी अन्य वर्ग की वस्तु का संदर्भ (हमारे मामले में, RenderedArticle), और दूसरी बात, RenderedArticle वर्ग का यह ऑब्जेक्ट अनुच्छेद वर्ग के संबंधित ऑब्जेक्ट का एक बच्चा है। इसलिए, डीरिएरलाइज़ेशन के दौरान, ऑब्जेक्ट के लिए एक वैध संदर्भ "निर्माण" करना आवश्यक है, यह दो क्षेत्रों के मानों से किया जाता है जो कि मानक ट्रांसफॉर्मेशन का उपयोग कर रहा है ।reate_deep_key विधि:

  - property: rendered_html external_name: rendered-html export_transform: transform.key_id_or_name_as_string # deep key! It's required here! import_transform: transform.create_deep_key(('Article', 'key'), ('RenderedArticle', transform.CURRENT_PROPERTY))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

कृपया ध्यान दें कि आयात / Export_transform पैरामीटर में एक फ़ंक्शन के लिए अग्रणी भाव होना चाहिए जो एक तर्क लेता है और एक मान लौटाता है। और ऊपर के उदाहरण में, हम एक फ़ंक्शन को विशिष्ट तर्कों के साथ देखते हैं, यह फ़ंक्शन एक प्रकार का डेकोरेटर है और डेटा रूपांतरण के लिए पहले से तैयार किए गए फ़ंक्शन को लौटाता है। transform.create_deep_key इनपुट के रूप में कई दो-तत्व tuples को स्वीकार करता है, जिनमें से प्रत्येक वस्तुओं के संबंधों की श्रृंखला में एक स्तर को दर्शाता है, और tuple में इकाई वर्ग का नाम और तत्व का नाम (XML फ़ाइल से) होता है; इन क्षेत्रों से, एक महत्वपूर्ण मूल्य उत्पन्न होता है।



हमारे मामले में, श्रृंखला में दो ऑब्जेक्ट होते हैं, और हम रिलेशन चेन से वर्तमान ऑब्जेक्ट के फील्ड नाम से छुटकारा पाने के लिए value transform.CURRENT_PROPERTY का उपयोग करते हैं। सिद्धांत रूप में, बदले के बजाय। CURRENT_PROPERTY, रेंडर_एचटीएमएल लिखना पूरी तरह से संभव है।



दिनांक वाले फ़ील्ड को भी एक विशेष दृष्टिकोण की आवश्यकता होती है, लेकिन यहां सब कुछ सरल है - हम एसडीके से फ़ंक्शन जनरेटर का उपयोग करते हैं, हम तर्क में दिनांक / समय प्रारूपण टेम्पलेट निर्दिष्ट करते हैं:

  - property: published external_name: published export_transform: transform.export_date_time('%Y-%m-%dT%H:%M') import_transform: transform.import_date_time('%Y-%m-%dT%H:%M')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

स्ट्रिंग की एक सूची के साथ फ़ील्ड, यहाँ मानक विधि का उपयोग क्रमांकन के लिए किया जाता है, इसलिए आपको कुछ भी लिखने की आवश्यकता नहीं है, लेकिन आयात के लिए एक विशेष दृष्टिकोण की आवश्यकता होती है:

  - property: tags external_name: tags import_transform: "lambda x: x is not None and len(x) > 0 and eval(x) or []"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

निर्यात करते समय (क्रमबद्ध), तार की सूची इस तरह के एक तत्व में बदल जाती है:

 <tags>[u'x2', u'another string']</tags>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

हालाँकि, स्ट्रिंग की एक खाली सूची को रिक्त स्ट्रिंग में बदल दिया जाता है:

 <tags></tags>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

और जब मानक कनवर्टर का उपयोग करके आयात किया जाता है, तो एक खाली फ़ील्ड को किसी भी मूल्य में नहीं बदला जाएगा, जो स्पष्ट रूप से, एक मान्य सूची नहीं है और इस क्षेत्र को आवेदन में पढ़ने की कोशिश करते समय समस्याएं पैदा करेगा। इसलिए, हम एक लैम्ब्डा अभिव्यक्ति का उपयोग करते हैं जो सही (अपेक्षाकृत) रूपांतरण करता है। हालाँकि, SDK में बग के कारण , यह अभी भी आपकी बहुत मदद नहीं करेगा, क्योंकि त्रुटि फ़ील्ड प्रकार के सत्यापनकर्ता में है।



बूलियन फ़ील्ड्स के साथ काम करते समय, हम डीरिएरलाइज़ेशन के लिए एक साधारण कनवर्टर का उपयोग करते हैं:

  - property: is_commentable external_name: is-commentable import_transform: transform.regexp_bool('^True$')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

मानक निर्यात में, बूलियन मूल्यों को "ट्रू" और "गलत" स्ट्रिंग्स में परिवर्तित किया जाता है, जबकि हम आयात करते समय एक और भी सामान्य विधि का उपयोग करते हैं - केवल "ट्रू" स्ट्रिंग को ट्रू में परिवर्तित किया जाता है, और शेष सभी को फाल्स में बदल दिया जाता है।



आर्टिकल क्लास की इम्पोर्टेड ऑब्जेक्ट्स के साथ एक्सएमएल फाइल कुछ इस तरह दिखती है:

 <?xml version="1.0"?> <blog> <Articles> <Article> <body>aaa bbb ccc</body> <updated>2011-01-20T08:19</updated> <key>6</key> <is-draft>False</is-draft> <title>this is new article</title> <html-preview><p>aaa bbb ccc</p></html-preview> <tags></tags> <shortcut>short-cut-1295418565</shortcut> <rendered-html>7</rendered-html> <published>2011-01-19T06:29</published> <is-commentable>True</is-commentable> </Article> <Article> <body>ff gg hh</body> <updated>2011-01-19T06:30</updated> <key>8</key> <is-draft>False</is-draft> <title>another article</title> <html-preview><p>ff gg hh</p></html-preview> <tags>[u'x2']</tags> <shortcut>short-cut-1295418590</shortcut> <rendered-html>9</rendered-html> <published>2011-01-19T06:29</published> <is-commentable>True</is-commentable> </Article> </Articles> </blog>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ऑब्जेक्ट रिलेशनशिप चेन के साथ काम करना

वस्तुओं के बीच संबंध या निर्भरता को कुछ इकाई वर्ग की वस्तु बनाते समय मूल तर्क का उपयोग करके बनाया जाता है। मूल में निर्दिष्ट के रूप में नई वस्तु संस्थाओं के एक ही समूह में आती है। यह दृष्टिकोण आपको उपयोग करने की अनुमति देता है, उदाहरण के लिए, डेटा अखंडता बनाए रखने के लिए लेनदेन। आयात और निर्यात के दौरान संबंधों की श्रृंखला को एक विशेष तरीके से नियंत्रित किया जाना चाहिए। और कई बारीकियां हैं जो हम नीचे विचार करेंगे।



तो, हमारे पास अनुच्छेद इकाई वर्ग है, इस प्रकार की वस्तुएं लेख हैं, इसमें मार्कअप भाषा में लेख का स्रोत कोड, एक छोटा पूर्वावलोकन और अन्य आधिकारिक जानकारी शामिल है। और HTML कोड में प्रस्तुत लेख का पाठ RenderedArticle वर्ग के एक अलग ऑब्जेक्ट में संग्रहीत किया जाता है। ऐप इंजन द्वारा अपनाई गई वस्तु के कुल आकार पर प्रतिबंध को दरकिनार करने के लिए एक अलग इकाई वर्ग में प्रदान किए गए पाठ का पृथक्करण किया गया था, और वास्तव में अनुच्छेद और रेन्डर्डआर्टिकल ऑब्जेक्ट एक-से-एक संबंध में कार्य करते हैं। RenderedArticle object एक ही निकाय समूह में Article Object के रूप में बनाया जाता है।



यहाँ RenderedArticle निकाय वर्ग के लिए config.yaml config का हिस्सा है

 - kind: RenderedArticle connector: simplexml connector_options: xpath_to_nodes: "/blog/RenderedArticles/Article" style: element_centric property_map: - property: __key__ external_name: key export: - external_name: ParentArticle export_transform: transform.key_id_or_name_as_string_n(0) - external_name: key export_transform: transform.key_id_or_name_as_string_n(1) import_transform: transform.create_deep_key(('Article', 'ParentArticle'), ('RenderedArticle', transform.CURRENT_PROPERTY)) - property: html_body external_name: html-body
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ध्यान दें कि ऊपर दिए गए उदाहरण में डेटा निर्यात कैसे वर्णित है। सबसे पहले, ऑब्जेक्ट का एक प्रमुख फ़ील्ड बैकअप में दो तत्वों में परिवर्तित होता है। दूसरे, आयात पर, मुख्य क्षेत्र दो तत्वों के मूल्यों से "इकट्ठा" है - पेरेंटआर्टिकल और कुंजी। ट्रांस्फ़ॉर्म .key_id_or_name_as_string_n (0) कोड एक फ़ंक्शन देता है, जो कुंजी फ़ील्ड पर निष्पादन के परिणामस्वरूप, कंपोज़िट कुंजी के निर्दिष्ट घटक को लौटाता है।



इस कॉन्फ़िगरेशन के आधार पर उत्पन्न XML कुछ इस तरह दिखता है:

 <?xml version="1.0"?> <blog> <RenderedArticles> <Article> <ParentArticle>6</ParentArticle> <html-body><p>aaa bbb ccc</p></html-body> <key>7</key> </Article> <Article> <ParentArticle>8</ParentArticle> <html-body><p>ff gg hh</p></html-body> <key>9</key> </Article> </RenderedArticles> </blog>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अब हम ArticleComment वर्ग की एक वस्तु के निर्यात-आयात पर विचार करेंगे, मुझे याद है कि टिप्पणियाँ एक पेड़ हैं, अर्थात्, एक टिप्पणी में "माता-पिता" टिप्पणी हो सकती है, इसके अलावा, प्रत्येक टिप्पणी में मूल पोस्ट का लिंक है।

 - kind: ArticleComment connector: simplexml connector_options: xpath_to_nodes: "/blog/Comments/Comment" style: element_centric property_map: - property: __key__ external_name: key export_transform: transform.key_id_or_name_as_string import_transform: transform.create_deep_key(('Article', 'article'), ('ArticleComment', transform.CURRENT_PROPERTY)) - property: parent_comment external_name: parent-comment export_transform: transform.key_id_or_name_as_string import_transform: helpers.create_deep_key(('Article', 'article'), ('ArticleComment', transform.CURRENT_PROPERTY)) - property: article external_name: article export_transform: transform.key_id_or_name_as_string import_transform: transform.create_foreign_key('Article') - property: name external_name: name - property: body external_name: body
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

पहली नज़र में, सब कुछ सरल दिखता है, लेकिन एक बिंदु पर कन्वर्टर्स का "डिफ़ॉल्ट" व्यवहार टूट जाता है। ध्यान दें कि parent_comment फ़ील्ड कोई भी नहीं हो सकती है, जो एक शीर्ष-स्तरीय टिप्पणी को इंगित करता है। यदि हम आयात प्रक्रिया के दौरान transform.create_deep_key पद्धति का उपयोग करते हैं, तो हमें मूल्य पर कोई त्रुटि नहीं मिलती है:

  BadArgumentError: पूर्णांक आईडी या स्ट्रिंग नाम 4 तर्क के रूप में अपेक्षित;  कोई नहीं (एक नहीं टाइप) प्राप्त किया। 

मैंने इस त्रुटि के बारे में एक बग भी बनाया है , लेकिन अभी तक मुझे डेवलपर्स से कोई प्रतिक्रिया नहीं मिली है। इस बग के इर्द-गिर्द काम करने के लिए, helpers.py फ़ाइल का उपयोग करें, जहाँ हम बदलने का स्थान देते हैं। चारों ओर का काम बहुत सरल है, हम केवल कुंजी उत्पन्न करते हैं यदि मूल्य कोई नहीं है:

 def create_deep_key(*path_info): f = transform.create_deep_key(*path_info) def create_deep_key_lambda(value, bulkload_state): if value is None: return None return f(value, bulkload_state) return create_deep_key_lambda
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

टिप्पणियों में, मैं आपको इस समारोह में क्या हो रहा है, इसके बारे में अधिक बता सकता हूं, अगर कोई दिलचस्पी रखता है।



इस प्रकार, ऑब्जेक्ट के लिए एक वैकल्पिक संदर्भ के साथ सही ढंग से बहाल किया जाएगा।



अब हम लेख क्षेत्र के साथ काम कर रहे हैं, जिसमें उस लेख का लिंक है जिसमें टिप्पणियाँ हैं। ऑब्जेक्ट के संदर्भ को पुनर्स्थापित करने के लिए, हम transform.create_foreign_key पद्धति का उपयोग करते हैं, यह इसी तरह से transform.create_deep_key पद्धति पर काम करता है, लेकिन रिश्ते की चेन को ध्यान में रखे बिना। यहां मैं एक संभावित बग पर ध्यान आकर्षित करना चाहता हूं, अगर ऑब्जेक्ट का लिंक खाली है, तो रिकवरी के दौरान आप ऊपर दिए गए पैराग्राफ के एक जोड़े के समान त्रुटि का सामना करेंगे।

निष्कर्ष

बल्क लोडर के साथ काम करना पहले से ही काफी संभव है, लेकिन बहुत सावधानी से। आपको लगातार घोषणाओं पर नजर रखने और एसडीके के प्रत्येक रिलीज के बाद प्रलेखन को ध्यान से पढ़ने की आवश्यकता है, क्योंकि सभी परिवर्तन चैंज में नहीं आते हैं। बाइनरी डेटा के साथ काम करने का अवलोकन भी पीछे छोड़ दिया गया था, लेकिन यहां सब कुछ सरल है:

  - property: data external_name: data export_transform: base64.b64encode import_transform: transform.blobproperty_from_base64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अगली बार हम GAE-python-django अनुप्रयोगों में स्थानीयकरण सुविधाओं के बारे में बात करेंगे।

संदर्भ

• थोक लोडर प्रलेखन होम पेज
• Google IO'2010 पर बल्क लोडर की प्रस्तुति के साथ पीडीएफ , मैं अत्यधिक देखने की सलाह देता हूं, इस सबसिस्टम के संचालन की पूरी योजना विस्तार से वर्णित है
• बल्क लोडर डेमो , प्रस्तुति उदाहरण
• एक परीक्षण परियोजना जिस पर मैं GAE के साथ काम करने के तरीकों में "रन" करता हूं।