मैपर एपीआई का उपयोग करके सत्रों से डेटास्टोर को साफ करने में क्या खर्च होता है

जिन लोगों ने अपने जीएई आवेदन में सत्र का समर्थन शामिल किया है, वे जानते हैं कि सत्र, सबसे पहले, डेटास्टोर में दर्ज किए जाते हैं, और दूसरी बात, वे स्वचालित रूप से वहां से गायब नहीं होते हैं। बासी सत्र से आपको किसी तरह अपने आप को दूर करने की आवश्यकता है।



मैंने किसी तरह फीके सत्रों की परवाह नहीं की, और डेढ़ साल में उन्होंने डेढ़ मिलियन टुकड़े जमा किए। हाल ही में, डेटास्टोर में संग्रहीत डेटा का आकार मुक्त कोटा को पार कर गया और, चूंकि 99% सत्रों पर कब्जा कर लिया गया था, मैंने बेईमानी को हटाने का फैसला किया।











बेशक, इस उद्देश्य के लिए हाल ही में जारी मैपर एपीआई का उपयोग नहीं करना एक पाप था। एक साधारण मैपर का वर्णन किया। शुरुआत के लिए, मैंने हटाने के बिना, सिर्फ गिनती करने का फैसला किया:

public class SessionCleanupMapper extends AppEngineMapper<Key, Entity, NullWritable, NullWritable> { @Override public void map(Key key, Entity value, Context context) { Object expiresProperty = value.getProperty("_expires"); if (expiresProperty instanceof Long) { long expiresTimestamp = ((Long)expiresProperty).longValue(); if (expiresTimestamp < System.currentTimeMillis()) { context.getCounter("Session", "expired").increment(1); // DatastoreMutationPool mutationPool = this.getAppEngineContext(context).getMutationPool(); // mutationPool.delete(value.getKey()); } } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

और लॉन्च किया। गियर ख़राब हो गए, जीएई चार हाथ मेरे सत्रों को छेड़ने लगे। कुछ घंटों के बाद, मैंने पाया कि यह स्थल कोटा से अधिक था। उन्होंने कंसोल को देखा और देखा कि सीपीयू कोटा (8.5 सीपीयू घंटे) समाप्त हो गया था। मैं हैरान था। कोटा बढ़ाया और अगले दिन फिर से मानचित्रण शुरू किया, अब लाइनों को हटाकर उन इकाइयों को हटा दिया गया है।



उर। केवल 2.5 घंटे के निरपेक्ष समय में, क्लाउड मेगा-प्रौद्योगिकियों ने काम किया, अंततः 22 सीपीयू घंटों का उपभोग किया।









मैंने इसके बारे में सोचा। बादलों में कुछ गड़बड़ है। मैंने कोशिश नहीं की है, लेकिन किसी कारण से मुझे लगता है कि MySQL भी संभाल सकता है

 DELETE FROM _ah_SESSION WHERE _expires < NOW()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

कुछ ही मिनटों में। एक लाख लाइनों के साथ भी और दो मिलियन के साथ भी। लेकिन यह बहुत पुराने जमाने का है, सभी एक मशीन पर, बिना माप्यता और अतिरेक के, और यह सब ...



अद्यतन: डेटास्टोर से सत्र निकालने के लिए, मैप्रेडिक लिखना आवश्यक नहीं है, आप कर्सर के साथ मैजिक सर्वलेट और मैन्युअल रूप से पुनरावृति खींच सकते हैं। लेकिन यह गणना करने के लिए कि उनमें से कितने हर दिन खराब हो गए (कुछ का चयन करें जैसे (*) से _ah_SESSION ग्रुप बाय _ डेक्सटायर / (86400 * 1000)) किसी ने भी सर्वलेट नहीं लिखा, और सबसे अधिक संभावना है कि आपको अभी भी मैप्रेडिक ड्राइव करना होगा, कुछ इस तरह से। एक आदिम DBMS का एक ही नुकसान।