ट्विटर: प्रति दिन 1 बिलियन अनुरोध और एक नया खोज इंजन

वर्तमान में, ट्विटर सर्वर पर लोड 1000 TPS (प्रति सेकंड ट्वीट) और 12000 QPS (प्रति सेकंड अनुरोध) हो गया है - प्रति दिन 1 बिलियन से अधिक अनुरोध। मौजूदा बुनियादी ढांचा अभी भी खड़ा है, लेकिन आगे कई वर्षों के लिए एक रिजर्व बनाने के लिए, कंपनी ने खोज इंजन के लिए बैकएंड को अपडेट करने का फैसला किया। "अगर हमने अच्छी तरह से काम किया है, तो आपको हाल के हफ्तों में कुछ भी ध्यान नहीं देना चाहिए," ट्विटर डेवलपर्स ब्लॉग ने कहा।



कुछ समय पहले तक, ट्विटर सर्च बैकएंड पुराने सारांश SQL सिस्टम पर आधारित था। यह जुलाई 2008 में इन उद्देश्यों के लिए खरीदा गया था, और छह डेवलपर्स में से पांच को भी लिया था। IPhone 3 जी की प्रस्तुति के तुरंत बाद ट्विटर को अपग्रेड करने की आवश्यकता स्पष्ट हो गई, फिर सारांश के साथ सहयोग शुरू हुआ। लेकिन अब फिर से अपडेट करने का समय आ गया है।



लगभग छह महीने पहले, एक रिलेशनल डेटाबेस के बजाय एक प्रभावी उल्टे सूचकांक के आधार पर एक नई, आधुनिक खोज वास्तुकला विकसित करने का निर्णय लिया गया था। चूंकि ट्विटर को ओपन सोर्स पसंद है, इसलिए उन्होंने समाधान के लिए शुरुआती बिंदु के रूप में जावा में लिखी गई अपाचे ल्यूसीन खोज लाइब्रेरी को चुना।



नए खोज इंजन की आवश्यकताएं अच्छी मापनीयता और अधिकतम अनुक्रमण गति थीं। यह कार्य निर्धारित किया गया था कि एक ट्वीट के प्रकाशन से लेकर पूर्ण-पाठ खोज की संभावना तक, इस पर 10 सेकंड से अधिक नहीं गुजरना चाहिए। चूंकि इंडेक्सर इस पथ के साथ पूरी पाइपलाइन का केवल एक हिस्सा है, इसलिए इसे जल्दी से जल्दी (1 सेकंड से कम) काम करना चाहिए था।



अपने लक्ष्यों को प्राप्त करने के लिए, मुझे ल्यूसीन को थोड़ा पुनर्वितरित करना पड़ा, क्योंकि यह वास्तविक समय के खोज इंजन के लिए बहुत उपयुक्त नहीं है। स्मृति में मुख्य डेटा संरचनाओं को फिर से लिखा गया था, विशेष रूप से पोस्ट-लिस्ट, लेकिन एक ही समय में मानक ल्यूसीन एपीआई के लिए समर्थन संरक्षित था, इसलिए लाइब्रेरी के खोज भाग को फिर से करने की कोई आवश्यकता नहीं थी। यहां संशोधन के परिणामस्वरूप प्रमुख लाभ दिए गए हैं:



* काफी कचरा संग्रह प्रदर्शन में सुधार

* डेटा संरचनाएं और गैर-अवरोधक सिंक्रनाइज़ेशन एल्गोरिदम (लॉक-फ्री)

* पोस्ट-सूचियाँ जिन्हें रिवर्स ऑर्डर में चलाया जा सकता है

* एक प्रारंभिक चरण में अनुरोधों का प्रभावी समापन



डेवलपर्स के अनुसार, कुछ लागू किए गए तरीके अन्य प्रोग्रामर (न केवल खोज के क्षेत्र में) के लिए दिलचस्प और उपयोगी हो सकते हैं, ताकि भविष्य में विषय की अधिक विस्तृत चर्चा संभव हो।



एक तरह से या किसी अन्य, लेकिन ल्यूसीन को किए गए सभी संशोधनों को अपाचे के लिए भेजा जाएगा, और कुछ पहले से ही मुख्य ल्यूसीन कोड और वास्तविक समय की खोज के लिए इसकी नई शाखा में शामिल हैं।



खोज बुनियादी ढांचे के उन्नयन के परिणामस्वरूप, बैकएंड पर लोड काफी कम हो गया था (अब यह संसाधनों का केवल 5% है), इसलिए भविष्य के लिए एक अच्छा रिजर्व है। नया इंडेक्सर आज प्रकाशित की तुलना में प्रति सेकंड लगभग 50 गुना अधिक ट्वीट्स को अनुक्रमित कर सकता है। और नया सर्च इंजन बिना किसी शिकायत के पूरी तरह से काम करता है।



ट्विटर खोज इंजन के अप्रिय क्षणों में से एक हमेशा कुछ दिनों से अधिक ट्वीट्स के संग्रह की खोज करने में असमर्थता रही है। उन्होंने इसके लिए "स्थान की कमी" को जिम्मेदार ठहराया । इस सीमा के आसपास जाने के लिए, आपको तीसरे पक्ष के खोज इंजन का उपयोग करना होगा जो स्वतंत्र रूप से सूचकांक ट्वीट करता है, उदाहरण के लिए, टॉपी ।



डैनी सुलिवन ने 14 जनवरी, 2010 को [आज] शब्द के साथ खोज परिणामों की जाँच की और 7 दिन पहले पोस्ट किया गया सबसे पुराना ट्वीट पाया।



सितंबर के मध्य में इसी तरह के परीक्षण से पता चला कि सूचकांक की गहराई 4 दिनों तक कम हो गई थी।



नई खोज की शुरुआत के साथ, यह घोषणा की गई कि "खोज प्रश्नों की गति के लिए सूचकांक बिना किसी परिणाम के दोगुना हो गया।" जाहिर है, हम उसी सात-दिन की सीमा पर लौटने की बात कर रहे हैं।