पायथन + lxml के साथ पार्सिंग की मूल बातें

शुभ दोपहर, प्रिय पाठकों।

आज के लेख में, मैं आपको Python के लिए lxml लाइब्रेरी का उपयोग करके HTML पेज मार्कअप की मूल बातें दिखाऊंगा।

संक्षेप में, lxml पायथन में XML और HTML मार्कअप को संभालने के लिए एक तेज और लचीला पुस्तकालय है। इसके अलावा, इसमें एक पेड़ में दस्तावेज़ तत्वों को विघटित करने की क्षमता है। लेख में मैं यह दिखाने की कोशिश करूंगा कि व्यवहार में इसका आवेदन कितना सरल है।

पार्सिंग लक्ष्य चयन

क्योंकि मैं खेलों में सक्रिय रूप से शामिल हूं, विशेष रूप से, मैं विश्व एमएमआई टूर्नामेंटों के सभी टूर्नामेंटों में दर्दनाक रिसेप्शन पर BJJ के आंकड़ों को देखना चाहता था।

एक रंबल की खोजों ने मुझे प्रमुख अंतरराष्ट्रीय मिश्रित मार्शल आर्ट टूर्नामेंट के सभी आधिकारिक आंकड़ों के साथ एक साइट पर ले गया। केवल एक ही बात यह थी कि विश्लेषण के लिए हम पर जानकारी असुविधाजनक रूप में प्रस्तुत की गई थी। यह इस तथ्य के कारण है कि टूर्नामेंट के परिणाम अलग-अलग पृष्ठों पर हैं। इसके अलावा, टूर्नामेंट की तारीख भी इसके नाम के साथ एक अलग पेज पर एक अलग पेज पर रखी गई है।

टूर्नामेंट की सभी सूचनाओं को विश्लेषण के लिए उपयुक्त एक तालिका में संयोजित करने के लिए, नीचे वर्णित एक पार्सर लिखने का निर्णय लिया गया था।

पार्सर ऑपरेशन एल्गोरिथम

शुरू करने के लिए, हम पार्सर एल्गोरिथ्म से निपटेंगे। यह इस प्रकार होगा:

1. एक आधार के रूप में, आइए सभी टूर्नामेंट और उनकी तारीखों के साथ एक तालिका लें, जो कि स्थित है
   
   इस पर
   
   पता
2. हम इस पृष्ठ से डेटा को निम्नलिखित कॉलम के साथ डेटा सेट में दर्ज करेंगे:
3. टूर्नामेंट
4. वर्णन लिंक
5. तिथि
6. प्रत्येक सेट प्रविष्टि (प्रत्येक टूर्नामेंट के लिए) हम पूरे क्षेत्र में एक परिवर्तन करते हैं
   
   [विवरण के लिए लिंक] , लड़ाई के बारे में जानकारी के लिए
7. हम टूर्नामेंट की सभी लड़ाइयों की जानकारी दर्ज करते हैं
8. हम जिन स्पर्धाओं के बारे में टूर्नामेंट की तारीख जोड़ते हैं, उनके बारे में जानकारी के साथ डेटा सेट में
   
   सेट (2)

एल्गोरिथ्म तैयार है और आप इसके कार्यान्वयन के लिए आगे बढ़ सकते हैं

शुरुआत lxml से हो रही है

काम करने के लिए, हमें lxml और पांडा मॉड्यूल की आवश्यकता है। उन्हें हमारे कार्यक्रम में अपलोड करें:

import lxml.html as html from pandas import DataFrame
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

आगे पार्सिंग की सुविधा के लिए, हम मुख्य डोमेन को एक अलग चर में रखेंगे:

 main_domain_stat = 'http://hosteddb.fightmetric.com'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अब हमें पार्सिंग के लिए एक ऑब्जेक्ट मिलता है। आप पार्स () फ़ंक्शन का उपयोग करके ऐसा कर सकते हैं:

 page = html.parse('%s/events/index/date/desc/1/all' % (main_domain_stat))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अब HTML एडिटर में निर्दिष्ट तालिका खोलें और इसकी संरचना का अध्ययन करें। क्‍योंकि हमें सबसे अधिक रूचि events_table data_table row_is_link



, क्‍योंकि events_table data_table row_is_link



साथ ब्लॉक होता events_table data_table row_is_link



, क्‍योंकि इसमें हमारे द्वारा आवश्यक डेटा के साथ तालिका है। आप इस ब्लॉक को इस तरह प्राप्त कर सकते हैं:

 e = page.getroot().\ find_class('events_table data_table row_is_link').\ pop()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

देखते हैं कि यह कोड क्या करता है।

सबसे पहले, getroot () फ़ंक्शन का उपयोग करके, हम अपने दस्तावेज़ का मूल तत्व प्राप्त करते हैं (यह दस्तावेज़ के साथ बाद के काम के लिए आवश्यक है)।

अगला, find_class () फ़ंक्शन का उपयोग करते हुए, हम सभी तत्वों को निर्दिष्ट वर्गों के साथ पाते हैं। फ़ंक्शन के परिणामस्वरूप, हमें ऐसे तत्वों की एक सूची मिलती है। क्योंकि पृष्ठ के HTML कोड के दृश्य विश्लेषण के बाद, यह देखा जा सकता है कि इस मानदंड के अनुसार केवल एक तत्व उपयुक्त है, फिर हम इसे पॉप () फ़ंक्शन का उपयोग करके सूची से निकालते हैं।

अब हमें अपने div से प्राप्त तालिका को पहले प्राप्त करने की आवश्यकता है। ऐसा करने के लिए, हम getchildren () विधि का उपयोग करते हैं, जो वर्तमान तत्व की रेखांकित वस्तुओं की एक सूची देता है। और

क्योंकि हमारे पास केवल एक ही वस्तु है, हम इसे सूची से निकालते हैं।

 t = e.getchildren().pop()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

अब चर टी में एक तालिका है जिसमें हमें आवश्यक जानकारी है। अब, मुझे 2 सहायक डेटाफ़्रेम प्राप्त होंगे, जिन्हें मिलाकर, हम टूर्नामेंट की तारीखों और परिणामों के लिंक के साथ डेटा प्राप्त करेंगे।

पहले सेट में मैं टूर्नामेंट के सभी नाम और साइट पर उनके पृष्ठों के लिंक शामिल करूंगा। यह आसानी से iterlinks () iterator का उपयोग करके किया जाता है, जो टैग (, ,

, )



) की एक सूची देता है (, ,

, )



(, ,

, )



गए तत्व के अंदर (, ,

, )



। दरअसल, इस टपल से, हमें लिंक और उसके पाठ का पता चाहिए।

संबंधित तत्व के .text गुण तक पहुँच कर एक लिंक परीक्षण प्राप्त किया जा सकता है। कोड इस प्रकार होगा:

 events_tabl = DataFrame([{'EVENT':i[0].text, 'LINK':i[2]} for i in t.iterlinks()][5:])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

एक चौकस पाठक ध्यान देगा कि चक्र में हम पहले 5 प्रविष्टियों को बाहर करते हैं। उनमें ऐसी जानकारी है जिसकी हमें ज़रूरत नहीं है, जैसे कि फील्ड हेडर, इसलिए मैंने उनसे छुटकारा पा लिया।

इसलिए, हमें लिंक मिल गए हैं। अब हमें टूर्नामेंट की तारीखों के साथ डेटा के 2 सबसेट मिलते हैं। इसे इस तरह किया जा सकता है:

 event_date = DataFrame([{'EVENT': evt.getchildren()[0].text_content(), 'DATE':evt.getchildren()[1].text_content()} for evt in t][2:])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ऊपर दिखाए गए कोड में, हम टेबल टी में सभी लाइनों ( ट्र टैग) से गुजरते हैं। फिर प्रत्येक पंक्ति के लिए हमें चाइल्ड कॉलम ( td तत्वों) की एक सूची मिलती है। और हमें पहले और दूसरे कॉलम में दर्ज की गई जानकारी को text_content पद्धति का उपयोग करके दर्ज किया जाता है, जो इस कॉलम के सभी बच्चों के पाठ से एक स्ट्रिंग लौटाता है।

यह समझने के लिए कि text_content विधि कैसे काम करती है, हम एक छोटा सा उदाहरण देते हैं। मान लें कि हमारे पास इस तरह की एक दस्तावेज संरचना है <tr> <td> <span> पाठ </ span> <span> पाठ </ span> । तो, text_content विधि पाठ को स्ट्रिंग पाठ लौटाएगी , और पाठ विधि कुछ भी, या केवल पाठ वापस नहीं करेगी।



अब हमारे पास डेटा के 2 सबसेट हैं, उन्हें अंतिम सेट में संयोजित करें:

 sum_event_link = events_tabl.set_index('EVENT').join(event_date.set_index('EVENT')).reset_index()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

यहां, हम पहले अपने सेट के सूचकांक निर्दिष्ट करते हैं, फिर उन्हें जोड़ते हैं और अंतिम सेट के सूचक को रीसेट करते हैं। आप मेरे पिछले लेखों में से एक में इन कार्यों के बारे में अधिक पढ़ सकते हैं। यह प्राप्त डेटाफ़्रेम को एक टेक्स्ट फ़ाइल में अनलोड करने के लिए रहता है, सुरक्षा के लिए:

 sum_event_link.to_csv('..\DataSets\ufc\list_ufc_events.csv',';',index=False)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

UFC सिंगल इवेंट इवेंट हैंडलर

हमने एक सुविधाजनक प्रारूप में टूर्नामेंट की सूची के साथ पृष्ठ को अनलोड किया है। यह प्रतियोगिता परिणाम पृष्ठों से निपटने का समय है। उदाहरण के लिए, अंतिम टूर्नामेंट लें और पृष्ठ के लिए HTML कोड देखें।

आप देख सकते हैं कि हमें जो जानकारी चाहिए वह डेटा_बिजली रो_इस_लिंक वर्ग वाले तत्व में निहित है। सामान्य तौर पर, पार्सिंग प्रक्रिया ऊपर दिखाए गए एक के समान है, एक अपवाद के साथ: परिणामों की तालिका पूरी तरह से सही नहीं है।

इसकी असंगतता यह है कि प्रत्येक सेनानी के लिए इसमें एक अलग लाइन डाली जाती है, जो विश्लेषण में सुविधाजनक नहीं है। परिणामों को पार्स करते समय इस असुविधा से छुटकारा पाने के लिए, मैंने केवल विषम रेखाओं पर, एक पुनरावृत्ति का उपयोग करने का निर्णय लिया। सम संख्या विषम रेखा से गणना की जाती है।

इस प्रकार, मैं एक बार में दो पंक्तियों को संसाधित करूँगा और उन्हें एक पंक्ति में लपेटूंगा। कोड इस प्रकार होगा:

 all_fights = [] for i in sum_event_link.itertuples(): page_event = html.parse('%s/%s' % (main_domain_stat,active_event_link)) main_code = page_event.getroot() figth_event_tbl = main_code.find_class('data_table row_is_link').pop()[1:] for figther_num in xrange(len(figth_event_tbl)): if not figther_num % 2: all_fights.append( {'FIGHTER_WIN': figth_event_tbl[figther_num][2].text_content().lstrip().rstrip(), 'FIGHTER_LOSE': figth_event_tbl[figther_num+1][1].text_content().lstrip().rstrip(), 'METHOD': figth_event_tbl[figther_num][8].text_content().lstrip().rstrip(), 'METHOD_DESC': figth_event_tbl[figther_num+1][7].text_content().lstrip().rstrip(), 'ROUND': figth_event_tbl[figther_num][9].text_content().lstrip().rstrip(), 'TIME': figth_event_tbl[figther_num][10].text_content().lstrip().rstrip(), 'EVENT_NAME': i[1]} ) history_stat = DataFrame(all_fights)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

आप देख सकते हैं कि प्रत्येक मैच के लिए, टूर्नामेंट का नाम अतिरिक्त रूप से दर्ज किया गया है। मैच की तारीख निर्धारित करने के लिए यह आवश्यक है।

अब फ़ाइल में परिणाम सहेजें:

 history_stat.to_csv('..\DataSets\ufc\list_all_fights.csv',';',index=False)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

आइए देखें परिणाम:

 history_stat.head()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

	EVENT_NAME	FIGHTER_LOSE	FIGHTER_WIN	विधि	METHOD_DESC	ROUND	समय
0	UFC फाइट नाइट 38: शोगुन बनाम हेंडरसन	रोबी वकील	जॉनी हेंड्रिक्स	यू डीईसी	NaN	5	सुबह 5 बजे।
1	UFC फाइट नाइट 38: शोगुन बनाम हेंडरसन	कार्लोस कोंडिट	टायरोन वुडली	KO / TKO	घुटने में चोट	2	दोपहर 2 बजे।
2	UFC फाइट नाइट 38: शोगुन बनाम हेंडरसन	डिएगो सांचेज़	मायल्स जूरी	यू डीईसी	NaN	3	सुबह 5 बजे।
3	UFC फाइट नाइट 38: शोगुन बनाम हेंडरसन	जेक शील्ड्स	हेक्टर लम्बरदार	यू डीईसी	NaN	3	सुबह 5 बजे।
4	UFC फाइट नाइट 38: शोगुन बनाम हेंडरसन	निकिता क्रायलोव	ओवेसन संत प्रॉक्स	उप	अन्य - चोक	1	1:29

यह केवल लड़ाई के लिए तारीख खींचने और अंतिम फ़ाइल अपलोड करने के लिए बना हुआ है:

 all_statistics = history_stat.set_index('EVENT_NAME').join(sum_event_link.set_index('EVENT').DATE) all_statistics.to_csv('..\DataSets\ufc\statistics_ufc.csv',';', index_label='EVENT')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

निष्कर्ष

लेख में, मैंने XML और HTML मार्कअप को पार्स करने के उद्देश्य से, lxml लाइब्रेरी के साथ काम करने की मूल बातें दिखाने की कोशिश की। लेख में निर्दिष्ट कोड इष्टतम होने का दावा नहीं करता है, लेकिन इसे सौंपे गए कार्य को सही ढंग से करता है।

जैसा कि आप उपरोक्त कार्यक्रम से देख सकते हैं, पुस्तकालय के साथ काम करने की प्रक्रिया काफी सरल है, जो आवश्यक कोड को जल्दी से लिखने में मदद करता है। उपरोक्त कार्यों और विधियों के अतिरिक्त, कुछ अन्य भी कम आवश्यक नहीं हैं।