प्रोग्रामिंग भाषाओं और मार्कअप भाषाओं के स्रोत कोड का विश्लेषण

.. यह सच है कि मनमाने ढंग से HTML को पार्स करने के लिए रेगीज़ से पूछना पेरिस हिल्टन से एक ऑपरेटिंग सिस्टम लिखने के लिए कहने जैसा है।

नेमेर्ले के हाल के संस्करणों में पार्सिंग भाषाओं के लिए एक पुस्तकालय शामिल है जिसका व्याकरण खूंटी वर्ग से संबंधित है।

खूंटी क्या है?

पार्सर्स बनाने के अन्य उपकरणों के विपरीत, पीईजी व्याकरण का वर्णन नहीं करता है, लेकिन इसके विश्लेषण के लिए रणनीति, लेकिन वास्तव में पार्सिंग की रणनीति का वर्णन व्याकरण का वर्णन है। पीईजी का उपयोग करके वर्णित पार्सर के लिए, एक एल्गोरिथ्म ( पैकरैट ) है जो किसी भी पाठ को पार्स करता है जो पाठ की लंबाई से रैखिक समय में इस वर्ग के व्याकरण को संतुष्ट करता है।



इस तरह वर्णित पार्सर्स का उपयोग करके भाषाओं का वर्ग तैयार किया जा सकता है जो लोकप्रिय प्रोग्रामिंग भाषाओं (उदाहरण के लिए, C #) और मार्कअप भाषाओं को कवर करने के लिए पर्याप्त है। जाहिर है, यह नियमित अभिव्यक्तियों की सभी कार्यक्षमता को कवर करता है।

RegExp होने पर आपको कुछ की आवश्यकता क्यों है?

नियमित अभिव्यक्ति के साथ काम करने के लिए पुस्तकालय लगभग किसी भी प्रोग्रामिंग भाषा के मानक पुस्तकालयों के सेट में शामिल हैं। इस चलने की पहुंच के कारण, उनका उपयोग किया जाता है जहां यह उपयुक्त है (नियमित व्याकरणों को पार्स करना), और जहां नहीं (HTML और अन्य पुनरावर्ती संरचनाओं को पार्स करना)।



स्टैकओवरफ़्लो से उद्धरण:

.. यह सच है कि मनमाने ढंग से HTML को पार्स करने के लिए रेगीज़ से पूछना पेरिस हिल्टन से एक ऑपरेटिंग सिस्टम लिखने के लिए कहने जैसा है।

दूसरा चरम yacc और antlr जैसे पार्सर जनरेटर हैं। वे प्रदान किए गए व्याकरण के लिए पार्सर उत्पन्न करने के कार्य का सामना करते हैं, लेकिन व्यवहार में ऐसा होता है कि उन्हें उपयोग करने की तुलना में खुद को एक पार्सर लिखना "प्रोग्रामर के लिए आसान" है। इसका कारण, सबसे अधिक संभावना है, इन उपकरणों के साथ काम करने में कठिनाई होती है, और इसलिए भी, क्योंकि नियमित अभिव्यक्ति के विपरीत, जो ईडीएसएल हैं, उनके साथ काम करने के लिए कोड पीढ़ी की आवश्यकता होती है, और कोड पीढ़ी असुविधाजनक है।



एक मैक्रो, नेमेर्ले में एक पीईजी व्याकरण पार्सर उत्पन्न करने के लिए जिम्मेदार है। इस प्रकार, कोड पीढ़ी गायब हो जाती है और अनियमित व्याकरण के साथ काम ईडीएसएल के साथ काम में बदल जाता है: नियमित अभिव्यक्ति की चरण-दर-चरण उपलब्धता जनरेटर्स की शक्ति में जोड़ा जाता है। चलो नेमेर्ले में खूंटी के साथ काम करने का एक उदाहरण देखें

TeX भाषा के गणितीय मार्कअप का विश्लेषण

एक उदाहरण के रूप में TeX गणितीय मार्कअप व्याकरण का उपयोग करके एक पीईजी व्याकरण पर विचार करें। हम इस तस्वीर के स्रोत का विश्लेषण करेंगे







यहाँ वह है

\int_{-\frac{\pi}{2}}^{\frac{\pi}{2}} \cos x \; dx = 2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

यह देखा जा सकता है कि इसमें कमांड्स (\ int, \ pi, \ cos), एस्केप सीक्वेंस (\); नेस्टेड ब्रैकेट स्ट्रक्चर ({.. {..} ..}) और सब कुछ शामिल है।



सबसे पहले, हम उस संरचना को परिभाषित करते हैं जिसमें यह पाठ पार्स किया जाएगा:

  public variant WordTexAst { | Command { name : string } //  | Escape { symbol : string } // escape  | Group { data : WordTexAst.Sequence } //    | Data { data : string } //   | Sequence { words : list[WordTexAst]} }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

मैंने विकल्प का उपयोग किया, अन्य प्रोग्रामिंग भाषाओं में उन्हें बीजगणितीय डेटा प्रकार या लेबल यूनियनों के रूप में भी जाना जाता है।



भाषा पार्सर बनाने के लिए, आपको एक वर्ग घोषित करने की आवश्यकता है, इस वर्ग की विशेषता में भाषा पार्सिंग रणनीति का वर्णन करें और प्रत्येक पार्सिंग नियम के साथ संबद्ध करें जो एक फ़ंक्शन को पार्स की गई जानकारी से एक पेड़ बनाता है। आइए विशेषता के साथ शुरू करें

  [PegGrammar(ast, grammar { commandName = ['a'..'z','A'..'Z']+; escapeLetter = ';' / ','; letter = ['a'..'z','A'..'Z','0'..'9'] / '^' / '_' / '=' / ' ' / '-' / '+' / '/' / '(' / ')' / '[' / ']'; command : WordTexAst = '\\' commandName; escape : WordTexAst = '\\' escapeLetter; group : WordTexAst = '{' ast '}'; data : WordTexAst = letter+; word : WordTexAst = command / escape / group / data; ast : WordTexAst.Sequence = word+; })]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

मैक्रो का पहला पैरामीटर वह नियम है जिसके साथ पार्सिंग शुरू करना है। फिर - व्याकरण (रणनीति) का विवरण, जो बैकस - नौर के रूप के समान है। बाएं कॉलम में - नियम को परिभाषित किया जा रहा है, इसके बाद - इस नियम द्वारा पार्स की गई संरचना का प्रकार। पहले तीन मामलों में, यह छोड़ा गया है, क्योंकि ये नियम शेष नियमों के लिए स्थिरांक के रूप में कार्य करते हैं। समान संकेत के बाद, पार्स किए गए पाठ की संरचना का वर्णन किया गया है, इसे एक स्थान द्वारा अलग किए गए स्थिरांक और अन्य नियमों के माध्यम से निर्दिष्ट किया जा सकता है। आप संरचना का वर्णन करने के लिए विशेष वर्णों का उपयोग कर सकते हैं, उदाहरण के लिए, '+' - नियम को एक या अधिक बार लागू करें, 'ए / बी' का अर्थ है पार्सिंग नियम 'ए', यदि यह काम नहीं करता है, तो पार्सिंग नियम 'बी' है। यह महत्वपूर्ण है कि यह 'या' ऑपरेटर सराहनीय नहीं है, यदि पहले पार्सिंग नियम को सफलतापूर्वक लागू किया जाता है, तो विकल्प पर विचार नहीं किया जाता है।



विशेषता के अतिरिक्त, आपको पार्सर वर्ग में कई विधियों को जोड़ने की आवश्यकता है - प्रत्येक पार्सिंग नियम के लिए। तर्कों की संख्या और उनके प्रकार को उन नियमों का पालन करना चाहिए जो इस नियम द्वारा सही हिस्से में (समान संकेत के बाद) उपयोग किए जाते हैं।



पूर्ण उदाहरण पार्सर कोड:

  [PegGrammar(ast, grammar { commandName = ['a'..'z','A'..'Z']+; escapeLetter = ';' / ','; letter = ['a'..'z','A'..'Z','0'..'9'] / '^' / '_' / '=' / ' ' / '-' / '+' / '/' / '(' / ')' / '[' / ']'; command : WordTexAst = '\\' commandName; escape : WordTexAst = '\\' escapeLetter; group : WordTexAst = '{' ast '}'; data : WordTexAst = letter+; word : WordTexAst = command / escape / group / data; ast : WordTexAst.Sequence = word+; })] public class TexParser { private escape(_ : NToken, symbol : NToken) : WordTexAst { WordTexAst.Escape(GetText(symbol)) } private command(_ : NToken, commandName : NToken) : WordTexAst { WordTexAst.Command(GetText(commandName)) } private group(_ : NToken, ast : WordTexAst.Sequence, _ : NToken) : WordTexAst { WordTexAst.Group(ast) } private data(arg : NToken) : WordTexAst { WordTexAst.Data(GetText(arg)) } private word(arg : WordTexAst) : WordTexAst { arg } private ast(data : List[WordTexAst]) : WordTexAst.Sequence { WordTexAst.Sequence(data.ToList()) } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

NToken प्रकार का वर्णन अभी तक नहीं किया गया है। यह एक ऐसा वर्ग है जो "स्थिर" नियम को पूरा करने वाले पार्स किए गए पाठ के एक विकल्प से मेल खाता है। आप गेटटेक्स्ट विधि का उपयोग करके इस वर्ग के ऑब्जेक्ट को स्ट्रिंग में अनुवाद कर सकते हैं।



यह पार्सर के उपयोग को प्रदर्शित करता है:

  def parser = TexParser(); def text = @"\int_{-\frac{\pi}{2}}^{\frac{\pi}{2}} \cos x \; dx = 2"; def (pos,ast) = parser.TryParse(text); when (pos == text.Length) Console.WriteLine("success");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

TryParse पद्धति पाठ को पार्स करती है, पॉज़ में पार्स वर्णों की संख्या होती है, यदि स्ट्रिंग को पूरी तरह से पार्स किया जाता है, तो पॉज़ स्ट्रिंग की लंबाई के बराबर होता है, यदि केवल उपसर्ग को पार्स किया जाता है, तो पॉज़ में प्रीफ़िक्स की लंबाई होती है।

निष्कर्ष

यह लेख खूंटी व्याकरण पार्सर के निर्माण के लिए ईडीएसएल पर चर्चा करता है। पुनरावर्ती भाषाओं के पार्सरों के निर्माण के अलावा, इसका उपयोग नियमित व्याकरणों को पार्स करने के लिए किया जा सकता है, इस मामले में जब नियमित अभिव्यक्ति के साथ काम करने के लिए बहुत जटिल है।



यह ईडीएसएल एक मैक्रो के रूप में कार्यान्वित किया जाता है, जो संकलन चरण में एक प्रभावी पार्सिंग एल्गोरिदम में विस्तारित होता है। परिणामी dll किसी भी .net भाषा में उपयोग किया जा सकता है। इस प्रकार, इस पुस्तकालय का उपयोग एक भाषा तक सीमित नहीं है।

संदर्भ

वर्तमान निमेरल संस्करण

Rsdn.ru (रूसी) पर फोरम

Google समूह (अंग्रेजी)