ग्रंथों की पहचान के लिए एन्ट्रापी के उपयोग पर

सूचना सिद्धांत द्वारा सामना की जाने वाली व्यावहारिक समस्याओं में से एक ग्रंथों की पहचान और लेखक की परिभाषा है। हम इस समस्या को हल करने के संभावित तरीकों में से एक का अध्ययन करेंगे, जो पाठ के अंश के निर्धारण की समस्या के लिए इस और संदर्भ ग्रंथों के एन्ट्रापी संकेतकों को मापने और तुलना करने पर आधारित है।

आमतौर पर, ग्रंथों की तुलना करने और लेखकों को निर्धारित करने के लिए, मार्कोव प्रक्रिया की एन्ट्रॉपी का उपयोग किया जाता है, जो बिट्स में जानकारी की औसत मात्रा को दर्शाता है कि एक चरित्र रिपोर्ट करता है यदि पिछले के 1 - k को जाना जाता है। इन कार्यों में से कुछ की समीक्षा करने के बाद, जो यह ध्यान नहीं रखते थे कि तुलनात्मक कार्यों की एक अलग मात्रा है, मैंने इसके वॉल्यूम पर पाठ की एन्ट्रापी की निर्भरता का अध्ययन करने का निर्णय लिया।

तीन लेखकों के छह ग्रंथों से, विभिन्न संस्करणों के नमूने बनाए गए थे और समावेशी 1 से 6 आदेशों की औसत मानों की गणना की गई थी। काम के परिणामों को ग्राफ पर देखा जा सकता है (ऊपरी रेखाएं पहले क्रम के एन्ट्रापी के अनुरूप हैं, कम वाले - 6):



इस प्रकार, उच्चतर आदेश, पाठ की मात्रा पर एन्ट्रापी की लघुगणकीय निर्भरता को मजबूत करता है। इसके अलावा, दूसरे आदेश के लिए, दिए गए नमूनों के लिए, लघुगणक प्रवृत्ति औसतन 85% विचरण की व्याख्या करती है, जब 50 हजार से कम सिवोल की मात्राओं पर विचार किया जाता है - 90% से अधिक। इसका मतलब यह है कि पहला क्रम एन्ट्रापी पाठ के आयतन का सबसे स्थिर और स्वतंत्र है, अर्थात्, उनके अनुक्रमों के संबंध में व्यक्तिगत प्रतीकों की आवृत्ति वितरण।

प्रथम-क्रम एन्ट्रापी पर एक करीब से देखने पर पता चलता है कि 30 हजार से कम वर्णों की मात्रा के लिए, औसत एन्ट्रॉपी पूरे पाठ की एन्ट्रॉपी से कम है, लेकिन सामान्य संबंध बने रहते हैं (बिंदीदार रेखा पूरे पाठ की एन्ट्रॉपी दिखाती है)



आप देख सकते हैं कि रेखांकन प्रतिच्छेद करता है, जो पहले से ही इंगित करता है कि चौराहे के बिंदुओं पर यह स्पष्ट रूप से पाठ की पहचान करना असंभव है।

हालांकि, हमारी समस्या के समाधान के बारे में प्रश्न का उत्तर देने के लिए, एक पाठ के भीतर मूल्यों के प्रसार का मूल्यांकन करना आवश्यक है। निम्नलिखित ग्राफ में, सभी मध्यवर्ती नमूनों को डॉट्स द्वारा दर्शाया गया है। एकल पाठ के भीतर एन्ट्रापी के परिणामस्वरूप उतार-चढ़ाव औसत मूल्यों के बीच अंतर से अधिक है, जो इन स्थितियों में पाठ के एक टुकड़े से संबंधित समस्या की सटीक समाधान की असंभवता को इंगित करता है।





इस प्रकार, एक खंड पाठ और एक संदर्भ पाठ की एंट्रोपी की प्रत्यक्ष तुलना पर आधारित एक विधि बेहद गलत है और पाठ के अंदर मूल्यों के बड़े प्रसार के कारण ग्रंथों की पहचान करने के लिए उपयुक्त नहीं है। एन-ग्राम की संख्या और उनके वितरण की सापेक्ष आवृत्तियों की प्रत्यक्ष तुलना के आधार पर विशेषताओं के विपरीत, एन्ट्रापी एक अवैयक्तिक पैरामीटर है और सटीक समस्याओं में इसके उपयोग से त्रुटियां हो सकती हैं।