🔸 👨‍⚖️ 👩🏽‍🚀 PHP में पाठ एन्कोडिंग को परिभाषित करना - मौजूदा समाधानों का अवलोकन और एक और बाइक 👩🏿‍🤝‍👩🏼 📼 ↪️

एक कार्य का सामना करना पड़ा - पृष्ठ / पाठ / कुछ भी एन्कोडिंग का ऑटो-डिटेक्शन। कार्य नया नहीं है, और बहुत सारी साइकिल का आविष्कार पहले ही हो चुका है। लेख में, नेटवर्क पर जो कुछ भी मिला था, उसका एक छोटा अवलोकन - मेरे खुद के एक प्रस्ताव, यह मुझे लगता है, एक योग्य समाधान है।

1. mb_detect_encoding () क्यों नहीं?

संक्षेप में, यह काम नहीं करता है।

आइए देखें:

//   -     CP1251 $string = iconv('UTF-8', 'Windows-1251', '    ,   ,       ,     .'); // ,    md_detect_encoding().  $strict = FALSE var_dump(mb_detect_encoding($string, array('UTF-8'))); // UTF-8 var_dump(mb_detect_encoding($string, array('UTF-8', 'Windows-1251'))); // Windows-1251 var_dump(mb_detect_encoding($string, array('UTF-8', 'KOI8-R'))); // KOI8-R var_dump(mb_detect_encoding($string, array('UTF-8', 'Windows-1251', 'KOI8-R'))); // FALSE var_dump(mb_detect_encoding($string, array('UTF-8', 'ISO-8859-5'))); // ISO-8859-5 var_dump(mb_detect_encoding($string, array('UTF-8', 'Windows-1251', 'KOI8-R', 'ISO-8859-5'))); // ISO-8859-5 //  $strict = TRUE var_dump(mb_detect_encoding($string, array('UTF-8'), TRUE)); // FALSE var_dump(mb_detect_encoding($string, array('UTF-8', 'Windows-1251'), TRUE)); // FALSE var_dump(mb_detect_encoding($string, array('UTF-8', 'KOI8-R'), TRUE)); // FALSE var_dump(mb_detect_encoding($string, array('UTF-8', 'Windows-1251', 'KOI8-R'), TRUE)); // FALSE var_dump(mb_detect_encoding($string, array('UTF-8', 'ISO-8859-5'), TRUE)); // ISO-8859-5 var_dump(mb_detect_encoding($string, array('UTF-8', 'Windows-1251', 'KOI8-R', 'ISO-8859-5'), TRUE)); // ISO-8859-5

जैसा कि आप देख सकते हैं, आउटपुट एक पूर्ण गड़बड़ है। जब हम यह स्पष्ट नहीं करते हैं कि फ़ंक्शन इस तरह क्यों व्यवहार करता है? सही है, गूगल। अद्भुत उत्तर मिला।

अंततः mb_detect_encoding () का उपयोग करने की सभी आशाओं को दूर करने के लिए, आपको mbstring एक्सटेंशन के स्रोत में जाने की आवश्यकता है। तो, हमारी आस्तीन ऊपर लुढ़का, चला गया:

 // ext/mbstring/mbstring.c:2629 PHP_FUNCTION(mb_detect_encoding) { ... //  2703 ret = mbfl_identify_encoding_name(&string, elist, size, strict); ...

Ctrl + क्लिक करें:

 // ext/mbstring/libmbfl/mbfl/mbfilter.c:643 const char* mbfl_identify_encoding_name(mbfl_string *string, enum mbfl_no_encoding *elist, int elistsz, int strict) { const mbfl_encoding *encoding; encoding = mbfl_identify_encoding(string, elist, elistsz, strict); ...

Ctrl + क्लिक करें:

 // ext/mbstring/libmbfl/mbfl/mbfilter.c:557 /* * identify encoding */ const mbfl_encoding * mbfl_identify_encoding(mbfl_string *string, enum mbfl_no_encoding *elist, int elistsz, int strict) { ...

मैं विधि का पूरा पाठ पोस्ट नहीं करूंगा, ताकि अनावश्यक स्रोतों के साथ लेख को अव्यवस्थित न करूं। किसके लिए अपने आप को देखना दिलचस्प है। हमें लाइन नंबर 593 से जांचना होगा, जहां, वास्तव में, यह देखने के लिए एक जांच की जाती है कि क्या चरित्र एन्कोडिंग के लिए उपयुक्त है:

 // ext/mbstring/libmbfl/mbfl/mbfilter.c:593 (*filter->filter_function)(*p, filter); if (filter->flag) { bad++; }

यहां सिंगल-बाइट सिरिलिक के लिए मुख्य फ़िल्टर दिए गए हैं:

Windows-1251 (मूल टिप्पणियाँ सहेजी गईं)

 // ext/mbstring/libmbfl/filters/mbfilter_cp1251.c:142 /* all of this is so ugly now! */ static int mbfl_filt_ident_cp1251(int c, mbfl_identify_filter *filter) { if (c >= 0x80 && c < 0xff) filter->flag = 0; else filter->flag = 1; /* not it */ return c; }

केओआई8-आर

 // ext/mbstring/libmbfl/filters/mbfilter_koi8r.c:142 static int mbfl_filt_ident_koi8r(int c, mbfl_identify_filter *filter) { if (c >= 0x80 && c < 0xff) filter->flag = 0; else filter->flag = 1; /* not it */ return c; }

ISO-8859-5 (यहां सब कुछ मजेदार है)

 // ext/mbstring/libmbfl/mbfl/mbfl_ident.c:248 int mbfl_filt_ident_true(int c, mbfl_identify_filter *filter) { return c; }

जैसा कि आप देख सकते हैं, ISO-8859-5 हमेशा TRUE देता है (FALSE को वापस करने के लिए, आपको फ़िल्टर सेट करना होगा-> झंडा = 1)।

जब उन्होंने फ़िल्टर को देखा, तो सब कुछ जगह में गिर गया। KOI8-R से CP1251 को किसी भी तरह से प्रतिष्ठित नहीं किया जा सकता है। आईएसओ-8859-5 सामान्य तौर पर, अगर एनकोडिंग की सूची है - तो इसे हमेशा सच माना जाएगा।

सामान्य तौर पर, असफल। यह समझने योग्य है - केवल चरित्र कोड द्वारा एन्कोडिंग को पहचानना सामान्य रूप से असंभव है, क्योंकि ये कोड अलग-अलग एन्कोडिंग में प्रतिच्छेद करते हैं।

2. Google क्या देता है

और Google सभी प्रकार के दुखों को दूर करता है। मैंने यहां भी स्रोत पोस्ट नहीं किया है, यदि आप चाहें तो अपने लिए देखें (http: // के बाद स्थान को हटा दें, मुझे नहीं पता कि लिंक के साथ पाठ कैसे दिखाया जाए):

http: // deer.org.ua/2009/10/06/1/

http: // php.su/forum/topic.php?forum=1&topic=1346

3. हब पर खोजें

1) फिर से चरित्र कोड: habrahabr.ru/blogs/php/27378/#comment_710532

2) मेरी राय में, एक बहुत ही दिलचस्प समाधान: habrahabr.ru/blogs/php/27378/#comment_1399654

लिंक पर टिप्पणी में विपक्ष और पेशेवरों। व्यक्तिगत रूप से, मेरा मानना है कि केवल एन्कोडिंग का पता लगाने के लिए यह समाधान निरर्थक है - यह बहुत शक्तिशाली है। इसमें एन्कोडिंग की परिभाषा एक साइड इफेक्ट है)।

4. दरअसल, मेरा फैसला

अंतिम खंड से दूसरा लिंक देखते समय विचार उत्पन्न हुआ। विचार यह है: हम एक बड़े रूसी पाठ को लेते हैं, विभिन्न अक्षरों की आवृत्तियों को मापते हैं, हम इन आवृत्तियों के लिए एक कोडिंग का पता लगाते हैं। आगे देखते हुए, मैं तुरंत कहूंगा कि पूंजी और छोटे अक्षरों के साथ समस्याएं होंगी। इसलिए, मैं पत्र आवृत्तियों के उदाहरण पोस्ट करता हूं (इसे "स्पेक्ट्रम" कहते हैं), दोनों केस-संवेदी और बिना (दूसरे मामले में, मैंने एक ही आवृत्ति के साथ एक बड़ा अक्षर भी जोड़ा, लेकिन बड़े लोगों को हटा दिया)। इन "स्पेक्ट्रा" में, 0.001 और एक स्थान से कम आवृत्तियों वाले सभी पत्रों को काट दिया जाता है। युद्ध और शांति के बाद मुझे यहाँ क्या मिला है:

केस-संवेदी "स्पेक्ट्रम":

 array ( '' => 0.095249209893009, '' => 0.06836817536026, '' => 0.067481298384992, '' => 0.055995027400041, '' => 0.052242744063325, .... '' => 0.002252892226507, '' => 0.0021318391371162, '' => 0.0018574762967903, '' => 0.0015961610948418, '' => 0.0014044332975731, '' => 0.0013188987793209, '' => 0.0012623590130186, '' => 0.0011804488387602, '' => 0.001061932790165, )

असंवेदनशील:

 array ( '' => 0.095249209893009, '' => 0.095249209893009, '' => 0.06836817536026, '' => 0.06836817536026, '' => 0.067481298384992, '' => 0.067481298384992, '' => 0.055995027400041, '' => 0.055995027400041, .... '' => 0.0029893589260344, '' => 0.0029893589260344, '' => 0.0024649163501406, '' => 0.0024649163501406, '' => 0.002252892226507, '' => 0.002252892226507, '' => 0.0015961610948418, '' => 0.0015961610948418, )

अलग-अलग एनकोडिंग में स्पेक्ट्रा (सरणी कुंजी - संबंधित एन्कोडिंग में संबंधित वर्णों के कोड):

Windows-1251: केस संवेदनशील , केस असंवेदनशील

KOI8-R: केस संवेदनशील , केस असंवेदनशील

आईएसओ-8859-5: केस संवेदनशील , केस असंवेदनशील

अगला। हम एक अज्ञात एन्कोडिंग का पाठ लेते हैं, प्रत्येक एन्कोडिंग की हम जांच करते हैं, हम वर्तमान वर्ण की आवृत्ति पाते हैं और इस एन्कोडिंग के "रेटिंग" में जोड़ते हैं। उच्च रेटिंग वाला एन्कोडिंग, सबसे अधिक संभावना है, पाठ का एन्कोडिंग।

 $encodings = array( 'cp1251' => require 'specter_cp1251.php', 'koi8r' => require 'specter_koi8r.php', 'iso88595' => require 'specter_iso88595.php' ); $enc_rates = array(); for ($i = 0; $i < len($str); ++$i) { foreach ($encodings as $encoding => $char_specter) { $enc_rates[$encoding] += $char_specter[ord($str[$i])]; } } var_dump($enc_rates);

इस कोड को घर पर निष्पादित करने का प्रयास भी न करें - यह काम नहीं करेगा। आप इसे छद्म संहिता मान सकते हैं - मैंने विवरण को छोड़ दिया ताकि लेख को अव्यवस्थित न कर सकूं। $ char_specter वास्तव में pastebin द्वारा संदर्भित उन सरणियों हैं।

परिणाम

तालिका पंक्तियाँ - पाठ एन्कोडिंग; कॉलम - $ enc_rates सरणी की सामग्री।

1) $ str = 'रूसी पाठ';

cp1251 | koi8r | iso88595 | 
      

        
        
        
      

     0.441 | 0.020 | 0.085 | Windows-1251 
      

        
        
        
      

     0.049 | 0.441 | 0.166 | KOI8-R 
      

        
        
        
      

     0.133 | 0.092 | 0.441 | ISO-8859-5

सब कुछ महान है। असली एन्कोडिंग बाकी की तुलना में पहले से ही 4 गुना अधिक है - यह इतने छोटे पाठ में है। लंबे समय तक ग्रंथों पर, अनुपात लगभग समान होगा।

2) $ str = 'लाइन कैपस्मैन रूसी पाठ';

cp1251 | koi8r | iso88595 | 
      

        
        
        
      

     0.013 | 0.705 | 0.331 | Windows-1251 
      

        
        
        
      

     0.649 | 0.013 | 0.201 | KOI8-R 
      

        
        
        
      

     0.007 | 0.392 | 0.013 | ISO-8859-5

-उफ़ यू! पूरा दलिया। और क्योंकि CP1251 में बड़े अक्षर आमतौर पर KOI8-R में छोटे अक्षरों के अनुरूप होते हैं। और छोटे अक्षरों का उपयोग बड़े लोगों की तुलना में बहुत अधिक बार किया जाता है। इसलिए हम CP1251 में लाइन कैप को KOI8-R के रूप में परिभाषित करते हैं।

हम मामले को असंवेदनशील करने की कोशिश करते हैं ("स्पेक्ट्रा" केस असंवेदनशील)

1) $ str = 'रूसी पाठ';

cp1251 | koi8r | iso88595 | 
      

        
        
        
      

     0.477 | 0.342 | 0.085 | Windows-1251 
      

        
        
        
      

     0.315 | 0.477 | 0.207 | KOI8-R 
      

        
        
        
      

     0.216 | 0.321 | 0.477 | ISO-8859-5

2) $ str = 'लाइन कैपस्मैन रूसी पाठ';

cp1251 | koi8r | iso88595 | 
      

        
        
        
      

     1.074 | 0.705 | 0.465 | Windows-1251 
      

        
        
        
      

     0.649 | 1.074 | 0.201 | KOI8-R 
      

        
        
        
      

     0.331 | 0.392 | 1.074 | ISO-8859-5

जैसा कि आप देख सकते हैं, सही एन्कोडिंग केस-सेंसिटिव "स्पेक्ट्रा" (यदि लाइन में बड़ी संख्या में कैपिटल लेटर्स हैं) और केस-इनसेंसिटिव के साथ दोनों को ले जाता है। दूसरे मामले में, केस-असंवेदनशील होने के साथ, नेता इतना आश्वस्त नहीं है, लेकिन यह छोटी रेखाओं पर भी काफी स्थिर है। आप अक्षर भार के साथ चारों ओर खेल सकते हैं - उदाहरण के लिए, आवृत्ति के संबंध में उन्हें गैर-रैखिक बनाएं।

5. निष्कर्ष

विषय में, यूटीएफ -8 के साथ काम नहीं माना जाता है - कोई मूलभूत अंतर नहीं है, सिवाय इसके कि चरित्र कोड प्राप्त करना और पात्रों में एक स्ट्रिंग को तोड़ना थोड़ा लंबा / अधिक जटिल होगा।

इन विचारों को न केवल सिरिलिक एन्कोडिंग तक बढ़ाया जा सकता है, निश्चित रूप से - सवाल केवल संबंधित भाषाओं / एन्कोडिंग के "स्पेक्ट्रा" में है।

PS यदि यह बहुत आवश्यक / दिलचस्प है - तो मैं पूरी तरह से काम कर रहे पुस्तकालय के दूसरे भाग को GitHub पर पोस्ट करूंगा। हालांकि मेरा मानना है कि पोस्ट में डेटा जल्दी से इस तरह की लाइब्रेरी और अपनी जरूरतों को लिखने के लिए पर्याप्त है - रूसी भाषा के लिए "स्पेक्ट्रम" बाहर रखा गया है, इसे आसानी से सभी आवश्यक एन्कोडिंग्स में स्थानांतरित किया जा सकता है।

UPDATED

टिप्पणियों के माध्यम से एक अद्भुत समारोह फिसल गया, जिस लिंक पर मैंने कॉलम "स्क्वेलर" के तहत पोस्ट किया। हो सकता है कि वह शब्दों से उत्साहित हो गए, लेकिन जब से उन्होंने इसे प्रकाशित किया, उन्होंने इसे प्रकाशित किया - वे ऐसी चीजों का संपादन नहीं करते थे। कथित रूप से निराधार न होने के लिए, आइए देखें कि क्या यह 100% काम करता है, जैसा कि कथित लेखक कहते हैं ।

1) इस समारोह के "सामान्य" ऑपरेशन के दौरान त्रुटियां होंगी? मान लीजिए कि हमारी सामग्री 100% वैध है।

उत्तर: हां, वे करेंगे।

2) क्या यह यूटीएफ -8 और गैर-यूटीएफ -8 के अलावा कुछ भी परिभाषित करेगा?

उत्तर: नहीं, यह निर्धारित नहीं करेगा।

यहाँ कोड है:

 $str_cp1251 = iconv('UTF-8', 'Windows-1251', ' '); var_dump(md5($str_cp1251)); var_dump(md5(iconv('Windows-1251', 'Windows-1251', $str_cp1251))); var_dump(md5(iconv('KOI8-R', 'KOI8-R', $str_cp1251))); var_dump(md5(iconv('ISO-8859-5', 'ISO-8859-5', $str_cp1251))); var_dump(md5(iconv('UTF-8', 'UTF-8', $str_cp1251)));

आउटपुट क्या है:

 m00t@m00t:~/workspace/test$ php detect_encoding.php string(32) "96e14d7add82668414ffbc498fcf2a4e" string(32) "96e14d7add82668414ffbc498fcf2a4e" string(32) "96e14d7add82668414ffbc498fcf2a4e" string(32) "96e14d7add82668414ffbc498fcf2a4e" PHP Notice: iconv(): Detected an illegal character in input string in /home/m00t/workspace/test/detect_encoding.php on line 36 PHP Stack trace: PHP 1. {main}() /home/m00t/workspace/test/detect_encoding.php:0 PHP 2. iconv() /home/m00t/workspace/test/detect_encoding.php:36 string(32) "d41d8cd98f00b204e9800998ecf8427e"

हम क्या देखते हैं? Iconv ($ एन्कोडिंग, $ एन्कोडिग) के बाद सिंगल-बाइट सिरिलिक वर्णमाला नहीं बदलेगी। केवल UTF-8 को गैर-UTF-8 से अलग किया जा सकता है। और फिर - वोरिंग की कीमत पर।

IMHO, यह ठीक ऐसे कोड के टुकड़ों के कारण है कि PHP को "मूर्खों के लिए भाषा" माना जाता है (c) - कैसे वे इस भाषा के बारे में किसी भी विषय में ट्रोल लिखने में सक्षम नहीं होंगे।

PHP में पाठ एन्कोडिंग को परिभाषित करना - मौजूदा समाधानों का अवलोकन और एक और बाइक