🌧️ 🌑 ⛹🏾 एन्कोडिंग 👨‍🔧 🧒🏼 🚶🏽

जल्द या बाद में सभी को अलग-अलग एन्कोडिंग के साथ काम करना होगा। अपनी टीम के कोड में इन समस्याओं को हल करने के लिए विभिन्न, कभी-कभी अजीब, दृष्टिकोणों पर ध्यान देने के बाद, हमें एक व्याख्यात्मक बातचीत करनी पड़ी। नीचे मैं कोड में गैर-एएससीआईआई पात्रों के साथ सही काम की अपनी दृष्टि साझा करूंगा। मुझे रचनात्मक आलोचना करने में खुशी होगी।

कार्य सिद्धांत

C ++ में विभिन्न एन्कोडिंग के साथ काम करने का तर्क सरल और पारदर्शी है। सामान्य तौर पर, यह योजना में परिलक्षित होता है। कार्यक्रम एक में काम करता है - इसकी अपनी आंतरिक एन्कोडिंग, और सही ढंग से स्थानीयकृत धाराएं डेटा कोडिंग को बाहरी कोड से आंतरिक और इसके विपरीत में परिवर्तित करने के लिए जिम्मेदार हैं। कार्यक्रम का आंतरिक एन्कोडिंग एक बार और सभी के लिए सबसे अच्छा है। यदि प्रोग्राम गैर-एएससीआईआई वर्णों के साथ काम करता है, तो आंतरिक एन्कोडिंग के लिए सबसे तार्किक विकल्प यूनिकोड है, और एसटीएल को मानकीकृत करने के लिए यूटीएफ -8 और चार का उपयोग करना आमतौर पर अनुचित है (हालांकि ऐसी परिस्थितियां हैं जिनमें यह आवश्यक है); विस्तारित wchar_t वर्णों पर स्विच करना और UCS-2 का उपयोग करना अधिक तर्कसंगत है। कोडकवेट पहलू बाहरी एन्कोडिंग से आंतरिक में डेटा परिवर्तित करने के लिए जिम्मेदार है। स्थानीयकृत धाराएँ डेटा प्राप्त करते समय स्वयं को संबंधित कार्य करती हैं। (मैंने इसके बारे में लिखा है कि पहलू पहले कौन थे )।

मैं ऊपर एक टिप्पणी किए गए उदाहरण के साथ समझाऊंगा, जिसमें हम एक cp1251 फ़ाइल से डेटा पढ़ते हैं, यह दिखाते हैं कि कैसे बढ़ाएँ :: Xicive यूनिकोड के साथ काम करता है और cp866 में cout एनकोडेड (डिफ़ॉल्ट रूप से विंडोज़ कंसोल) में सिरिलिक वर्णमाला प्रदर्शित करता है।

स्रोत एनकोडिंग

उदाहरण पर विचार करना शुरू करने से पहले, आपको (बस मामले में) कार्यक्रम के स्रोत कोड के एन्कोडिंग के बारे में कुछ शब्द कहने चाहिए। मैं अपने सभी स्रोतों को UTF-8 में रखता हूं (यदि उनमें गैर-ASCII वर्णों के साथ व्यापक स्ट्रिंग स्थिरांक हैं, तो मैं फ़ाइलों में BOM जोड़ देता हूं), जो मैं सभी को सलाह देता हूं। आधुनिक संकलक खुद UCS-2 (या UCS-4) में "L" के रूप में स्रोत में चिह्नित "विस्तृत" वर्णों को परिवर्तित करते हैं। यह स्पष्ट है कि सही रूपांतरण स्रोत एन्कोडिंग पर निर्भर करता है। डिफ़ॉल्ट रूप से जीसीसी का मानना है कि यह यूटीएफ -8 पाठ के साथ काम करता है, इसलिए इसे मनाने के लिए आपको विशेष रूप से -finput-charset पैरामीटर के मूल्य को निर्दिष्ट करना होगा। MS कंपाइलर को थोड़ी मदद की ज़रूरत है - UTF-8 में BOM ( बाइट ऑर्डर मार्क ) फ़ाइल जोड़ें। दुर्भाग्य से, यूआरएफ -8 के साथ बोरलैंड सी ++ कंपाइलर संस्करण 5.5 में समस्याएं हैं।

जो लोग मुझ पर पत्थर फेंकने जा रहे हैं, उनके लिए मैं दो बिंदुओं को समझाऊंगा: पहला - मेरे लिए "यूनिकोड से बचना" प्रकार के साथ कोड पढ़ना सुविधाजनक नहीं है:

std::wstring wstr(L"\u0410\u0411\u0412\u0413\u0413");

दूसरा, यह केवल यूजर इंटरफेस के बारे में नहीं है, इसलिए, सभी विस्तृत स्ट्रिंग स्थिरांक को एक अलग मॉड्यूल में डालना और किसी तरह उनके साथ काम करना (जैसे गेटटेक्स्ट) एक विकल्प नहीं है।

इसलिए यह तय किया गया था - BOM के साथ UTF-8 के स्रोत। अगर किसी को पता नहीं है, तो विम सेट में "सेट बम" कमांड का उपयोग करके फ़ाइल में जोड़ा जा सकता है। यदि फ़ाइल के BOM में पहले से ही विम है, तो वह कहीं भी नहीं जाएगा।

विभिन्न एन्कोडिंग के साथ काम करने का एक उदाहरण

खैर, हम सबसे दिलचस्प हो गए। जैसा कि मैंने कहा, कोड सरल और सीधा है। मानक थ्रेड्स पर एक छोटा नोट - डिफ़ॉल्ट रूप से, उनके लिए पहलुओं का उपयोग नहीं किया जाता है क्योंकि वे प्रदर्शन के लिए stdio के साथ सिंक्रनाइज़ किए जाते हैं। आपको Sync_with_stdio (गलत) निर्दिष्ट करना चाहिए।

 #include <boost/xpressive/xpressive.hpp> #include <locale> #include <fstream> #include <iostream> #include <iterator> #include "codecvt_cp866.hpp" #include "codecvt_cp1251.hpp" #include "unicyr_ctype.hpp" using namespace std; using namespace boost::xpressive; int main() { //    input.txt   cp1251,   // ", !" ofstream ofile("input.txt", std::ios::binary); ostreambuf_iterator<char> writer(ofile); writer = 0xCF; //  ++writer = 0xF0; //  ++writer = 0xE8; //  ++writer = 0xE2; //  ++writer = 0xE5; //  ++writer = 0xF2; //  ++writer = 0x2C; // , ++writer = 0x20; // ++writer = 0xEC; //  ++writer = 0xE8; //  ++writer = 0xF0; //  ++writer = 0x21; // ! ofile.close(); //   wifstream ifile("input.txt"); //    locale cp1251(locale(""), new codecvt_cp1251<wchar_t, char, mbstate_t>); ifile.imbue(cp1251); wchar_t wstr[14]; ifile.getline(wstr, 13); //  C++   cout, cin, cerr  // clog,       stdio,   //        (    //  gcc, msvc 7    ).  //  ios,       stdio. ios_base::sync_with_stdio(false); //    locale cp866(locale(""), new codecvt_cp866<wchar_t, char, mbstate_t>); //  ,      //  wcout.imbue(cp866); //    ctype locale cyrr(locale(""), new unicyr_ctype); wsregex_compiler xpr_compiler; xpr_compiler.imbue(cyrr); wsregex xpr = xpr_compiler.compile(L"", regex_constants::icase); wsmatch match; if(regex_search(wstring(wstr), match, xpr)) wcout << L"icase " << endl; else wcout << L"icase  " << endl; return 0; }

Cp1251 से ucs-2 और इसके विपरीत के लिए सिरिलिक परिवर्तित करने के लिए facet codecvt

 #include <locale> #include <map> /**@brief  codecvt      cp1251 *  UCS-2   * *       (3-   - * ).        - * .   ,   codecvt     *  .       *  .  ,      , *  ,     .   *        . State *      ,     *       ,    *       . */ template<class I, class E, class State> class codecvt_cp1251 : public std::codecvt<I, E, State> { public: //     typedef typename std::codecvt_base::result result; const result ok, //  partial, //   (  State) error, //   noconv; //   explicit codecvt_cp1251(size_t r=0) : std::codecvt<I, E, State>(r), ok(std::codecvt_base::ok), partial(std::codecvt_base::partial), error(std::codecvt_base::error), noconv(std::codecvt_base::noconv) { //    -   in_tab[0xA8] = 0x401; out_tab[0x401] = 0xA8; in_tab[0xB8] = 0x451; out_tab[0x451] = 0xB8; // ...   } ~codecvt_cp1251() { } protected: /**@brief        *  from-from_end,     in-in_end.*/ virtual result do_in(State&, const E* from, const E* from_end, const E* &from_next, I* to, I* to_end, I* &to_next) const { while(from != from_end) { if(to == to_end) { from_next = ++from; to_next = to; return partial; } // ASCII if(0 <= *from && *from <= 0x7F) { *to = static_cast<I>(*from); } else if(0xC0 <= static_cast<unsigned char>(*from) && static_cast<unsigned char>(*from) <=0xFF) { *to = static_cast<I>(static_cast<unsigned char>(*from) + 0x350); } else { typename std::map<E, I>::const_iterator s; s = in_tab.lower_bound(*from); if(s == in_tab.end()) { //   ,  from  next   from_next = ++from; to_next = ++to; return error; } *to = s->second; } ++to; ++from; } from_next = from_end; to_next = to; return ok; } /**@brief    ,  true*/ virtual int do_encoding() const throw() { return 1; } /**@brief    ,  true*/ virtual bool do_always_noconv() const throw() { return false; } /*     virtual result do_out(State&, const I* from, const I* from_end, const I* &from_next, E* to, E* to_end, E* &to_next); virtual int do_length(State& s, const E* from, const E* from_end, size_t max) const; virtual int do_max_length() const throw(); */ private: //       std::map<E, I> in_tab; std::map<I, E> out_tab; };

नोट

मैंने अनावश्यक कोड के साथ लेख को अव्यवस्थित नहीं किया - cp866 के लिए कोडेकवेट पहलू समान रूप से लागू किया जाता है, लेकिन मैंने पहले ctype के बारे में बात की थी, लेकिन अगर किसी को काम करने के उदाहरण की आवश्यकता है, तो इन पहलुओं को जीथब पर लिया जा सकता है - git: //github.com/hoxnox/cyrillic- facets.git।

और मैं लाइन नंबरों की कमी के लिए माफी मांगता हूं - विषय को "निगल" करने के लिए यूएफओ के लिए, मुझे हाईट कोड को कम करना था।

UNICODE के बारे में अधिक यहाँ पढ़ें

पहलुओं के बारे में अधिक जानने के लिए, स्ट्रॉस्ट्रुप की पुस्तक "C ++ प्रोग्रामिंग लैंग्वेज", तीसरा विशेष संस्करण, परिशिष्ट देखें

बढ़ावा के बारे में अधिक :: यहाँ xpressive

UPD 20150813:

साइपा हेब्रुबलर ने एक जांच की और पता चला कि कोडेकावेट पहलू केवल उन धाराओं के साथ काम करता है जो बिसिक_फिल्बोफ के साथ काम करते हैं। मानक के अनुसार (पैराग्राफ 27.9.1.1, इसके अलावा, यह स्ट्रैसपुप द्वारा नोट किया गया है), कार्यान्वयन को अन्य बफ़र्स के लिए कोडेकावेट पहलू विधियों को कॉल करने की आवश्यकता नहीं है - विशेष रूप से basic_stringbuf में। इस प्रकार, यदि आपने अपने codecvt facet के साथ एक लोकेल बनाया है और आशा है कि std :: stringstream जिसे यह लोकेल असाइन किया गया है (imbue का उपयोग करके) इस पहलू को खींच लेगा, तो आप गलत हैं।

एन्कोडिंग

कार्य सिद्धांत

स्रोत एनकोडिंग

विभिन्न एन्कोडिंग के साथ काम करने का एक उदाहरण

नोट

More articles: