एनकोडिंग और यूनिकोड के बारे में

पहले, यह कुछ शब्दों को समझाने के लायक है। कोड पृष्ठ - पहले से ज्ञात आकार की एक तालिका, प्रत्येक स्थिति (या कोड), जो किसी एकल वर्ण या उसकी अनुपस्थिति से जुड़ी होती है। उदाहरण के लिए, आयाम 256 का एक कोड पृष्ठ, जहां अक्षर "G" 71 वें स्थान से मेल खाता है। एन्कोडिंग - एक संख्यात्मक प्रतिनिधित्व में एक चरित्र एन्कोडिंग के लिए एक नियम। कोई एन्कोडिंग किसी विशिष्ट कोड पृष्ठ के लिए बनाई गई है। उदाहरण के लिए, Abrwal एन्कोडिंग में "G" वर्ण 71 मान लेगा। वैसे, सबसे सरल एनकोडिंग ऐसा करते हैं - वे कोड तालिकाओं में उनके मूल्यों द्वारा वर्णों का प्रतिनिधित्व करते हैं, ASCII भी इन पर लागू होता है।



पहले, प्रति वर्ण केवल 7 बिट्स एन्कोडिंग के लिए पर्याप्त था। और क्या? 128 विभिन्न पात्रों के लिए पर्याप्त है, उस समय के उपयोगकर्ताओं के लिए आवश्यक सब कुछ फिट: अंग्रेजी वर्णमाला, विराम चिह्न, संख्या और कुछ विशेष वर्ण। अपने संबंधित कोड पृष्ठ के साथ मुख्य अंग्रेजी-भाषा 7-बिट एन्कोडिंग को ASCII (सूचना मानक के लिए अमेरिकी मानक कोड) कहा जाता था, उन्होंने भविष्य के लिए नींव भी रखी। बाद में, जब कंप्यूटर गैर-अंग्रेजी बोलने वाले देशों में फैल गए, तो राष्ट्रीय भाषाओं की आवश्यकता थी, यहां एएससीआईआई नींव काम में आई। कंप्यूटर बाइट स्तर पर जानकारी संसाधित करते हैं, और ASCII कोड केवल पहले 7 बिट्स लेता है। 8 वीं का उपयोग करके अंतरिक्ष को संगतता खोए बिना 256 स्थानों तक विस्तारित किया गया, और इसके साथ अंग्रेजी भाषा का समर्थन, यह महत्वपूर्ण था। इस तथ्य पर, गैर-अंग्रेज़ी-भाषा कोड पृष्ठ और एन्कोडिंग के अधिकांश हिस्से बनाए गए हैं: निचले 128 स्थान ASCII के लिए समान हैं, और ऊपरी 128 राष्ट्रीय आवश्यकताओं के लिए आरक्षित हैं और उच्चतम बिट के साथ एन्कोडेड हैं। हालांकि, अपने स्वयं के पेज और एन्कोडिंग के प्रत्येक भाषा (कभी-कभी समान भाषाओं का एक समूह) के लिए निर्माण ऑपरेटिंग सिस्टम और सामान्य रूप से सॉफ़्टवेयर के डेवलपर्स द्वारा ऐसी अर्थव्यवस्था के समर्थन के साथ समस्याओं का कारण बना।



स्थिति पर काबू पाने के लिए, एक कंसोर्टियम आयोजित किया गया था जो यूनिकोड मानक को विकसित और प्रस्तावित करता था। यह दुनिया की सभी भाषाओं के संकेतों को एक बड़ी तालिका में संयोजित करना था। इसके अलावा, एनकोडिंग का निर्धारण किया गया था। सबसे पहले, लोगों ने फैसला किया कि 65,535 सीटें सभी के लिए पर्याप्त होनी चाहिए, उन्होंने यूसीएस -2 की शुरुआत की - एक निश्चित 16-बिट कोड लंबाई के साथ एन्कोडिंग। लेकिन एशियाई लोग मल्टीवोल्यूम एबीसी के साथ आए, और गणना ध्वस्त हो गई। कोड क्षेत्र दोगुना हो गया, UCS-2 अब सामना नहीं कर सकता, 32-बिट UCS-4 दिखाई दिया । यूसीएस एन्कोडिंग के मूर्त लाभ दो कोड लंबाई और एक सरल एन्कोडिंग एल्गोरिथ्म के लगातार कई थे, दोनों ने टेक्स कंप्यूटर की प्रसंस्करण गति में योगदान दिया। लेकिन एक ही समय में अंतरिक्ष का एक अनुचित, बहुत बेकार अपशिष्ट भी था: कल्पना कीजिए कि ASCII 00010101 में, फिर UCS-2 00000000 00010101 में, और UCS-4 पहले से ही 000000000000000000000000 00010101 है। कुछ किया जाना था।



यूनिकोड का विकास प्राप्त कोड की एक चर लंबाई के साथ एन्कोडिंग की ओर मुड़ गया है। प्रतिनिधि UTF-8 , UTF-16 और UTF-32 , पैरोल पर बाद वाले थे, क्योंकि फिलहाल यह UCS-4 के समान है। UTF-8 में प्रत्येक वर्ण 8 से 32 बिट्स तक होता है, और ASCII के साथ संगतता है । UTF-16 में 16 या 32 बिट्स हैं, UTF-32 में 32 बिट्स हैं (यदि यूनिकोड स्थान दोगुना हो गया था, तो 32 या 64 बिट्स), ये दोनों ASCII के मित्र नहीं हैं। कब्जा बाइट्स की संख्या यूनिकोड तालिका में वर्ण स्थिति पर निर्भर करती है। जाहिर है, सबसे व्यावहारिक एन्कोडिंग UTF-8 है। एएससीआईआई के साथ इसकी संगतता के कारण, स्मृति के लिए एक छोटी सी लोलुपता और काफी सरल एन्कोडिंग नियम हैं, यह सबसे आम और आशाजनक यूनिकोड एन्कोडिंग है। खैर, निष्कर्ष में, वर्ण कोड को UTF-8 में परिवर्तित करने के लिए एक सुंदर योजना: