एक ब्राउज़र में पार्सिंग रॉ: हमने यह कैसे किया

हेलो, हैबर।



मैं अपनी खुशी साझा करना चाहता हूं - हमने अपनी Pics.io सेवा के लिए कैनन और निकॉन कैमरों से मालिकाना रॉ प्रारूपों का विश्लेषण समाप्त कर दिया। उन लोगों के लिए जो जानकारी में नहीं हैं: Pics.io का मुख्य विचार लोगों को ब्राउज़र में सीधे रॉ तस्वीरों के साथ काम करने का अवसर देना है। किसी भी प्रोग्राम, प्लगइन्स और एक्सटेंशन को स्थापित किए बिना - एक वास्तविक शून्य पदचिह्न।



जब हमने काम करना शुरू किया, तो एक समझ थी कि आने वाले वर्षों में, डिजिटल फोटोग्राफी "क्लाउड" में चली जाएगी। हमें पता था कि गतिशीलता का चलन बढ़ेगा और क्लाउड स्टोरेज की कीमतों में गिरावट होगी। तब वेब में मोज़ेक के केवल एक टुकड़े का अभाव था - पर्याप्त छवि प्रसंस्करण। कई ऑनलाइन संपादक थे, उनमें से अधिकांश फ्लैश में लिखे गए थे, जो कई प्रतिबंधों के कारण फोटोग्राफरों को संतुष्ट नहीं कर सकते थे: उन्होंने 8-बिट जेपीईजी, पीएनजी के साथ काम किया था और फ़ाइल आकार की सीमा थी। हमने रॉ समर्थन के साथ एक संपादक बनाने का फैसला किया।



उस समय, हमारे पास DNG के साथ काम करने वाले कई प्रोटोटाइप थे, जिसने साबित किया कि यह सब जावास्क्रिप्ट और वेबजीएल में किया जा सकता है। लेकिन हम, दुर्भाग्य से, दुनिया के सभी लोगों को अपनी तस्वीरों को डीएनजी में बदलने के लिए नहीं मिला। यहां तक ​​कि एडोब भी सफल नहीं हुआ। हम समझते हैं कि "देशी" प्रारूपों के लिए समर्थन की आवश्यकता थी, और कुछ महीने पहले हमने कैनन और निकोन से सबसे आम मालिकाना प्रारूप लिया था।

Parsing DNG और मालिकाना RAW प्रारूप

CR2 या NEF की तुलना में, DNG के कई फायदे हैं। प्रारूप के खुलेपन और XMP को इसमें एम्बेड करने की क्षमता से शुरू, और एक DNG कंटेनर के अंदर डेटा और मेटाडेटा को संग्रहीत करने के लिए अधिक इष्टतम प्रारूप के साथ समाप्त होता है। हमने अपने ब्लॉग में प्रारूपों के अंतर और विशेषताओं के बारे में पहले से ही लिखा था, हैबे पर एक पोस्ट थी और यदि आप देखते हैं, तो बहुत सारी जानकारी। यहां हम औसत उपयोगकर्ता से छिपे हुए तकनीकी मुद्दों पर ध्यान देते हैं।



अधिकांश RAW प्रारूप (CR2, NEF और DNG) TIFF प्रारूप पर आधारित हैं, जो एक टैग किया गया प्रारूप है। और जब से टीआईएफएफ निजी टैग के साथ खुद को विस्तारित करने का अवसर प्रदान करता है, कैनन और निकॉन सक्रिय रूप से इसका उपयोग करते हैं, अपने स्वयं के प्रारूप में आवश्यक जानकारी का एक गुच्छा रिकॉर्डिंग करते हैं। कैमरा निर्माता मेरे लिए ऐसा क्यों करते हैं इसके कारण रहस्य बने हुए हैं, और अगर किसी के पास इस बारे में अटकलें हैं, तो कृपया टिप्पणियों में टिप्पणी करें।



वास्तव में, किसी भी रॉ को पार्स करने के कई चरण होते हैं: जेपीजी से डेटा को डिकम्पोज करना, जिसके परिणामस्वरूप कैमरे के मैट्रिक्स द्वारा कैप्चर की गई "कच्ची" छवि और रंग सूचना को पुनर्स्थापित करने के लिए डीमैट्रीज़ेशन (भी डिबाइरिंग) आवश्यक है (क्योंकि कैमरा का सेंसर चमक को कैप्चर करता है, नहीं रंग)।

डिकंप्रेसन jpg

तो कैमरा मैट्रिक्स छवि को "देखता है"



RAW को पार्स करते समय पहली बात यह है कि विघटन एल्गोरिथ्म के लिए आवश्यक मेटाडेटा को घटाना है। यह आवश्यक आकार, ऑफसेट, डेटा स्टोरेज विधि आदि को संग्रहीत करता है। DNG के साथ, सब कुछ सरल है, विनिर्देश स्पष्ट रूप से बताता है कि यह कहां और कहां है (और बड़े करीने से झूठ, फ़ाइल में बिखरे हुए नहीं)। डेटा विघटन आनंद में बदल जाता है। CR2 प्रारूप थोड़ा अधिक जटिल है, क्योंकि चर टैग के विभिन्न समूहों में बिखरे हुए हैं और विघटन एल्गोरिथ्म कैमरा से कैमरा में थोड़ा भिन्न होता है। निकॉन हमेशा अपने प्रारूप में एक ही एल्गोरिदम का उपयोग करता है, केवल हफ़मैन पेड़ जो विघटन परिवर्तन के लिए उपयोग किया जाता है। कैनन के विपरीत इन पेड़ों को हर बार पुनर्निर्माण करने की आवश्यकता नहीं होती है, लेकिन मेटाडेटा से घटाया जा सकता है। मेटाडेटा को मकरनोट अनुभाग में गहराई से संग्रहीत किया जाता है, जिसका अपना प्रारूप है। लेकिन मुख्य दोष यह है कि सीआर 2 और एनईएफ के अंदर, पैक किए गए डेटा को एक टुकड़े में संग्रहीत किया जाता है (वास्तव में, कैनन कई टुकड़ों को संग्रहीत करता है, जिसे तब एक> _ <) में चिपका दिया जाना चाहिए, और DNG कई छोटे टुकड़ों (टाइल्स) को संग्रहीत करता है, इसलिए कार्य आसानी से समानांतर किया जा सकता है। हमारे कच्चे। Pics.io में, मूल RAW फ़ाइल की तुलना में DNG विसंपीड़न 3-4 गुना तेज है।



डीएनजी का समर्थन करने वाले कुछ कैमरे अनपैक डेटा लिख ​​सकते हैं, फ़ाइल का आकार बड़ा है, लेकिन आप विघटन कदम को छोड़ सकते हैं।

कच्चे माल का डेटा डीमैट्रीएजेशन

दूसरा बड़ा कदम डिमैट्रिएजेशन है। निर्माता टीआईएफडी टैग के अंदर अपने स्वयं के ढांचे में इस कदम पर आवश्यक मेटाडाटा लिखते हैं, जो नए मॉडलों की रिहाई के साथ बदलते हैं। कैमरों में नई सुविधाओं को जोड़कर, निर्माता अपने स्वामित्व प्रारूपों में नए टैग जोड़ते हैं, और यह तृतीय-पक्ष सॉफ़्टवेयर में इन कार्यों के समर्थन को जटिल बनाता है। और जब सही सफेद संतुलन या गामा सुधार को बहाल करने की बात आती है, तो हमें निर्माता और विशिष्ट कैमरा मॉडल दोनों पर विचार करना होगा।



बेशक, हम मेटाडेटा को कैशिंग करके थोड़ा बचाते हैं, क्योंकि हम पहले से ही कैमरों की विशेषताओं और उनके "लोहा" भरने को जानते हैं, लेकिन शूटिंग की स्थितियों के आधार पर मापदंडों को प्राप्त करने के लिए आपको प्रारूपों के पूरे चिड़ियाघर का समर्थन करना होगा।



सामान्य तौर पर, डीमैट्रिएशन प्रक्रिया काफी संसाधन गहन होती है। आपको क्रमिक रूप से प्रत्येक पिक्सेल (या इसके आसपास के पिक्सल) पर कई ऑपरेशन करने की आवश्यकता है, और 20 मेगापिक्सेल की छवियों पर यह जल्दी से नहीं किया जाता है। = (यहां हम अपनी सारी शक्ति के साथ वेबवॉकर्स का उपयोग करते हैं और जितना हो सके उतना समानांतर करते हैं। लेकिन वैसे भी हमें इसकी आवश्यकता है और इसे और भी तेज़ करना चाहते हैं, इसलिए अब हम प्रक्रिया को गति देने में मदद करने के लिए SIMD , WebCL और अन्य तकनीकी-खुशियों को देख रहे हैं।

अंतभाषण

कनवर्टर को विकसित करते समय, हमने बहुत कुछ सीखा कि कैसे रॉ की व्यवस्था की जाती है, और यदि कोई इस विषय में रुचि रखता है, तो टिप्पणियों में पूछें।



आप अपने RA2 कन्वर्टर के पेज पर अपनी CR2 और NEF फाइलों को अब बदलने की कोशिश कर सकते हैं। यह तेजी से काम नहीं करता है, आपको औसतन 15-20 सेकंड इंतजार करना पड़ता है, लेकिन अब "क्लाउड" में फोटोग्राफरों के रास्ते पर अंतिम पत्थर स्थानांतरित कर दिया गया है। और Google ड्राइव के लिए अप्रैल की कीमतों में लगभग पांच गुना की कमी के साथ ... आप कल्पना कर सकते हैं। इसलिए "ब्राउज़र में लाइटरूम" की प्रतीक्षा करें। हम पहले से ही इस पर काम कर रहे हैं।







UPD: उन्होंने एक नया संस्करण पोस्ट किया, जिसमें उन्होंने कैनन 5D मार्क III, Nikon D5000, Nikon D700 का विश्लेषण तय किया।

धन्यवाद स्नोली , स्कमवेयर , भ्रूण 26



UPD2: अगर किसी को "अभी तक समर्थित नहीं प्रारूप ..." संदेश के साथ समस्या थी, तो अब इसे सही तरीके से काम करना चाहिए।



UPD3: संपादक के लिए एक ढाल फिल्टर जोड़ा गया। इस समय हमारे उपकरणों में से एक सबसे अच्छा है। आप इसे यहाँ देख सकते हैं।