🖼️ 🤦🏽 🤲🏿 जावा में OSM जियोकोडर ♿️ 💃🏿 🧒🏼

हेलो, हेबर के प्रिय पाठकों। यह लेख बात करेगा

फ़ज़ी स्कीम वाले पते और डेटा स्टोर के बारे में
जावा में जियोडाटा प्रसंस्करण के बारे में, अर्थात् जावा टोपोलॉजी सूट के बारे में
डेवलपर के लिए "सादगी" की लागत के बारे में
शुद्ध जावा nosql डॉक्यूमेंट डेटाबेस / फुल-टेक्स्ट सर्च इंजन के बारे में - एलास्टिसर्च।

जावा हब पाठकों के लिए OSM से अपरिचित है

OSM एक खुला भू-स्थानिक डेटाबेस है जिसमें अत्यधिक विस्तृत वैश्विक कवरेज है।

उपयोगकर्ता के लिए, यह केवल एक नक्शा है जिसे ऑन-लाइन देखा जा सकता है, इसे नेविगेटर पर डाउनलोड किया जाता है, फ़ोन, संपादित, मुद्रित और आम तौर पर किसी अन्य कल्पनाशील तरीके से उपयोग किया जाता है, जिसमें से व्यावसायिक लाभ प्राप्त करना भी शामिल है।

डेवलपर के दृष्टिकोण से, यह एक बहुत ही अजीब डेटाबेस है।

ओएसएम में कोई स्पष्ट डेटा योजना नहीं है, परतों में जीआईएस विभाजन के लिए सामान्य रूप से नहीं है। एक वस्तु का प्रकार, इसके गुण और, एक अर्थ में, इसकी ज्यामिति, टैग के माध्यम से सेट की जाती है - पाठ कुंजी-मूल्य जोड़े।
ज्यामिति को केवल अंकों के लिए संग्रहित किया जाता है। एक पंक्ति id कीhnikov अंक की एक सरणी है। बहुभुज - एक संकेत के साथ लाइनों के लिंक का एक सेट जिसमें सीमाएं शामिल हैं - आंतरिक या बाहरी।
यह समुदाय को मक्खी पर नए डेटा प्रकारों को गढ़ने की अनुमति देता है। यदि आप बग़ल में चिह्नित करना चाहते हैं, तो टैग के संयोजन पर बातचीत करें और जाएं। यह सब बिना ड्रम्स (अच्छी तरह से, लगभग) काटने के साथ, कुछ अतुलनीय मॉडरेटर द्वारा, आपके दिल के लिए प्रिय डेटा टिप्पणी के साथ "आप कार्ड को अव्यवस्थित करते हैं, किसी को भी आपके काम की ज़रूरत नहीं है।"

स्वाभाविक रूप से, डेवलपर्स के लिए इस तरह के एक मुफ्त-जहाज आसानी से एक दुःस्वप्न में बदल जाता है।

पता

हम में से अधिकांश 1-2 शहरों में जीवन बदल रहे हैं, और हमारे पास मेलिंग योजनाओं की विविधता पर ध्यान देने का समय नहीं है।

यह एक छोटे से शुरू होता है - पते को लिखकर: बड़े से छोटे या छोटे से बड़े तक।

फिर यह पता चला कि कुछ शहरों में सड़क का उपयोग पते में नहीं किया गया है:

घर 521, कोटर, मोंटेनेग्रो या रूसी संघ, एनर्जेटिक घर 15 का गाँव।

उस एक घर में कई पते हो सकते हैं:

दुनिया का सबसे अच्छा शहर, डायरेक्ट स्ट्रीट, 22 और उसके पास दुनिया का सबसे अच्छा शहर है, बारहमासी सड़क, 12

वह दोहरा पता केवल कोने के घरों में नहीं हो सकता है और यह कि 2 पते सीमा से दूर हैं।

तेलिन काश्तानोवया गली 13, 15, 17

तेलिन चेरी स्ट्रीट 1, 3

* एक उदाहरण मेरे जीवन से काफी वास्तविकता है, मैं मूल सड़क के नाम भूल गया।

न केवल घरों को स्वयं संबोधित किया जा सकता है, बल्कि प्रवेश द्वार, या यहां तक कि घर के बाहरी रूप से प्रकट अनुभाग भी हो सकते हैं। (यह सिर्फ तेलिन के साथ उदाहरण से है - एक ही इमारत के अंदर एक ही सड़क पर पते आंतरिक अनुभाग हैं जो एक बार विभिन्न मालिकों के थे)।

और अंत में, के रूप में हर विदेशी

नबेरेज़िन चेल्नी, 11/1

यह 11 आवासीय परिसर है, घर 1. वास्तव में, कम आवृत्तियों वाले घरों में टाइप हाउस स्ट्रीट के सामान्य पते भी होते हैं, लेकिन स्थानीय लोग उनका उपयोग नहीं करते हैं।

अब इसे इस से गुणा करें:

OSM में स्थान निर्दिष्ट करने के 4 मौलिक तरीके

मल्टीकास्ट को निर्दिष्ट करने के 3-4 तरीके

सड़क का पता निर्दिष्ट करने के 3 तरीके

इसके अलावा, यदि आप डेटा दर्ज करते हैं, तो आपको इस चिड़ियाघर से कुछ योजनाओं का उपयोग करने की आवश्यकता है। यदि आप एक अच्छा जियोकोडर लिखना चाहते हैं, तो आपके लिए इस चिड़ियाघर के अस्तित्व को याद रखना पर्याप्त नहीं है, आपको इसे "गणना" करने की आवश्यकता है।

उदाहरण के लिए, आइए देखें कि घर - शहर से मेल खाने के लिए क्या करना चाहिए।

आइए परियोजना की मातृभूमि से शुरू करें - यूके।

उदाहरण के लिए, वेस्टमिंस्टर में एक घर। www.openstreetmap.org/way/46138969

addr:housenumber 1 addr:street Derby Gate building yes

वेस्टमिंस्टर खुद इस तरह चिह्नित है:

 name Westminster name:ru  place town

याद रखने के लिए जो अधिक महत्वपूर्ण है, बतख यह है कि यह लगभग लंदन का बहुत केंद्र है। लंदन में अनिवार्य रूप से कई दर्जन छोटे शहर शामिल हैं। घर किस शहर का है? लंदन या वेस्टमिंस्टर के लिए?

वास्तव में, इस प्रश्न का उत्तर असमान रूप से देना असंभव है, भवन के लिए यह इंगित नहीं किया जाता है कि यह औपचारिक रूप से किस शहर को संदर्भित करता है। लेकिन, मेरे लिए, उदाहरण के लिए, यह स्पष्ट है कि एक अच्छे जियोकोडर को "लंदन, डर्बी गेट, 1" और "वेस्टमिंस्टर, डर्बी गेट, 1" और "लंदन, वेस्टमिंस्टर, डर्बी गेट, 1" के अनुरोध पर इस घर को ढूंढना चाहिए।

जैसा कि मैं कार्यान्वयन देखता हूं: मैं प्रत्येक घर (पता बिंदु) पर सभी बहुभुज सीमाओं को मैप करता हूं, जो इसे गिरता है (शहर की सीमाएं यदि यहां निर्दिष्ट हैं) और पड़ोसी बस्तियों की एक सरणी, यहां निकटतम शहर के रूप में लंदन और निकटतम शहर के रूप में वेस्टमिंस्टर अभी भी उनके पड़ोसी हैं।

यहाँ यह एलेस्टिक्स खोज के लिए json डेटा स्कीमा जैसा दिखता है

 //     "nearby_places": { "properties": { "id": { "type": "string" }, "place": { "type": "string" }, "name": { "type": "string" }, "alt_names": { "type": "string" } } }, //         ,   ,     "locality_name": { "type": "string" }

तदनुसार, जब खोज करते हैं, तो किसी भी शहर के साथ अनुरोध पर एक घर ढूंढना संभव होगा, अंतर केवल एक मिलान वाले शहर और पड़ोसी शहरों की प्रासंगिकता में होगा। प्रत्येक "जरूरत" 1 या 2 स्थानिक जुड़ाव है।

जियोकोडर

जैसा कि एक प्रसिद्ध ओस्मेर ज्वेरिक ने डाला था

"हाल ही में, हर कोई केवल वही काम कर रहा है जो अगला जियोकोडर कर रहा है।"

मैं अपवाद नहीं बनूंगा: हर कोई जियोकोडर लिखता है, मैं क्यों बदतर हूं? मुझे जियोकोडर ~~बाइक~~ भी चाहिए।

पतों के बारे में लोग OSM से क्या चाहते हैं?

मुझे csv या sqlite में पते अपलोड करें
कृपया मुझे 100,500 पतों की एक सूची दें
ऑनलाइन जियोकोडिंग सेवा (OSM में ऑनलाइन जियोकोडर्स हैं, इसलिए यह आइटम पहले स्थान पर नहीं है)
मैंने घर या संगठन के लिए पता दर्ज किया, मैं इसे ऑनलाइन जियोकोडर के माध्यम से क्यों नहीं खोज सकता हूं?
मैं ओएसएम डेटा के साथ अपना स्थानीय खोज इंजन चाहता हूं, आप क्या सलाह देते हैं।

उत्तर आमतौर पर इस तरह शुरू होता है:

आपको पोस्टग्रिस, पोस्टगिस की आवश्यकता होगी (90% आमतौर पर खोज के इस भाग को पास करते हैं)
आपको इस डेटाबेस में OSm डेटा को ऑस्मोसिस या osm2pgsql का उपयोग करके लोड करने की आवश्यकता होगी, यदि आपने अचानक एक ग्रहों के पैमाने पर इस तरह के फोकस को क्रैक करने का फैसला किया है, तो रैम (16-32 गीगाबाइट) और धैर्य पर कई दिनों तक स्टॉक करें (यदि आपके पास बहुत अधिक ऑपरेटिव है, और कई सप्ताह अगर रैम पर्याप्त नहीं है)। देश भी बहुत तेज नहीं हैं और लोहे के प्रति बहुत वफादार नहीं हैं।
डेटा को पोस्ट-पाप स्क्रिप्ट के साथ प्रोसेस करें। (वांछित परिणाम के आधार पर, 10% - 20% रहता है जो OSM-stoics के डेटा के प्रसंस्करण से संपर्क करना चाहते हैं।)
डेटाबेस में पते के साथ एक खोज जोड़ें या जिसे आपको csv / json में चाहिए

संपूर्ण इकाइयाँ खोज को पूरा करती हैं। जियोकोडर में प्रत्येक नई सुविधा को जोड़ने में घंटे, या दिन भी लगते हैं, एक पोस्ट-एरर के साथ जियोस्पेशल जॉन्स को संसाधित करने के लिए, और नए डेटा को लोड करने के लिए आवश्यक RAM के गीगाबाइट्स को पोस्ट-एरर में लोड करना पड़ता है।

और जब आप समझते हैं कि रूसी संघ में, शहर की लैंडफिल में जाकर घर के लिए एक शहर पर विचार करने की प्रथा है, और यूके में - क्रमशः बस्तियों के बिंदुओं की निकटता से, आपको रूसी संघ में अपनाई गई दोनों शहर की सीमाओं की आवश्यकता है, वोरोनोई लैंडफिल + यूके के लिए पड़ोसी, और यह सब मिला हुआ है। आंखें खून से भर जाती हैं, और अगली संबोधन योजना, रिश्तों के एक समूह पर आधारित होती है, जो भावनाओं का प्रवाह पैदा करती है।

जियोकोडिंग को लगभग दो स्वतंत्र कार्यों के रूप में माना जा सकता है:

डेटा प्राप्त करने के लिए सभी वस्तुओं (पते, गलियों, शहरों, रुचि के बिंदु) के लिए: शहर की सीमाएं, पड़ोसी शहर के बिंदु, आसपास की सड़कें।
इस डेटा का उपयोग करके खोज व्यवस्थित करें। सबसे सरल मामले में, यह सिर्फ एक पूर्ण-पाठ खोज है।

मैंने समस्या 1 को हल करने पर ध्यान केंद्रित किया - खोज अनुक्रमण के लिए उपयुक्त रूप में डेटा प्राप्त करें। सिद्धांत रूप में, इस डेटा को google या yandex indexing के लिए दिए जाने पर, जियोकोडर के दूसरे भाग को आउटसोर्स किया जा सकता है।

प्रयास नंबर 1

मेरा पहला प्रयास यहाँ है। github.com/kiselev-dv/osm-addresses-pgsql

मैं सरलीकृत डेटा को पोस्टग्रेज में लोड करता हूं, जिसके बाद, उचित समय के भीतर रखने के लिए विभिन्न ट्रिक्स का सहारा लेते हुए, मैं उन्हें प्रोसेस करता हूं।

विकास प्रक्रिया के दौरान, यह पता चला कि जावा में ज्यामिति को संसाधित करने के लिए यह तेजी से और अधिक लचीला था और तैयार ज्यामिति को तीरों में लोड करना था।

कम्प्यूटेशनल ज्यामिति में कम्प्यूटेशनल जटिलता

कोई भी आम तौर पर एक लेख के बीच में नहीं पढ़ता है, मुझे आशा है कि एक स्पष्ट शब्दावली एक ऊब पाठक को खुश करेगी।

Zip xml में पैक किए गए 2 गीगाबाइट डेटा को डाउनलोड करने के लिए 6+ गीगाबाइट रैम क्यों लगता है?

OSM डेटा में पूर्ण ज्यामिति नहीं होती है, केवल OSM ऑब्जेक्ट जिसमें भौगोलिक संदर्भ होता है, एक बिंदु होता है। (बस डेटा सामान्यीकरण की विजय) तदनुसार, ज्यामिति को प्राप्त करने के लिए, आपको लाइनों से आईडी के अन्निकोव सूचियों से अंक लोड करने की आवश्यकता है। वास्तव में स्मृति की मुख्य मात्रा अंकों का सूचकांक खाती है। डिस्क पर एक बार फिर से नहीं चढ़ने के लिए, टैग आमतौर पर उनके लिए सहेजे जाते हैं। अब ग्रह के डंप में लगभग 3 बिलियन अंक हैं, यहाँ इंडेक्स में स्टोरिंग पॉइंट्स के लिए ओवरहेड जोड़ें, और एक नियमित होम कंप्यूटर के लिए, JavaHeapSpace विफल हो जाएगा।

मान लीजिए कि हम ज्यामितीय सूचकांकों को इकट्ठा करने के लिए एक डेटाबेस में इस सब को नियंत्रित और लोड करने में कामयाब रहे। क्वेरी निष्पादन को गति कैसे दें?

कार्य का थोक बिंदु स्थान समस्या है। यही है, रूसी संघ के उदाहरण का उपयोग करते हुए, हमें आधा मिलियन सीमावर्ती पॉलीहाउस में डेढ़ मिलियन बिंदुओं की घटना की गणना करने की आवश्यकता है। यह समझना भी महत्वपूर्ण है कि, उदाहरण के लिए, रूसी संघ की सीमा में 40,000 खंड हैं। सीमा में प्रवेश के लिए पूरे मिलियन बिंदुओं की जांच होनी चाहिए। सूचकांक के अस्तित्व के बावजूद, जटिलता हे (एन * एम) है। इंडेक्स का उपयोग करते हुए पोस्टगिस जल्दी से, यह निर्धारित करेगा कि एक लाख पता बिंदुओं में से n संभवत: रूसी संघ की सीमाओं के भीतर आता है, इसके बाद, यह निर्धारित करते हुए कि क्या बहुभुज के अंदर बिंदु सटीक है, यह एम स्केलर उत्पादों की गणना करेगा, जहां एम सीमा बहुभुज के खंडों की संख्या है।

जब तक इस तथ्य का एहसास हुआ, मैं पहले से ही लगभग सभी तैयारी का काम कर रहा था: प्रशासनिक सीमाओं के पार्स बहुभुज, सड़क ज्यामिति प्राप्त करें और सरल करें, जावा टोपोलॉजी सूट का उपयोग करके जावा में पते वाले घरों के लिए ज्यामिति प्राप्त करें। www.vividsolutions.com/jts/jtshome.htm यही है, पोस्टगिस मैं अनिवार्य रूप से स्थानिक join'ov अच्छी तरह से गणना करता था, और एक सामान्य io ढांचे के रूप में।

पोस्टगिस के साथ काम करने में एक और अड़चन क्वेरी निष्पादन को समानांतर करने की कठिनाई है। इस मामले में, मेरे पास प्रति सेकंड सैकड़ों अनुरोध नहीं हैं, लेकिन कई घंटों के लिए 1 मोटी अनुरोध है।

सबसे अच्छी बाइक, प्रयास संख्या 2

वास्तव में, जब मैं डेटा प्रोसेसिंग की जटिलता को चित्रित करता हूं, तो मैं थोड़ा आत्मा-पकड़ने वाला हूं। उदाहरण के लिए, ओएसएम समुदाय विभिन्न नेविगेशन कार्यक्रमों के प्रारूपों में नक्शे को परिवर्तित करने में काफी सक्षम है। यह एक दैनिक आधार पर, समर्पित सर्वरों और प्रतिभागियों के नियमित होम कंप्यूटर दोनों का उपयोग करता है।

उसी समय, रूसी समुदाय ओएसएम डेटा को स्थानीय बारीकियों, जर्मन समुदाय को ध्यान में रखते हुए संसाधित करेगा - अपने स्वयं के साथ।

दूसरे प्रयास में, मैंने एक समान मार्ग का अनुसरण करने का निर्णय लिया। मैंने एक आवेदन लिखने का फैसला किया जो कि घर के पीसी पर अधिकांश OSM'ers द्वारा उपयोग किया जा सकता है।

इसके लिए क्या आवश्यक है:

सबसे महत्वपूर्ण बात स्थापना की आसानी है। कोई भी आपके लिए पर्यावरण को कॉन्फ़िगर करने, अतिरिक्त लाइब्रेरी या डेटाबेस इंजन स्थापित करने के लिए शुरू नहीं करेगा। (अलविदा पोस्टग्रेज)
अनुकूलित करने की क्षमता। यदि आप चाहते हैं कि समुदाय आपकी मदद करे, तो समुदाय को ध्यान में रखने और स्थानीय परंपराओं और प्रथाओं को लागू करने का अवसर दें।
विभिन्न प्रकार के अनुप्रयोग। फिर से, स्थानीय समुदाय को अपने टूल के साथ कई प्रकार के कार्यों को हल करने दें। उस पते की रजिस्ट्री को अनलोड करने का अवसर दें, जिसमें स्थानीय समुदाय को इसकी आवश्यकता है।

क्योंकि मुझे पहले ही प्रयास नंबर 1 के बाद कुछ अनुभव था, मुझे आंशिक रूप से केवल जावा का उपयोग करके पोस्टगिस के लिए लागू प्रक्रिया को दोहराना पड़ा। वास्तव में, मुझे केवल स्थानिक अनुक्रमित RTree और QuadTree की आवश्यकता है, जो JTS में कार्यान्वित किए जाते हैं। और ज्यामिति के साथ काम करने के लिए कुछ उपयोगी तरीके, जैसे कि ज्यामिति को अलग करना और लाइन पर एक बिंदु।

इसलिए, मैं OSM डेटा को 2 चरणों में संसाधित करता हूं।

1 मुझे ओएसएम फ़ाइल से ज्यामिति मिलती है, इसे टुकड़ों में काट लें - स्ट्रिप्स 0.1 डिग्री चौड़ा। यह आपको कार्य को स्वाभाविक रूप से भागों में विभाजित करने की अनुमति देता है और साथ ही साथ सीमाओं की ज्यामिति को सरल करता है। यही है, 40,000 सेगमेंट वाले रूसी संघ की 1 सीमा के बजाय, मुझे 1,500 टुकड़े मिलते हैं, जिनमें से प्रत्येक में कुछ दर्जन सेगमेंट हैं। प्रत्येक पट्टी के लिए सीमा बहुभुज की संख्या भी कई दसियों के क्षेत्र में जाती है।

2 दूसरे चरण में, मुझे उम्मीद है कि बिंदुओं को सीमाओं के बहुभुज में प्रवेश करना है, मैं निकटतम सड़कों, निकटतम शहरों की तलाश करता हूं। प्रत्येक "पट्टी" को क्रमशः अलग से संसाधित किया जाता है, इस चरण को थ्रेड्स / नोड्स के बीच समानांतर किया जाता है।

नतीजतन, मुझे ब्याज, सड़कों, शहरों, सीमाओं और घरों के बिंदुओं के लिए एक json विवरण मिलता है।

पीओआई का वर्णन कैसा दिखता है

 { "id": "poipnt-3372930671-n600379459", "ftype": "poipnt", "timestamp": "2014-05-14T15:22:11.785Z", "poiTypes": ["police"], "boundaries": { "index_name": ",  ,  ", "text": " ,  , ", "langs": [], "longText": " ,  ,  , ", "boundariesHash": -410546539, "parts": [{ "lvl": "boundary:2", "names": { //         "int_name": "Russia", "official_name": " ", "name": "" }, "lnk": "admbnd-2864649470-r60189", "name": " ", "lvl-size": 130 }, { "lvl": "boundary:4", "names": { "name:en": "Nizhny Novgorod Oblast", "name:ru": " ", "name": " ", "name:de": "Oblast Nischni Nowgorod" }, "lnk": "admbnd-3018389977-r72195", "name": " ", "lvl-size": 110 }, { "lvl": "boundary:6", "names": { "name:ru": " ", "name": " ", "official_name": "  " }, "lnk": "admbnd-3704710510-r2031968", "name": " ", "lvl-size": 90 }, { "lvl": "place:town", "names": { "name:hu": "Szarov", "name:en": "Sarov", "name:ru": "", "name:pl": "Sarow", "name": "", "name:de": "Sarow" }, "lnk": "plcbnd-3118671325-r1428992", "name": "", "lvl-size": 70 }] }, "properties": { "name": "", "amenity": "police" }, "type": "Feature", "metainfo": { "id": 600379459, "type": "node" }, "geometry": { "type": "Point", "coordinates": [43.323823, 54.935209] } }

घर का विवरण (एड्रेस पॉइंट) कुछ इस तरह दिखता है

 { "id": "adrpnt-0642964090-w129096772", "ftype": "adrpnt", "timestamp": "2014-05-14T15:31:38.778Z", "nearbyStreets": [{ "id": "hghway-3750745956-w128994466", "properties": { "highway": "unclassified", "name": " " } }, { "id": "hghway-1683350308-w129293134", "properties": { "kladr:user": "87005000001000100", "surface": "concrete", "highway": "tertiary", "name": "  ", "oneway": "no" } }, { "id": "hghway-0059099168-w129293131", "properties": { "highway": "unclassified", "name": " " } }, { "id": "hghway-0069632087-w129293121", "properties": { "kladr:user": "87005000001000100", "surface": "concrete", "highway": "tertiary", "name": "  ", "oneway": "no" } }, { "id": "hghway-4111943004-w128995822", "properties": { "highway": "residential", "name": " " } }], "properties": { "building": "yes", "building:levels": "2", "sport": "swimming", "amenity": "swimming_pool", "addr:street": "  ", "addr:housenumber": "14" }, "nearestCity": { "id": "plcdln-2842041450-n1575069719", "properties": { "name:fr": "Providenia", "addr:postcode": "689251", "name:ru": "", "name:en": "Provideniya", "name:nl": "Providenia", "name:pl": "Prowidienija", "name:it": "Providenija", "name:es": "Providéniya", "addr:country": "RU", "name": "", "name:de": "Prowidenija", "addr:region": "  ", "place": "town" } }, "type": "Feature", "addresses": [{ "index_name": " 14,   , ,  ,   ,  ", "text": " ,   ,  , ,   ,  14", "langs": [], "longText": " ,   ,   ,  , ,   ,  14", "parts": [{ "lvl": "postcode", "name": "", "lvl-size": 55 }, { "lvl": "boundary:2", "names": { //   }, "lnk": "admbnd-2864649470-r60189", "name": " ", "lvl-size": 130 }, { "lvl": "boundary:3", "names": { "name:sv": "Fjärran österns federala distrikt", "name:en": "Far Eastern Federal District", "name:ru": "  ", "name:ja": "極東連邦管区", "name:es": "Distrito federal del Lejano Oriente", "name:de": "Föderationskreis Ferner Osten", "short_name": "", "name:vi": "Vùng liên bang Viễn Đông", "name:pt": "Distrito Federal Oriental", "name:fr": "District fédéral extrême-oriental", "name:uk": "і  ", "name:nl": "Federaal District Verre Oosten", "name:zh": "遠東聯邦管區", "name:it": "Distretto Federale dell'Estremo Oriente", "name:pl": "Dalekowschodni Okręg Federalny", "name": "  " }, "lnk": "admbnd-2969582277-r1221185", "name": "  ", "lvl-size": 120 }, { "lvl": "boundary:4", "names": { "name:sv": "Tjuktjien", "name:en": "Chukotka Autonomous Okrug", "name:ru": "  ", "name:ja": "チュクチ自治管区", "name:es": "Chukotka", "name:de": "Autonomer Kreis der Tschuktschen", "short_name": "", "name:vi": "Khu tự trị Chukotka", "name:fr": "Tchoukotka", "name:uk": "  ", "name:nl": "Tsjoekotka", "name:zh": "楚科奇自治区", "name:it": "Circondario autonomo della Čukotka", "name:pl": "Czukocki Okręg Autonomiczny", "int_name": "Chukotka Autonomous Okrug", "name": "  " }, "lnk": "admbnd-4289483775-r151231", "name": "  ", "lvl-size": 110 }, { "lvl": "boundary:6", "names": { "name:ru": " ", "name": " " }, "lnk": "admbnd-2373015928-r1949882", "name": " ", "lvl-size": 90 }, { "lvl": "place:town", "names": { "name": "" }, "lnk": "plcbnd-3753535756-w129289823", "name": "", "lvl-size": 70 }, { "lvl": "street", "strtUID": -30263303, "lnk": "hghway-1683350308-w129293134", "names": { "name": "  " }, "name": "  ", "lvl-size": 20 }, { "lvl": "hn", "names": {}, "lnk": "adrpnt-0642964090-w129096772", "name": " 14", "lvl-size": 10 }], "addr-scheme": "regular" }], "metainfo": { "id": 129096772, "type": "way", "fullGeometry": { "type": "Polygon", "coordinates": [ [ [-173.2301084, 64.4217729], [-173.229167, 64.4220204], [-173.2293185, 64.4221278], [-173.2298729, 64.421982], [-173.2299223, 64.4220171], [-173.2302113, 64.4219379], [-173.2300846, 64.4218517], [-173.2301819, 64.421825], [-173.2301084, 64.4217729] ] ] } }, "geometry": { "type": "Point", "coordinates": [-173.22972832, 64.42195376] } }

इंटरमीडिएट डेटा स्टोरेज फॉर्मेट json (gzip के साथ पैक) है। यह, सबसे पहले, डीबगिंग को बहुत सरल करता है। मैं साधारण (z) बिल्ली, (z) grep के साथ मध्यवर्ती परिणाम देख सकता हूं। दूसरे, यह तीसरे पक्ष के डेवलपर्स के जीवन को सरल करता है, यदि कोई हो।

आउटपुट पर, मैं पोस्टगिस + स्फिंक्स बंडल के लिए सीएसवी उत्पन्न करता हूं (हो सकता है कि यहां पोस्टगिस शानदार हो, लेकिन इस बंडल पर रिवर्स जियोकोडर करना सुविधाजनक है) और इलास्टिक्स खोज के लिए जसन (रिवर्स जियोकोडिंग स्वयं इलास्टिक्स खोज का उपयोग करके किया जा सकता है)।

RF को संसाधित करने में लगभग 2 घंटे लगते हैं, 6 GB RAM और लगभग 5 GB डिस्क स्थान। आप समय का त्याग करके थोड़ी मात्रा में राम को सिकोड़ सकते हैं। मेरे लिए ज्ञात एनालॉग दो दिन बिताते हैं।

मेरी श्रेणी के कार्यान्वयन का उपयोग करके कई वर्गों को अनुकूलित किया जा सकता है (एक्सटेंशन की संख्या जो मैं बढ़ाने की योजना बना रहा हूं), उन्हें ग्रूवी पर एक्सटेंशन से धोखा दे रहा हूं।

डेटा प्रोसेसिंग एप्लिकेशन 1 निष्पादन योग्य जार है और आपको अतिरिक्त निर्भरता स्थापित करने की आवश्यकता नहीं है।

फिलहाल, मेरे पास लॉन्च करने के लिए एक बहुत ही परिष्कृत वाक्यविन्यास है, कई कमांड लाइन मापदंडों के साथ, भविष्य में मैं 1 लाइन जावा-गेज gazetteer.jar russia.config में लॉन्चिंग हासिल करने की योजना बनाता हूं और क्लस्टर के कामकाजी नोड के रूप में भी बेहतर है।

बाइक का लिंक github.com/kiselev-dv/gazetteer

मैं खोज तकनीकों में मजबूत नहीं हूं, इसलिए खुद को इलास्टिक्सर्च में लोड करने के लिए खोज अभी भी लंगड़ा है। यदि हब पर ऐसे लोग हैं जो इस तरह के डेटा के साथ काम करने में रुचि रखते हैं और जियोडेटा के लिए खोज इंजन की सेटिंग्स के साथ प्रयोग करते हैं - आपका स्वागत है।

परियोजना में दो भाग होते हैं।

गजेटियर - डाटा प्रोसेसिंग।

गजेटियरवेब - एलीस्टेक खोज के शीर्ष पर एपीआई (अभी के लिए टॉमकैट - भविष्य में मैं नेट्टी का उपयोग करने की योजना बना रहा हूं)

जावा में OSM जियोकोडर

जावा हब पाठकों के लिए OSM से अपरिचित है

पता

जियोकोडर

प्रयास नंबर 1

कम्प्यूटेशनल ज्यामिति में कम्प्यूटेशनल जटिलता

सबसे अच्छी बाइक, प्रयास संख्या 2

More articles: