खोज में भाषाविज्ञान अपरिहार्य क्यों है?

आज हम बात करेंगे कि इंटरनेट सर्च में भाषा विज्ञान की क्या भूमिका है। इस संदर्भ में, मैं भाषाविदों और एक बड़ी खोज कंपनी से जुड़ा हुआ हूं, उदाहरण के लिए, Yandex (5,000 से अधिक लोग), Google (50,000 से अधिक लोग), Baidu (20,000 से अधिक) )। इनमें से एक तिहाई और आधे लोग सीधे खोज का काम करते हैं। इन कंपनियों के भीतर भाषाविदों को खोज और अन्य क्षेत्रों - समाचार, अनुवाद, आदि के बीच मोटे तौर पर विभाजित किया जाता है।







आज मैं भाषाविदों के उस हिस्से के बारे में बात करूँगा जो खोज के साथ प्रतिच्छेदन करता है। यह आरेख में हैचिंग द्वारा इंगित किया गया है। शायद, Google और अन्य कंपनियों में, सब कुछ हमारी तुलना में थोड़ा अलग तरीके से व्यवस्थित किया गया है, हालांकि, सामान्य तस्वीर लगभग निम्नलिखित है: भाषा विज्ञान एक महत्वपूर्ण लेकिन खोज कंपनियों के काम की दिशा का निर्धारण नहीं है। एक और महत्वपूर्ण जोड़: जीवन में, निश्चित रूप से, सीमाएं अस्पष्ट हैं - यह कहना असंभव है, उदाहरण के लिए, जहां भाषाविज्ञान समाप्त होता है और मशीन सीखना शुरू होता है। खोज में काम करने वाला प्रत्येक भाषाविद थोड़ी - थोड़ी मशीनी सीख में लगा हुआ है।



चूंकि यहां मुख्य रूप से विज्ञान से जुड़े लोग हैं, इसलिए मैं विज्ञान की दुनिया और उत्पादन की दुनिया के बीच के अंतर का संक्षेप में वर्णन करना चाहूंगा। यहाँ मैंने छद्म विज्ञान को आकर्षित किया है: x- अक्ष को हल किए जाने वाले कार्यों की जटिलता को दर्शाता है, y- अक्ष इन कार्यों पर रिटर्न दिखाता है, यह पैसे में या मानवता को कुल लाभ में मायने नहीं रखता है। उत्पादन में शामिल लोग उन कार्यों को चुनने के बहुत शौकीन होते हैं जो ऊपरी बाएँ चतुर्थांश में होते हैं - सरल और महान रिटर्न के साथ, और विज्ञान के लोग - सही किनारे से कार्य, जटिल और अभी तक किसी के द्वारा हल नहीं किए जाते हैं, बल्कि रिटर्न के मनमाने ढंग से वितरण के साथ। कहीं ऊपरी दाहिने चतुर्भुज में वे मिलते हैं। मुझे बहुत उम्मीद है कि यह वहाँ है कि जिन कार्यों में हम लगे हुए हैं वे स्थित हैं।







आखिरी बात जो मैं इस परिचय में बताना चाहता था: विज्ञान और उत्पादन दो पूरी तरह से अलग-अलग समयसीमाओं में मौजूद हैं। यह स्पष्ट करने के लिए कि मैं किस बारे में बात कर रहा हूं, मैंने कंपनियों, विचारों या प्रौद्योगिकियों के उद्भव के लिए कई तारीखें लिखीं जो अब महत्वपूर्ण मानी जाती हैं। खोज कंपनियां लगभग पंद्रह साल पहले दिखाई दीं, फेसबुक और ट्विटर - दस से कम। इसी समय, नोआम चॉम्स्की का काम 1950 के दशक का है, "भावना-पाठ" मॉडल, अगर मैं सही ढंग से 1960 के दशक को समझता हूं, और 1980 के दशक के अव्यक्त-अर्थ विश्लेषण। विज्ञान के मानकों के अनुसार, यह काफी हाल ही में है, लेकिन, दूसरी ओर, यह एक ऐसा समय है जब यह इंटरनेट खोज को पसंद नहीं करता है, इंटरनेट अभी तक अस्तित्व में नहीं है। मैं यह नहीं कहना चाहता कि विज्ञान ने विकास करना बंद कर दिया है, बस इसकी अपनी समयरेखा है।



अब विषय पर चलते हैं। खोज में भाषाविदों की भूमिका को समझने के लिए, आइए सबसे पहले अपनी स्वयं की खोज के साथ आने की कोशिश करें और देखें कि यह कैसे काम करता है। यहां हम समझते हैं कि यह कार्य उतना सरल नहीं है जितना कि कई लोग सोचते हैं, और डेटा संरचनाओं से परिचित हो जाते हैं जो बाद में हमारे लिए उपयोगी होंगे।



सहज रूप से, उपयोगकर्ता कल्पना करते हैं कि आधुनिक खोज इंजन कीवर्ड के लिए "बस" खोज करते हैं। सिस्टम उन दस्तावेजों को ढूंढता है जिनमें क्वेरी से सभी कीवर्ड पाए जाते हैं, और किसी तरह उन्हें व्यवस्थित करते हैं। उदाहरण के लिए, लोकप्रियता से। यह दृष्टिकोण कभी-कभी "स्मार्ट", "सिमेंटिक" खोज द्वारा विरोध किया जाता है, जो कुछ विशेष ज्ञान के उपयोग के कारण बहुत बेहतर हो जाता है। यह तस्वीर सच्चाई से बहुत मिलती-जुलती नहीं है, और यह समझने के लिए कि, हम मानसिक रूप से एक समान "कीवर्ड खोज" करने का प्रयास करें और देखें कि वह क्या कर सकता है और क्या नहीं।



आइए स्पष्टता के लिए केवल तीन दस्तावेज लें - सूचनात्मक (विकिपीडिया से अंश), दुकानों के बारे में पाठ और एक यादृच्छिक उपाख्यान:

1. नोवोकोसिनो मास्को शहर में एक जिला है और इसी नाम का मेट्रो स्टेशन, कालिनिन लाइन का टर्मिनल है। नोवोग्रीवो स्टेशन का अनुसरण करता है।
2. दुकानें "चौराहे"। भोजन की बिक्री। रेंज अवलोकन। दुकानों के पते। ग्राहकों के लिए जानकारी।
3. पुलिस ने मेट्रो में डिप्लोमा बेचने वाले बदमाशों के एक समूह को पकड़ा। "हमें उन्हें जाने देना था," सार्जेंट इवानोव, डॉक्टर ऑफ इकोनॉमिक्स।

एक वास्तविक खोज इंजन में ऐसे दस्तावेज़ नहीं होते हैं, लेकिन तीन, लेकिन तीन बिलियन, इसलिए हम हर बार किसी उपयोगकर्ता को अपना अनुरोध करने का जोखिम नहीं उठा सकते हैं, यहां तक ​​कि उनमें से प्रत्येक को भी देख सकते हैं। हमें उन्हें किसी प्रकार की डेटा संरचना में रखने की आवश्यकता है जो हमें तेज़ी से खोज करने की अनुमति देता है। प्रत्येक शब्द के लिए इस डेटा संरचना में यह इंगित किया गया है कि यह किस दस्तावेज़ में दिखाई देता है। उदाहरण के लिए, इन तीन दस्तावेजों के कई शब्दों से आपको निम्नलिखित सूचकांक मिलते हैं:

भंडार	2. 2. 1
उत्पादों की	2. 2. 2
में	1. 1. 3, 3. 1 .7
मास्को	1. 1. 5
भूमिगत रेल	3. 1. 4
सार्जेंट।	3. 2. 9

पहला अंक उस दस्तावेज़ की संख्या को इंगित करता है जिसमें शब्द होता है, दूसरा वाक्य को इंगित करता है, और तीसरा इसमें स्थिति को इंगित करता है।



अब उपयोगकर्ता की खोज क्वेरी का उत्तर देने का प्रयास करें। पहला अनुरोध: [किराना स्टोर]। सब कुछ काम किया, खोज को दूसरा दस्तावेज़ मिला। आइए एक और अधिक जटिल क्वेरी लें: [मास्को में किराने की दुकानें]। खोज ने सभी दस्तावेजों में इन शब्दों को पाया, और यह भी स्पष्ट नहीं है कि कौन जीतता है। अनुरोध [मास्को मेट्रो]। शब्द "मॉस्को" कहीं भी नहीं मिला है, और "मेट्रो" शब्द तीसरे दस्तावेज़ में चुटकुले के साथ है। इसके अलावा, पहले दस्तावेज़ में "मेट्रो" शब्द है। यह पता चला है कि पहले मामले में हमने पाया कि हम क्या देख रहे थे, दूसरे में - हमने बहुत ज्यादा पाया, और अब हमें जो मिला उसे सही ढंग से क्रमबद्ध करना होगा, और तीसरे में हमें कुछ भी उपयोगी नहीं मिला, क्योंकि हम नहीं जानते थे कि "मेट्रो और" मेट्रो " यह एक है और एक ही है। यहां हमने दो विशिष्ट इंटरनेट खोज समस्याएं देखीं: पूर्णता और रैंकिंग।



ऐसा होता है कि उपयोगकर्ता को बहुत सारे दस्तावेज़ मिलते हैं, और खोज इंजन कुछ ऐसा दिखाता है जैसे "10 मिलियन उत्तर थे।" यह अपने आप में एक समस्या नहीं है, समस्या यह है कि उन्हें ठीक से व्यवस्थित किया जाए और सबसे पहले उन उत्तरों को दिया जाए जो उनके अनुरोध के लिए सबसे अधिक प्रासंगिक हैं। यह एक रैंकिंग समस्या है, जो इंटरनेट खोज की मुख्य समस्या है। परिपूर्णता भी एक गंभीर समस्या है। यदि हमें केवल "मेट्रो" शब्द से युक्त खोज क्वेरी के लिए एकमात्र प्रासंगिक दस्तावेज़ नहीं मिलता है क्योंकि इसमें "मेट्रो" शब्द नहीं है, लेकिन "मेट्रो" शब्द है, तो यह बहुत अच्छा नहीं है।



अब इन दोनों समस्याओं को हल करने में भाषा विज्ञान की भूमिका पर विचार करें। नीचे दिए गए आरेख में कोई संख्या नहीं है, सामान्य भावनाओं को यहां दिखाया गया है: भाषाविज्ञान के रूप में अनिद्रा की रैंकिंग में मदद करता है; तथाकथित रैंकिंग कारक, मशीन लर्निंग और एंटीस्पैम रैंकिंग में महत्वपूर्ण भूमिका निभाते हैं। मैं अब इन शब्दों की व्याख्या करूंगा। "रैंकिंग कारक" क्या है? हम देख सकते हैं कि अनुरोध की कुछ विशेषताएँ, या दस्तावेज़, या "अनुरोध-दस्तावेज़" जोड़ी स्पष्ट रूप से उस क्रम को प्रभावित करती है जिसमें हमें उन्हें व्यक्ति को प्रस्तुत करना चाहिए, लेकिन यह पहले से ज्ञात नहीं है कि वास्तव में कितना और कितना है। इस तरह की विशेषताओं में शामिल हैं, उदाहरण के लिए, दस्तावेज़ की लोकप्रियता, चाहे सभी क्वेरी शब्द दस्तावेज़ के पाठ में दिखाई देते हैं, और कहाँ बिल्कुल, कितनी बार और किस कीवर्ड के साथ यह दस्तावेज़ संदर्भित है, URL लंबाई, इसमें विशेष वर्णों की संख्या, आदि। । "रैंकिंग फैक्टर" एक सामान्य नाम नहीं है; Google में, यदि मैं गलत नहीं हूँ, तो इसे सिग्नल कहा जाता है ।







आप कई हजार अलग-अलग समान रैंकिंग कारकों के साथ आ सकते हैं, और सिस्टम में इस अनुरोध के लिए मिले सभी दस्तावेजों के लिए प्रत्येक अनुरोध की गणना करने की क्षमता है। सहज रूप से, हम यह निष्कर्ष निकाल सकते हैं कि इस तरह के और एक कारक को संभवतः दस्तावेज़ की प्रासंगिकता (उदाहरण के लिए, इसकी लोकप्रियता) बढ़नी चाहिए, और दूसरा, संभवतः, कम (उदाहरण के लिए, पृष्ठ पते में स्लैश की संख्या)। लेकिन कोई भी व्यक्ति हजारों कारकों को एक एकल प्रक्रिया या सूत्र में संयोजित नहीं कर सकता है जो सबसे अच्छा काम करता है, यही वजह है कि मशीन लर्निंग खेलने में आता है। यह क्या है विशेष लोग कई प्रश्नों के रूप में पूर्व चयन करते हैं और उनमें से प्रत्येक के लिए दस्तावेजों को रेटिंग प्रदान करते हैं। उसके बाद, मशीन का लक्ष्य एक फार्मूला चुनना है जो रैंकिंग कारकों को जोड़ेगा ताकि इस सूत्र का उपयोग करके गणनाओं का परिणाम उन अनुमानों के समान संभव हो सके जो लोगों के साथ आए थे। यही है, मशीन रैंक करना सीखती है जैसे लोग करते हैं।



रैंकिंग में एक और महत्वपूर्ण बात एंटीस्पैम है। जैसा कि आप जानते हैं, इंटरनेट पर स्पैम की मात्रा राक्षसी है। हाल ही में, यह कई साल पहले की तुलना में आंख को पकड़ने की संभावना कम है, लेकिन यह खुद से नहीं हुआ, बल्कि विभिन्न कंपनियों के स्पैम विरोधी कर्मचारियों के सक्रिय कार्यों के परिणामस्वरूप हुआ।



भाषाविज्ञान वास्तव में रैंकिंग में मदद क्यों नहीं करता है? बेशक, शायद इस सवाल का कोई अच्छा जवाब नहीं है, लेकिन तथ्य यह है कि उद्योग ने अपने कुछ प्रतिभाशाली लोगों के लिए इंतजार नहीं किया। लेकिन यह अभी भी मुझे लगता है कि एक अधिक पर्याप्त कारण है। ऐसा लगता है कि मशीन ग्रंथों और दस्तावेजों और प्रश्नों के अर्थ को जितना गहराई से समझती है, वह उतनी ही बेहतर प्रतिक्रिया दे सकती है, और यह भाषाविज्ञान है जो इसे इतनी गहरी समझ प्रदान कर सकता है। लेकिन समस्या यह है कि जीवन बहुत विविध है, और लोग ऐसे प्रश्न पूछते हैं जिन्हें किसी भी ढांचे में नहीं धकेला जा सकता है। किसी प्रकार की योजना, एक व्यापक वर्गीकरण, एकीकृत क्वेरी ऑन्कोलॉजी या उनके सार्वभौमिक पार्सर का निर्माण करने का कोई भी प्रयास आमतौर पर विफल रहता है।



अब मैं वास्तविक प्रश्नों के कुछ उदाहरण दिखाऊंगा, यहां तक ​​कि एक व्यक्ति भी कार का उल्लेख नहीं करने के बारे में लड़ता है। उन्हें जीवित लोगों की तलाश में, वास्तव में पूछा गया था। उदाहरण के लिए: [बिना पंजीकरण के मास्को में डेटिंग]। यह स्पष्ट नहीं है कि पंजीकरण का क्या मतलब है। लेकिन एक व्यक्ति जो प्रश्नों का उपयोग करने के लिए उपयोग किया जाता है जैसे कि [अपने हाथों से टेबल कैसे इकट्ठा करें] एक अनुरोध उत्पन्न करता है [अपने हाथों से सीवर को कैसे साफ करें]। अक्सर अनुरोध होते हैं कि एक व्यक्ति भी समझने में सक्षम नहीं है, और आपको उनके जवाबों को रैंक करने की आवश्यकता है।



हम पूर्णता की समस्या की ओर मुड़ते हैं। एक हड़ताली अंतर है, क्योंकि अधिकांश भाग के लिए यह भाषा विज्ञान के माध्यम से सटीक रूप से हल किया जाता है। कुछ रैंकिंग कारक भी मदद कर सकते हैं। उदाहरण के लिए, एक खोज इंजन में निम्नलिखित नियम शामिल हो सकते हैं: यदि क्वेरी-दस्तावेज़ जोड़ी के लिए इस तरह के रैंकिंग कारक का मूल्य एक निश्चित सीमा से ऊपर है, तो इस क्वेरी के लिए इस दस्तावेज़ को दिखाएं, भले ही उसमें सभी शब्द न मिले हों। उदाहरण के लिए, "Facebook" शब्द के साथ एक क्वेरी शुरू होती है, और फिर कुछ पूरी तरह से समझ में नहीं आता है और कहीं और नहीं लिखा है। और हम अभी भी facebook.com होम पेज को इस उम्मीद में दिखाएंगे कि उपयोगकर्ता के दिमाग में ठीक यही था, और इसके आगे उसने अरबी में एक अज्ञात फेसबुक नाम लिखा। और मशीन सीखना भी किसी तरह पूर्णता को प्रभावित करता है, उदाहरण के लिए, ऐसे नियमों को बनाने में मदद करता है। लेकिन मुख्य भूमिका भाषाविज्ञान द्वारा निभाई जाती है।







मैं कुछ उदाहरण दूंगा कि भाषाविज्ञान के उपयोग के बिना पूर्णता क्यों नहीं प्राप्त की जा सकती है। सबसे पहले, हमें शब्दों के विभिन्न रूपों को उत्पन्न करने में सक्षम होना चाहिए, उदाहरण के लिए, यह समझने के लिए कि "बाएं" और "चला गया" एक ही शब्द के रूप हैं। आपको यह जानना होगा कि "मॉस्को" और "मॉस्को" एक दूसरे से संबंधित शब्द हैं, और यह कि "सर्फिंग" और "सर्फर" शब्द एक-दूसरे से संबंधित हैं, और यह कि "" और "ई" अक्षर अक्सर एक और एक ही होते हैं। । हमें इंटरनेट शब्दजाल के अनुरोधों को समझने में सक्षम होने या गैर-अक्षर वर्णों का उपयोग करने में सक्षम होना चाहिए, और यह समझना चाहिए कि रूसी भाषा के कौन से शब्द उनके अनुरूप हैं।



विभिन्न भाषाओं में शब्दों, वाक्यांशों और ग्रंथों का मिलान करने में सक्षम होना महत्वपूर्ण है। उपयोगकर्ता अनुरोध [यूक्रेन के Verkhovna Rada के प्रमुख] से पूछ सकता है, और जिस दस्तावेज़ में वह रुचि रखता है, इस राज्य निकाय का नाम केवल यूक्रेनी में पाया जाता है। किसी एक भाषा में पूछे जाने वाले प्रश्न का उत्तर देना अच्छा होगा, जिसके परिणाम अन्य भाषाओं में होंगे - संबंधित या नहीं। वास्तव में, जितना अधिक हम उपयोगकर्ता के अनुरोधों को देखते हैं, उतना ही हमें पता चलता है कि कोई भी खोज अनुरोध की भाषा से दस्तावेज़ की भाषा में अनुवाद है।



अब आइए अधिक विस्तार से बात करते हैं कि भाषाविद् खोज-संबंधी समस्याओं को हल करने में कैसे मदद करते हैं। मैं एक भाषाई पिरामिड की अवधारणा का उपयोग करूंगा जिसमें पाठ के विश्लेषण को कई स्तरों में विभाजित किया गया है: शाब्दिक (शब्दों में पाठ को तोड़ना), रूपात्मक (बदलते शब्द), वाक्यात्मक (वाक्यांशों और वाक्यों में एक दूसरे के साथ शब्दों का संयोजन), शब्दार्थ (शब्दों और वाक्यों का अर्थ) व्यावहारिक (उच्चारण और इसके बाहरी संदर्भ को उत्पन्न करने का उद्देश्य, गैर-भाषाई सहित)।







चलो लेक्सिकल स्तर से शुरू करते हैं। एक शब्द क्या है? 1995 में खोज कंपनियों को कम से कम किसी भी तरह से इस सवाल का जवाब देना था ताकि शुरुआत हो सके। उदाहरण के लिए, किसी शब्द को बाएँ या दाएँ रिक्त स्थान या विराम चिह्नों द्वारा सीमांकित वर्णमाला वर्णों के अनुक्रम के रूप में परिभाषित करें। दुर्भाग्य से, यह अक्सर सच नहीं होता है, खासकर अगर हम सामान्य अर्थों में शब्दों के बारे में बात नहीं कर रहे हैं, लेकिन इंटरनेट पर पाए जाने वाले पाठ के अविभाज्य टुकड़े के बारे में। उनमें से आम हैं, उदाहरण के लिए, इंटरनेट पते, दिनांक, फोन नंबर, आदि। इस सवाल का जवाब देना अक्सर मुश्किल होता है कि एक शब्द कहां समाप्त होता है और दूसरा शुरू होता है। यहाँ, उदाहरण के लिए, मुद्रा का संकेत देने वाली राशि - क्या यह एक शब्द है या दो? हमें किसी तरह इस पर फैसला करने की जरूरत है। विभिन्न देशों में मुद्रा प्रतीक, फोन नंबर प्रारूप और समान चीजें भाषा विज्ञान से बहुत दूर लग सकती हैं, लेकिन समस्या यह है कि मोटे तौर पर वास्तविकता सबसे बुनियादी चीजों को प्रभावित करती है, यहां तक ​​कि शब्दों में पाठ का विभाजन भी।



पहले से ही अक्सर वर्णित मामलों के अलावा - ईमेल पते, फोन नंबर, दिनांक - जटिल, गैर-तुच्छ "शब्द" के अन्य उदाहरण हैं। यहाँ एक वाक्यांश का एक उदाहरण है, जो एक खोज में एक शब्द के रूप में विचार करने के लिए सुविधाजनक होगा: "फ्रुंज प्लांट"। इस मामले में, "संयंत्र के नाम पर विचार करना अच्छा होगा फ्रुंज़ "एक ही" शब्द "का रूप। क्वेरी [न्यूयॉर्क] को अक्सर एक हाइफ़न के बिना लिखा जाता है, लेकिन यह दो अलग-अलग शब्दों में नहीं बदलता है: इस पर दस्तावेज़ दिखाना गलत होगा जहां "यॉर्क" और उदाहरण के लिए, "न्यू हैम्पशायर" शब्द अलग-अलग उपयोग किए जाते हैं।



ऐसा होता है कि विराम चिह्न और विशेष वर्ण शब्द का एक महत्वपूर्ण हिस्सा हैं। रेडियो स्टेशन का नाम, उपयोगकर्ता इस तरह लिख सकते हैं: "यूरोप +", और टीवी चैनल को "1 + 1" कहा जा सकता है। दुनिया में यहां तक ​​कि एक अद्भुत नाम के साथ एक संगीत समूह है जिसे कोई भी खोज इंजन इस रूप में नहीं पाता है: "#####"। वैरिएबल नाम और फ़ंक्शंस की खोज करते समय, साथ ही साथ प्रोग्रामर से अन्य अनुरोधों के दौरान भी इसी तरह की समस्याएं उत्पन्न होती हैं। ऐसा क्यों हो रहा है? चूँकि किसी ने खोज इंजन के अंत में तय किया था कि अक्षर%, _, # और + अक्षर नहीं माने जाएंगे।







ऐसा लगता है कि अब हमने आवश्यक अनुभव संचित कर लिया है, हम इन सभी विशेष मामलों के बारे में जानते हैं, और हम पाठ को शब्दों में और अधिक सही ढंग से विभाजित कर सकते हैं, लेकिन समस्या यह है कि खोज सूचकांक पहले से ही तैयार है। यदि अब हम अपनी समझ को बदलते हैं कि एक शब्द क्या है, तो हमें उन सभी कार्यक्रमों में बदलाव करने की आवश्यकता होगी जो इस सूचकांक के साथ काम करते हैं और पूरे इंटरनेट, यानी अरबों दस्तावेजों को फिर से जोड़ते हैं। इसका मतलब है कि किसी भी लेक्सिकल विश्लेषण त्रुटि को ठीक करना बहुत महंगा है। इसलिए दस्तावेजों के लेक्सिकल विश्लेषण को बहुत पहले संस्करण से यथासंभव सही तरीके से लागू किया जाना चाहिए, और इसके लिए ज्ञान की आवश्यकता होती है जो पंद्रह साल पहले किसी के पास नहीं थी।



हम रूपात्मक विश्लेषण की ओर मुड़ते हैं। हम उससे क्या चाहते हैं? सबसे पहले, हम जानना चाहते हैं कि किस शब्द में शब्दावली शब्द होते हैं। सौभाग्य से, यह समस्या पहले से ही दुनिया की मुख्य भाषाओं के लिए हल हो गई है। उनमें शब्दों को पहले से ही भाषण, तनाव, संयुग्मन और समान श्रेणियों के भागों में विभाजित किया गया है, और हम जानते हैं कि वे कैसे मामलों में भिन्न होते हैं, लिंग द्वारा, समय के अनुसार, आदि। उचित संज्ञाओं के साथ स्थिति बदतर है: उनमें से कई हैं, और व्यावहारिक रूप से उचित नामों के कोई शब्दकोश मौजूद नहीं हैं। एक ही समय में, यह जानना अच्छा होगा कि "मॉस्को" और "मॉस्को" एक और एक ही बात है, यह जानना अच्छा होगा कि लोअर उल्लू कैसे झुका है, न कि नामों और उपनामों का उल्लेख करने के लिए, जो कि कई हैं। उपनामों के साथ यह विशेष रूप से कठिन है, और यह एक महत्वपूर्ण मामला है: खोज इंजन का एक विशेष पाप यदि कोई व्यक्ति खुद को खोजता है और नहीं पा सकता है। इसके अलावा, ऐसे शब्द हैं जो किसी भी शब्दकोश में नहीं पाए जाते हैं, और जो लगातार बदल रहे हैं: ब्रांडों, संगठनों, फर्मों के नाम। तो, आपको हमारे लिए ज्ञात शब्द-निर्माण मॉडल में से एक अपरिचित शब्द को स्वचालित रूप से सक्षम करने की आवश्यकता है।



इसके अलावा, हमें एक और दिलचस्प समस्या का सामना करना पड़ रहा है, जो, अगर यह खोज के बाहर होता है, तो यह दुर्लभ है: शब्द के कौन से रूप एक-दूसरे के करीब हैं और कौन से दूर हैं? उदाहरण के लिए, यदि अनुरोध में "गो" शब्द शामिल है, तो क्या "चलना" या "चलना" शब्दों के साथ दस्तावेजों की खोज करना आवश्यक है? सबसे अधिक संभावना है, अनुरोध करने वाले व्यक्ति ने इस रूप में "गो" शब्द को ध्यान में रखा था। एक और उदाहरण खुदाई और खुदाई है। अनुरोध में "खुदाई" शब्द "खाई खोदने के लिए" के संदर्भ में होने की संभावना है, और शब्द "झुंड" शब्द "खुदाई", "झुंड" और नाम "झुंड" का रूप हो सकता है। यहां तक ​​कि अगर यह वास्तव में "डिग" शब्द का रूप है, तो पाठ में इसका उपयोग, संभवतः, उपयोगकर्ता के अनुरोध के साथ कुछ भी नहीं है। इस तथ्य पर नहीं कि हमें प्रश्न में प्रयुक्त शब्द के मुख्य रूप को भी देखना चाहिए। उदाहरण के लिए, क्वेरी में "घर" शब्द पाया गया - क्या "घर" शब्द के साथ दस्तावेजों की खोज करना आवश्यक है? टीवी शो "डोम -2", पत्रिका "आपका घर" ...



हम एक भाषा के साथ काम नहीं कर रहे हैं, और इससे सब कुछ अधिक जटिल हो जाता है। उदाहरण के लिए, यूक्रेनी संज्ञा "मेटा" है, जिसमें से रूपों को "मेटा" और "मीटू" बनाना संभव है, जो क्रिया के रूसी रूपों के साथ मेल खाता है "बदला"। यह पूरी तरह से गड़बड़ है। समस्या यह है कि यूक्रेनी शब्द "मेटा" यूक्रेनी इंटरनेट पोर्टल का नाम है, और इसलिए यह रूसी पाठ में भी पाया जा सकता है। यही है, हमें भाषाओं को पहचानने और यह समझने में सक्षम होने की आवश्यकता है कि इस दस्तावेज़ में किस भाषा में और, आदर्श रूप से, प्रत्येक शब्द लिखा गया है।



- , . , , , - . , , « ?»: , «» «», «», , . .







– . , , . : , , – , . , «» «», «» – «», «» – «», . , , .



– , . , . , , , , 1.000.000.000 * 1.000.000.000, , . . , . , , , , .



«» – «», . , «», . , , , , , . .



: , , : « » « » – , « » « », «» – «». , -, , - . . : II «», – «». « » 86, 1986.







– . , , , , ? , , , , , . – . , . [ ], , . , .



. , , . . , . : . .. , - . , , , , . , , , . : . , , .



, , . , - – “if”, «», “the”, , , . , . , «» , , , . , - . , [ ] [ ] — . - , , “The The” [ ].







. , - , , . : «» : , , , .. – , . – , . , «», «», «», «». , , . – «» . , «» , . , .



, , :

, — . , , . , , . , , samsung.

, , , , - . – - . . – , : , , n- , . , . .







. , , , . , . , , , , , . , «» « ». , , , «» – . , , .



, , , - , . , « » , ; «» , . , , . [] , , .. , , . - .







, , . — , , , . , “sentiment analysis”: , , , . , , , , , - - , - - , , . “rocket science”, . , .



– . [ ] [ ], . «», « ». , , «».



– . , , , , , . , , .



, . , . , , . , , , , , , 10. , : . , . , – , , , .



, . , , . «» , , . ? -, : , « » ( ), « » — ( ), .



– , . . , . , ( , , «» , - , ). . , «» , . , , , .



– , , , . , , – . , , . , « ». , : [ ] ..



, , , , - . , . , , , , , . – . . : , , - , . , .



मुझे उम्मीद है कि विज्ञान धीरे-धीरे और बिना रुके आगे बढ़ता रहेगा।