अंतर्निहित उपयोगकर्ता प्राथमिकताओं का विश्लेषण। यैंडेक्स में वैज्ञानिक और तकनीकी संगोष्ठी

क्लिक और पृष्ठ दृश्य में व्यक्त अंतर्निहित उपयोगकर्ता प्राथमिकताओं का विश्लेषण, खोज परिणामों में दस्तावेज़ों की रैंकिंग में सबसे महत्वपूर्ण कारक है या, उदाहरण के लिए, विज्ञापन प्रदर्शित करना और समाचारों की सिफारिश करना। क्लिक विश्लेषण एल्गोरिदम अच्छी तरह से समझ रहे हैं। लेकिन क्या साइट पर अपने व्यवहार के बारे में अधिक जानकारी का उपयोग करके किसी व्यक्ति की व्यक्तिगत प्राथमिकताओं के बारे में कुछ और पता लगाना संभव है? यह पता चलता है कि माउस प्रक्षेपवक्र आपको यह पता लगाने की अनुमति देता है कि देखे गए दस्तावेज़ के कौन से टुकड़े उपयोगकर्ता को रुचि देते हैं।



यह मुद्दा मेरे द्वारा किए गए एक अध्ययन का विषय था, मिखाइल आयुव, एमोरी विश्वविद्यालय में एमोरी इंटेलिजेंट इंफॉर्मेशन एक्सेस लैब में दिमित्री लगुन और यूजीन एगीस्टीन के साथ।









हमने माउस आंदोलनों द्वारा उपयोगकर्ता के व्यवहार का विश्लेषण करने के लिए डेटा संग्रह विधियों और एल्गोरिदम का अध्ययन किया, साथ ही इन तरीकों को व्यवहार में लागू करने की संभावना भी। वे खोज परिणामों में दस्तावेजों के स्निपेट्स (एनोटेशन) के गठन में काफी सुधार कर सकते हैं। इन एल्गोरिदम के विवरण के साथ काम को 2013 में अंतर्राष्ट्रीय सम्मेलन ACM SIGIR में डिप्लोमा "बेस्ट पेपर शॉर्टलिस्टेड नॉमिनी" से सम्मानित किया गया। बाद में मैंने यैंडेक्स में वैज्ञानिक और तकनीकी सेमिनारों के ढांचे में किए गए कार्यों के परिणामों पर एक रिपोर्ट प्रस्तुत की। कट के नीचे आपको उसका सारांश मिलेगा।



स्निपेट्स किसी भी खोज इंजन का एक अनिवार्य हिस्सा हैं। वे उपयोगकर्ताओं को जानकारी खोजने में मदद करते हैं, और खोज इंजन की उपयोगिता उनकी गुणवत्ता पर निर्भर करती है। एक अच्छा स्निपेट पठनीय होना चाहिए, उपयोगकर्ता के अनुरोध से मेल खाने वाले दस्तावेज़ के कुछ हिस्सों को दिखाना चाहिए। आदर्श रूप में, स्निपेट में उपयोगकर्ता के प्रश्न का सीधा उत्तर या एक संकेत होना चाहिए कि उत्तर दस्तावेज़ में है।







सामान्य सिद्धांत यह है कि अनुरोध के पाठ की तुलना दस्तावेज़ के पाठ के साथ की जाती है, जिसमें क्वेरी या क्वेरी एक्सटेंशन के शब्दों से संबंधित सबसे प्रासंगिक वाक्य हाइलाइट किए जाते हैं। सबसे प्रासंगिक अंशों की गणना करने का सूत्र क्वेरी के साथ मेल खाता है। यह पाठ के घनत्व, पाठ के स्थान, दस्तावेज़ की संरचना को ध्यान में रखता है। हालाँकि, अत्यधिक प्रासंगिक दस्तावेज़ों के लिए जो खोज परिणामों के शीर्ष पर पॉप अप होते हैं, पाठ संबंधी कारक अक्सर पर्याप्त नहीं होते हैं। क्वेरी से शब्द पाठ में बार-बार आ सकते हैं, और यह निर्धारित करना असंभव है कि पाठ के कौन से टुकड़े केवल पाठ संबंधी जानकारी के आधार पर उपयोगकर्ता के प्रश्न का उत्तर दें। इसलिए, अतिरिक्त कारकों की आवश्यकता होती है।



पृष्ठ को देखते समय, उपयोगकर्ता का ध्यान असमान रूप से वितरित किया जाता है। मुख्य ध्यान उन टुकड़ों पर दिया जाता है जिनमें आवश्यक जानकारी होती है।



हमने कई दसियों पिक्सल की सटीकता के साथ आंखों की पुतली की गति को ट्रैक करने वाले उपकरणों का उपयोग करके प्रयोग किए। यहां एक उपयोगकर्ता के शिष्य के हीट मैप के वितरण का एक उदाहरण है जो इस सवाल के जवाब की तलाश कर रहा था कि iPad 3 पर कितने मृत पिक्सेल होने चाहिए ताकि इसे वारंटी के तहत बदला जा सके। वह क्वेरी [कितने मृत पिक्सेल ipad 3 को प्रतिस्थापित करता है] में प्रवेश करता है, जो उसे एक समान प्रश्न के साथ Apple सामुदायिक मंच पृष्ठ पर ले जाता है। पृष्ठ पर, क्वेरी से शब्द कई बार पाए जाते हैं, हालांकि, उपयोगकर्ता उस टुकड़े पर ध्यान केंद्रित करता है जिसमें वास्तव में उत्तर होता है, जो गर्मी के नक्शे पर दिखाई देता है।







यदि हम बड़ी संख्या में उपयोगकर्ताओं के विद्यार्थियों के आंदोलनों को ट्रैक और विश्लेषण कर सकते हैं, तो हम केवल इन आंकड़ों के आधार पर विभिन्न प्रश्नों के लिए आदर्श स्निपेट चुन सकते हैं। समस्या यह है कि उपयोगकर्ताओं के पास आई ट्रैकिंग के उपकरण स्थापित नहीं हैं, इसलिए आपको आवश्यक जानकारी प्राप्त करने के लिए अन्य तरीकों की तलाश करने की आवश्यकता है।



वेब दस्तावेज़ों को देखते समय, उपयोगकर्ता आमतौर पर माउस आंदोलनों और स्क्रॉल पृष्ठ बनाते हैं। अपने 2010 के लेख में, के। गुओ और ई। एगिस्टीन ने ध्यान दिया कि प्रक्षेपवक्र के साथ 150 प्यूरीस की सटीकता और 70% की पूर्णता के साथ आंखों की पुतली की गति का अनुमान लगाना संभव है।







नीचे माउस आंदोलनों का एक हीट मैप है, जब क्वेरी द्वारा पाया गया एक दस्तावेज देखा जाता है [अमेरिका में सबसे खराब सूखा]। यह देखा जा सकता है कि सबसे अधिक गतिविधि संयुक्त राज्य अमेरिका में सबसे गंभीर सूखे के बारे में जानकारी युक्त टुकड़े पर ठीक से पता लगाया जाता है, यह इससे है कि आप सही स्निपेट बना सकते हैं।







हमारे अध्ययन का विचार यह है कि माउस मूवमेंट का डेटा जावास्क्रिप्ट एपीआई का उपयोग करके एकत्र किया जा सकता है जो अधिकांश ब्राउज़रों में काम करता है। उपयोगकर्ता के व्यवहार के अनुसार, हम अनुमान लगा सकते हैं कि किन टुकड़ों में अनुरोध के लिए प्रासंगिक जानकारी है, और फिर स्निपेट्स की गुणवत्ता में सुधार के लिए इस डेटा का उपयोग करें। इस विचार को लागू करने और परीक्षण करने के लिए, कई समस्याओं को हल करना आवश्यक है। सबसे पहले, आपको यह समझने की आवश्यकता है कि खोज परिणामों के पृष्ठ के पीछे उपयोगकर्ता के व्यवहार पर यथार्थवादी और काफी बड़े पैमाने पर डेटा कैसे एकत्र किया जाए। दूसरे, आपको यह जानने की आवश्यकता है कि माउस आंदोलनों का उपयोग करके उपयोगकर्ता में सबसे अधिक रुचि वाले टुकड़ों की पहचान कैसे करें। उपयोगकर्ताओं की अलग-अलग आदतें होती हैं: कुछ पठनीय पाठ को उजागर करना पसंद करते हैं या बस उस पर मंडराते हैं, जबकि अन्य एक दस्तावेज़ खोलते हैं और इसे ऊपर से नीचे तक पढ़ते हैं, कभी-कभी इसे नीचे की ओर फ्लिप करते हैं। इसी समय, उपयोगकर्ताओं के पास अलग-अलग ब्राउज़र और इनपुट डिवाइस हो सकते हैं। इसके अलावा, माउस आंदोलनों पर डेटा की मात्रा क्लिक पर डेटा की मात्रा से अधिक परिमाण के दो आदेश हैं। साथ ही, कार्य को पारंपरिक पाठ के साथ व्यवहार कारकों को संयोजित करना है।

डाटा कैसे कलेक्ट करें

डेटा एकत्र करने के लिए, हमने 2011 में विकसित किए गए बुनियादी ढांचे का उपयोग किया। मुख्य विचार यैंडेक्स खोज कप के समान एक गेम बनाना है। खिलाड़ी इंटरनेट पर सवाल का जवाब खोजने के लिए खोज इंजन का उपयोग करके सीमित समय के लिए एक लक्ष्य निर्धारित करता है। खिलाड़ी इसका जवाब ढूंढता है और हमें उस पृष्ठ के URL के साथ भेजता है जहां यह पाया गया था। प्रतिभागियों का चयन अमेज़न मैकेनिकल तुर्क के माध्यम से किया जाता है। प्रत्येक खेल में 12 प्रश्न होते हैं। खेल में भाग लेने के लिए लगभग चालीस मिनट के लिए $ 1 का गारंटीकृत भुगतान माना जाता है। एक और एक डॉलर में 25% सर्वश्रेष्ठ खिलाड़ी मिलते हैं। यह डेटा एकत्र करने का एक काफी सस्ता तरीका है, जो एक ही समय में दुनिया भर के उपयोगकर्ताओं की एक विस्तृत विविधता प्रदान करता है। सवाल Wiki.answers.com, याहू में लिए गए थे! जवाब और पसंद है। मुख्य शर्त इन साइटों पर तैयार किए गए उत्तरों की कमी थी। उसी समय, प्रश्न बहुत सरल नहीं होने चाहिए थे, लेकिन उनके पास एक स्पष्ट संक्षिप्त उत्तर था, जो इंटरनेट पर पाया जा सकता है। रोबोट और बेईमान प्रतिभागियों को काटने के लिए, परिणामों की गुणवत्ता की जाँच के कई चरणों को लागू करना आवश्यक था। सबसे पहले, सिस्टम के प्रवेश द्वार पर कैप्चा है, दूसरे, उपयोगकर्ता को 1-2 तुच्छ सवालों के जवाब देने की आवश्यकता है, और तीसरा, उपयोगकर्ता को हमारे प्रॉक्सी सर्वर का उपयोग करके कार्य पूरा करना होगा, ताकि हम यह सत्यापित कर सकें कि वह वास्तव में है सर्च इंजन से प्रश्न पूछे और उत्तर पृष्ठ पर गए।



अपाचे HTTP सर्वर mod_proxy_html और mod_sed के लिए मानक मॉड्यूल का उपयोग करते हुए, हमने खोज सेवाओं के लिए सभी कॉलों के प्रॉक्सी को लागू किया। एक उपयोगकर्ता ने हमारे पृष्ठ का दौरा किया, परिचित खोज इंजन इंटरफ़ेस देखा, लेकिन वहां सभी लिंक हमारे द्वारा प्रतिस्थापित किए गए थे। इस तरह के लिंक का अनुसरण करके, उपयोगकर्ता को वांछित पृष्ठ पर ले जाया गया, लेकिन हमारा जावास्क्रिप्ट कोड पहले से ही इसमें बनाया गया था, जो व्यवहार पर नज़र रखता है।



लॉगिंग करते समय, एक छोटी सी समस्या उत्पन्न होती है: माउस की स्थिति को ब्राउज़र विंडो में निर्देशांक द्वारा दर्शाया जाता है, और इसमें पाठ के निर्देशांक स्क्रीन रिज़ॉल्यूशन, संस्करण और सेटिंग्स पर निर्भर करते हैं। हमें पाठ के लिए एक सटीक बंधन की आवश्यकता है। तदनुसार, हमें क्लाइंट पर प्रत्येक शब्द के निर्देशांक की गणना करने और सर्वर पर इस जानकारी को संग्रहीत करने की आवश्यकता है।



प्रयोगों के परिणाम निम्नलिखित डेटा थे:







आंकड़ों की दृष्टि से, डेटा इस प्रकार है:







इस लिंक पर कोड और एकत्रित डेटा स्वतंत्र रूप से उपलब्ध हैं।

उपयोगकर्ताओं को ब्याज के टुकड़े का पूर्वानुमान

स्निपेट्स को उजागर करने के लिए, पाठ को पाँच शब्दों के टुकड़ों में विभाजित किया गया है। प्रत्येक टुकड़े के लिए, छह व्यवहार कारक प्रतिष्ठित हैं:

• टुकड़े पर कर्सर की अवधि;
• टुकड़े के बगल में कर्सर की अवधि () 100px);
• टुकड़े पर माउस की औसत गति;
• टुकड़े के बगल में माउस की औसत गति;
• जिस समय विखंडन को विंडो (स्क्रॉलबार) के दृश्य भाग में प्रदर्शित किया गया था;
• जिस समय व्यूपोर्ट के बीच में टुकड़ा प्रदर्शित किया गया था।

मशीन लर्निंग की मदद से, इन सभी छह कारकों को एक संख्या में बदल दिया जाता है - टुकड़े के हित की संभावना। लेकिन सबसे पहले, हमें एक सीखने का सेट बनाने की जरूरत है। उसी समय, हम कुछ के लिए नहीं जानते हैं कि पाठक को वास्तव में क्या दिलचस्पी है, उसने क्या पढ़ा, और उसे जवाब कहां मिला। लेकिन हम सकारात्मक उदाहरण टुकड़े के रूप में ले सकते हैं जो उपयोगकर्ता की प्रतिक्रिया के साथ प्रतिच्छेद करते हैं, और नकारात्मक उदाहरण के रूप में, अन्य सभी टुकड़े। यह प्रशिक्षण सेट गलत और अधूरा है, लेकिन यह एल्गोरिथ्म सीखने और स्निपेट्स की गुणवत्ता में सुधार करने के लिए काफी पर्याप्त है।



पहला प्रयोग हमारे मॉडल की पर्याप्तता को सत्यापित करना है। हमने पृष्ठों के एक सेट पर एक टुकड़े के हित की भविष्यवाणी करने के लिए एल्गोरिथ्म को प्रशिक्षित किया है और इसे दूसरे सेट पर लागू किया है। एक्स-एक्सिस के साथ ग्राफ टुकड़े के ब्याज की अनुमानित संभावना को दर्शाता है, और वाई-अक्ष उपयोगकर्ता की प्रतिक्रिया के साथ टुकड़े के चौराहे के माप का औसत मूल्य दर्शाता है:







हम देखते हैं कि यदि एल्गोरिथ्म बहुत निश्चित है कि टुकड़ा अच्छा है, तो इस टुकड़े का उपयोगकर्ता की प्रतिक्रिया के साथ एक बड़ा चौराहा है।



मशीन लर्निंग विधि का निर्माण करते समय, सबसे महत्वपूर्ण कारक DispMiddleTime (जिस समय पाठ का एक टुकड़ा स्क्रीन पर दिखाई देता था) और माउसओवरटाइम (उस समय के दौरान माउस कर्सर पाठ का एक टुकड़ा था)।

बेहतर व्यवहार विश्लेषण स्निपेट्स

तो, हम यह निर्धारित कर सकते हैं कि कौन से टुकड़े उपयोगकर्ता को रुचि रखते हैं। स्निपेट्स को बेहतर बनाने के लिए हम इसका उपयोग कैसे कर सकते हैं? शुरुआती बिंदु के रूप में, हमने याहू के शोधकर्ताओं द्वारा प्रकाशित एक आधुनिक स्निपेट पीढ़ी के एल्गोरिथ्म को लागू किया! 2008 में। प्रत्येक वाक्य के लिए, पाठ्य कारकों का एक सेट की गणना की जाती है और {0,1} के पैमाने पर मूल्यांकनकर्ताओं का उपयोग करके स्निपेट को उजागर करने के दृष्टिकोण से टुकड़े की गुणवत्ता की भविष्यवाणी करने के लिए एक मशीन लर्निंग विधि का निर्माण किया जाता है। फिर, कई मशीन सीखने के तरीकों की तुलना की जाती है: एसवीएम , रैंकिंग एसवीएम, और जीबीडीटी । हमने अधिक कारक जोड़े और रेटिंग स्केल को {0,1,2,3,4,5} तक विस्तारित किया। स्निपेट बनाने के लिए, सर्वश्रेष्ठ के सेट से एक से चार वाक्य चुने जाते हैं। लालची एल्गोरिथ्म का उपयोग करके टुकड़े का चयन किया जाता है, जो कुल सर्वोत्तम वजन के साथ टुकड़े एकत्र करता है।



हम निम्नलिखित पाठ कारकों का उपयोग करते हैं:

• सटीक मिलान;
• क्वेरी शब्दों और समानार्थक शब्द (3 कारक) की संख्या;
• बीएम 25 - लाइक (4 कारक);
• क्वेरी के शब्दों के बीच की दूरी (3 कारक);
• लंबाई की पेशकश;
• दस्तावेज़ में स्थिति;
• पठनीयता: विराम चिह्न, हेडमार्क, विभिन्न शब्द (9 कारक) की संख्या।

अब जबकि हमारे पास पाठ प्रासंगिकता के संदर्भ में टुकड़े का वजन है, हमें इसे उपयोगकर्ता के व्यवहार द्वारा गणना किए गए टुकड़े के ब्याज कारक के साथ संयोजित करने की आवश्यकता है। हम कारकों का एक सरल रैखिक संयोजन का उपयोग करते हैं, और टुकड़ा गुणवत्ता गणना सूत्र में λ व्यवहार का वजन है।







हमें सही वजन λ का चयन करने की आवश्यकता है। दो चरम सीमाएं हैं: यदि λ का मूल्य बहुत छोटा है, तो व्यवहार को ध्यान में नहीं रखा जाता है और स्निपेट बेसलाइन से भिन्न होते हैं, अगर λ का मूल्य बहुत बड़ा है, तो एक जोखिम है कि हम स्निपेट के रूप में खो देंगे। Λ का चयन करने के लिए, हम शून्य से एकता {0.1,0.3,0.5,0.7.7.9} पांच मानों की पसंद के साथ एक प्रयोग करते हैं। प्रयोगों की तुलना करने के लिए, हमने मूल्यांकनकर्ताओं को बनाया, जिन्होंने तीन मानदंडों द्वारा जोड़े में स्निपेट की तुलना की:

• प्रतिनिधित्व: स्निपेट में से कौन सा बेहतर अनुरोध के साथ दस्तावेज़ के अनुपालन को दर्शाता है? प्रश्न का उत्तर देने से पहले आपको दस्तावेज़ पढ़ना चाहिए।
• पठनीयता: कौन सा स्निपेट बेहतर लिखा गया है, पढ़ने में आसान है?
• जजबिलिटी: स्निपेट में से कौन सा बेहतर उत्तर देने में मदद करता है और यह तय करने के लिए कि क्या लिंक पर क्लिक करना है?

नीचे दिए गए ग्राफ़ स्निपेट्स के जोड़े के अंशों को दिखाते हैं जिसमें व्यवहार एल्गोरिथ्म ने तीन मानदंडों और λ के पांच मूल्यों के लिए गुणवत्ता में सुधार दिखाया। Λ के प्रत्येक मूल्यों के लिए, मूल्यांकनकर्ताओं ने अलग-अलग संख्या में अनुमान दिए, और स्निपेट की एक अलग संख्या गुणवत्ता में भिन्न है। इसलिए, प्रत्येक λ के लिए आत्मविश्वास अंतराल कुछ अलग हैं। हम देखते हैं कि λ = 0.7 के लिए हमें प्रत्येक मानदंड के लिए स्निपेट की गुणवत्ता में सांख्यिकीय रूप से महत्वपूर्ण सुधार प्राप्त होता है। इन स्निपेट्स के लिए कवरेज भी काफी बड़ा है: व्यवहार के साथ 40% स्निपेट बेसलाइन से अलग हैं।

मुख्य दृष्टिकोण और माना दृष्टिकोण की सीमाएं

जब उपयोगकर्ता दस्तावेजों में उत्तर का पाठ खोजता है, तो पहले सूचनात्मक मुद्दों पर प्रयोग किए गए थे। हालांकि, उपयोगकर्ता के अन्य प्रकार के इरादे हैं: उदाहरण के लिए, वाणिज्यिक, नेविगेशन। इस तरह के अनुरोधों के लिए, व्यवहार कारकों में हस्तक्षेप हो सकता है या एक अलग लेखांकन विधि की आवश्यकता हो सकती है। दूसरे, प्रयोग की स्थापना करके, हम मानते हैं कि पृष्ठ दृश्य सूचना की जरूरत के आधार पर समूहीकृत हैं। हमारे प्रयोगों में, प्रत्येक दस्तावेज़ अनुरोध जोड़ी के लिए सभी उपयोगकर्ताओं को एक ही चीज़ के लिए खोजा गया। इसलिए, हम सभी उपयोगकर्ताओं के लिए डेटा एकत्र करते हैं, सभी उपयोगकर्ताओं के लिए टुकड़े के वजन के औसत मूल्य की गणना करते हैं। वास्तविक दुनिया में, उपयोगकर्ता एक ही क्वेरी पूछ सकते हैं और विभिन्न उद्देश्यों के लिए एक ही दस्तावेज़ देख सकते हैं। और प्रत्येक अनुरोध के लिए हमें इन तरीकों को लागू करने और व्यवहार डेटा एकत्र करने में सक्षम होने के लिए, इरादे से समूह उपयोगकर्ताओं की आवश्यकता होती है। और तीसरा, इस तकनीक को वास्तविक प्रणाली में लागू करने के लिए, आपको उपयोगकर्ता के व्यवहार के बारे में डेटा एकत्र करने का एक तरीका खोजने की आवश्यकता है। पहले से ही ब्राउज़र प्लगइन्स, विज्ञापन नेटवर्क और हिट काउंटर हैं जो उपयोगकर्ता क्लिकों के बारे में डेटा एकत्र करते हैं। माउस आंदोलनों पर डेटा एकत्र करने की क्षमता को जोड़कर उनकी कार्यक्षमता का विस्तार किया जा सकता है।



विधि के अन्य अनुप्रयोगों में निम्नलिखित शामिल हैं:

• P की भविष्यवाणी करके बेहतर क्लिक मॉडल (Examine | Click = 0)। यदि हम केवल क्लिक को ट्रैक करते हैं, तो हम निश्चित रूप से यह नहीं कह सकते कि उपयोगकर्ता ने खोज परिणामों में लिंक पर क्लिक क्यों नहीं किया। वह स्निपेट पढ़ सकता था, और यह तय कर सकता था कि दस्तावेज़ अप्रासंगिक है, या उसने बस दस्तावेज़ नहीं देखा। माउस ट्रैकिंग के उपयोग के साथ, यह समस्या गायब हो जाती है, और हम दस्तावेज़ की प्रासंगिकता की भविष्यवाणी में काफी सुधार कर सकते हैं।
• मोबाइल उपकरणों पर उपयोगकर्ता का व्यवहार।
• इरादे से माउस आंदोलनों का वर्गीकरण। यदि आप मॉडल को जटिल करते हैं, तो आप जानबूझकर लोगों से यादृच्छिक माउस आंदोलनों को भेद करना सीख सकते हैं, जब उपयोगकर्ता वास्तव में कर्सर के साथ खुद को पढ़ने में मदद करता है। इसके अलावा, खंड के हित के अतिरिक्त संकेतों में से एक के रूप में निष्क्रियता के क्षणों को ध्यान में रखना संभव है।

रिपोर्ट के बाद, एक प्रश्नोत्तर सत्र हुआ, जिसे वीडियो पर देखा जा सकता है।