Yandex ने robots.txt विस्तारित प्रारूप का समर्थन किया

Yandex रोबोट ने robots.txt, विशेष वर्ण "*" और "$" में निर्देश का समर्थन किया। सहायता बताती है (help.yandex.ru/webmaster/?id=996567) robots.txt की व्याख्या कैसे की जाती है और उदाहरण दिए जाते हैं।



Robots.txt फ़ाइल का उपयोग वेबमास्टरों द्वारा खोज इंजन को समझाने के लिए किया जाता है कि साइट के कौन से पृष्ठ और अनुभाग अनुक्रमणित नहीं किए जा सकते हैं और जो कर सकते हैं। मानक निर्देशों का एक छोटा सा सेट प्रदान करता है, इसलिए बड़ी साइटों के लिए अनुक्रमण नियम लिखना एक मुश्किल काम है। नए निर्देश वेबमास्टर्स के कार्य को बहुत सुविधाजनक बना सकते हैं।