youcanchatbot — youcan.chat का क्रॉलर
youcanchatbot उन वेबसाइटों के सार्वजनिक पेज पढ़ता है जिन्हें youcan.chat के ग्राहकों ने अपने खाते में जोड़ा है। इन पेजों के टेक्स्ट के आधार पर ग्राहक का AI प्रतिनिधि उसकी चैट के आगंतुकों को जवाब देता है।
क्रॉलर कैसे काम करता है
हर अनुरोध में यह खुद को ऐसे पहचानता है:
youcanchatbot/1.0 (+https://youcan.chat/bot)- यह केवल सार्वजनिक पेज पढ़ता है: लॉग इन नहीं करता, फ़ॉर्म नहीं भेजता और स्क्रिप्ट नहीं चलाता।
- यह robots.txt का पालन करता है, जिसमें Crawl-delay (10 सेकंड तक) भी शामिल है। एक ही साइट के अनुरोधों के बीच कम से कम एक सेकंड रुकता है।
- ग्राहक के प्लान के अनुसार यह साइट को हफ़्ते में एक बार या दिन में एक बार दोबारा जाँचता है। ग्राहक हाथ से जाँच 3 घंटे में एक बार से ज़्यादा शुरू नहीं कर सकता।
- यह पेज को दोबारा तभी डाउनलोड करता है जब वह बदला हो: पहले ETag और Last-Modified से सर्वर से पूछता है।
- यह पेजों पर दिए लिंक वाली फ़ाइलें (PDF आदि) नहीं पढ़ता और 5 MB से बड़े पेज डाउनलोड नहीं करता।
क्रॉलर को कैसे रोकें
अपनी साइट की robots.txt फ़ाइल में यह जोड़ें:
User-agent: youcanchatbot Disallow: /
क्रॉलर अगली जाँच में यह नियम पढ़ेगा और साइट के पेज डाउनलोड करना बंद कर देगा। आप साइट का केवल एक हिस्सा भी रोक सकते हैं — Disallow में उसका पथ लिखें।
शिकायतें और प्रश्न
अगर किसी और ने आपकी सहमति के बिना आपकी साइट को youcan.chat में जोड़ा है या क्रॉलर आपकी साइट के काम में बाधा डालता है, तो साइट का पता लिखकर हमें लिखें। हम आपके अनुरोध की जाँच करेंगे और आपकी साइट के पेज ग्राहक के डेटा से हटा देंगे।
support@youcan.chat