youcanchatbot — бот youcan.chat

youcanchatbot читає публічні сторінки сайтів, які клієнти youcan.chat додали до свого кабінету. За текстом цих сторінок ШІ-представник клієнта відповідає відвідувачам його чату.

Як працює бот

У кожному запиті представляється так:

• Читає лише публічні сторінки: не входить на сайт під обліковим записом, не надсилає форми й не запускає скрипти.
• Дотримується robots.txt, зокрема Crawl-delay (до 10 секунд). Між запитами до одного сайту — пауза щонайменше секунда.
• Перевіряє сайт заново раз на тиждень або раз на добу — залежно від тарифу клієнта. Вручну клієнт може запустити перевірку не частіше ніж раз на 3 години.
• Завантажує сторінку заново, лише якщо вона змінилася: спершу питає сервер за ETag і Last-Modified.
• Не читає файли за посиланнями зі сторінок (PDF та інші) і не завантажує сторінки, більші за 5 МБ.

Як закрити сайт від бота

Додайте до файлу robots.txt вашого сайту:

User-agent: youcanchatbot
Disallow: /

Бот прочитає правило під час наступної перевірки й більше не завантажуватиме сторінки сайту. Можна закрити й частину сайту — вкажіть потрібний шлях у Disallow.

Скарги й питання

Якщо ваш сайт додав до youcan.chat хтось інший без вашої згоди або бот заважає роботі сайту, напишіть нам і вкажіть адресу сайту. Ми розглянемо звернення й приберемо сторінки вашого сайту з даних клієнта.