youcanchatbot — бот youcan.chat

youcanchatbot читает публичные страницы сайтов, которые клиенты youcan.chat добавили в свой кабинет. По тексту этих страниц ИИ-представитель клиента отвечает посетителям его чата.

Как работает бот

В каждом запросе представляется так:

• Читает только публичные страницы: не входит на сайт под учётной записью, не отправляет формы и не запускает скрипты.
• Соблюдает robots.txt, в том числе Crawl-delay (до 10 секунд). Между запросами к одному сайту — пауза не меньше секунды.
• Проверяет сайт заново раз в неделю или раз в сутки — в зависимости от тарифа клиента. Вручную клиент может запустить проверку не чаще раза в 3 часа.
• Скачивает страницу заново, только если она изменилась: сначала спрашивает сервер по ETag и Last-Modified.
• Не читает файлы по ссылкам со страниц (PDF и другие) и не скачивает страницы больше 5 МБ.

Как закрыть сайт от бота

Добавьте в файл robots.txt вашего сайта:

User-agent: youcanchatbot
Disallow: /

Бот прочитает правило при следующей проверке и больше не будет скачивать страницы сайта. Закрыть можно и часть сайта — укажите нужный путь в Disallow.

Жалобы и вопросы

Если ваш сайт добавил в youcan.chat кто-то другой без вашего согласия или бот мешает работе сайта, напишите нам и укажите адрес сайта. Мы проверим обращение и уберём страницы вашего сайта из данных клиента.