youcanchatbot — ботът на youcan.chat

youcanchatbot чете публичните страници на сайтовете, които клиентите на youcan.chat са добавили в профила си. По текста на тези страници AI представителят на клиента отговаря на посетителите на чата му.

Как работи ботът

Във всяка заявка се представя така:

• Чете само публични страници: не влиза с профил, не изпраща формуляри и не изпълнява скриптове.
• Спазва robots.txt, включително Crawl-delay (до 10 секунди). Между заявките към един сайт изчаква поне секунда.
• Проверява сайта отново веднъж седмично или веднъж дневно — според плана на клиента. Ръчно клиентът може да пусне проверка не по-често от веднъж на 3 часа.
• Изтегля страницата отново само ако е променена: първо пита сървъра чрез ETag и Last-Modified.
• Не чете файлове от връзки в страниците (PDF и други) и не изтегля страници, по-големи от 5 МБ.

Как да блокирате бота

Добавете във файла robots.txt на сайта си:

User-agent: youcanchatbot
Disallow: /

Ботът ще прочете правилото при следващата проверка и повече няма да изтегля страниците на сайта. Можете да блокирате и част от сайта — посочете пътя в Disallow.

Оплаквания и въпроси

Ако някой друг е добавил сайта ви в youcan.chat без вашето съгласие или ботът пречи на работата на сайта, пишете ни и посочете адреса на сайта. Ще разгледаме сигнала и ще премахнем страниците на сайта ви от данните на клиента.