youcanchatbot — le robot de youcan.chat

youcanchatbot lit les pages publiques des sites que les clients de youcan.chat ont ajoutés à leur compte. Le représentant IA du client s’appuie sur le texte de ces pages pour répondre aux visiteurs de son chat.

Comment fonctionne le robot

Dans chaque requête, il s’identifie ainsi :

• Il ne lit que les pages publiques : il ne se connecte pas, n’envoie aucun formulaire et n’exécute aucun script.
• Il respecte robots.txt, y compris Crawl-delay (jusqu’à 10 secondes). Il attend au moins une seconde entre deux requêtes vers le même site.
• Il revérifie un site une fois par semaine ou une fois par jour, selon le forfait du client. Un client peut lancer une vérification manuelle au plus une fois toutes les 3 heures.
• Il ne retélécharge une page que si elle a changé : il interroge d’abord le serveur avec ETag et Last-Modified.
• Il ne lit pas les fichiers liés depuis les pages (PDF et autres) et ne télécharge pas les pages de plus de 5 Mo.

Comment bloquer le robot

Ajoutez ceci au fichier robots.txt de votre site :

User-agent: youcanchatbot
Disallow: /

Le robot lira la règle lors de sa prochaine vérification et cessera de télécharger les pages du site. Vous pouvez aussi ne bloquer qu’une partie du site : indiquez le chemin dans Disallow.

Réclamations et questions

Si quelqu’un d’autre a ajouté votre site à youcan.chat sans votre accord, ou si le robot gêne le fonctionnement de votre site, écrivez-nous en indiquant l’adresse du site. Nous examinerons votre demande et retirerons les pages de votre site des données du client.