youcanchatbot: el rastreador de youcan.chat

youcanchatbot lee las páginas públicas de los sitios web que los clientes de youcan.chat han añadido a su cuenta. El representante con IA del cliente usa el texto de esas páginas para responder a los visitantes de su chat.

Cómo funciona el rastreador

En cada solicitud se identifica así:

• Solo lee páginas públicas: no inicia sesión, no envía formularios y no ejecuta scripts.
• Respeta robots.txt, incluido Crawl-delay (hasta 10 segundos). Espera al menos un segundo entre solicitudes al mismo sitio.
• Vuelve a revisar un sitio una vez por semana o una vez al día, según el plan del cliente. El cliente puede iniciar una revisión manual como máximo una vez cada 3 horas.
• Solo vuelve a descargar una página si ha cambiado: primero consulta al servidor con ETag y Last-Modified.
• No lee archivos enlazados desde las páginas (PDF y otros) ni descarga páginas de más de 5 MB.

Cómo bloquear el rastreador

Añada esto al archivo robots.txt de su sitio:

User-agent: youcanchatbot
Disallow: /

El rastreador leerá la regla en la próxima revisión y dejará de descargar las páginas del sitio. También puede bloquear solo una parte: indique la ruta en Disallow.

Quejas y preguntas

Si otra persona añadió su sitio a youcan.chat sin su consentimiento o el rastreador afecta a su sitio, escríbanos e indique la dirección del sitio. Revisaremos su solicitud y eliminaremos las páginas de su sitio de los datos del cliente.