youcanchatbot — o rastreador do youcan.chat

O youcanchatbot lê as páginas públicas dos sites que os clientes do youcan.chat adicionaram à sua conta. O representante de IA do cliente usa o texto dessas páginas para responder aos visitantes do seu chat.

Como o rastreador funciona

Em cada pedido, identifica-se assim:

• Lê apenas páginas públicas: não inicia sessão, não envia formulários e não executa scripts.
• Respeita o robots.txt, incluindo Crawl-delay (até 10 segundos). Espera pelo menos um segundo entre pedidos ao mesmo site.
• Volta a verificar um site uma vez por semana ou uma vez por dia, conforme o plano do cliente. O cliente pode iniciar uma verificação manual no máximo uma vez a cada 3 horas.
• Só volta a descarregar uma página se ela tiver mudado: primeiro pergunta ao servidor com ETag e Last-Modified.
• Não lê ficheiros ligados a partir das páginas (PDF e outros) nem descarrega páginas com mais de 5 MB.

Como bloquear o rastreador

Adicione isto ao ficheiro robots.txt do seu site:

User-agent: youcanchatbot
Disallow: /

O rastreador lerá a regra na próxima verificação e deixará de descarregar as páginas do site. Também pode bloquear só uma parte: indique o caminho em Disallow.

Reclamações e perguntas

Se outra pessoa adicionou o seu site ao youcan.chat sem o seu consentimento, ou o rastreador perturba o funcionamento do site, escreva-nos e indique o endereço do site. Analisaremos o pedido e removeremos as páginas do seu site dos dados do cliente.