youcanchatbot — il crawler di youcan.chat

youcanchatbot legge le pagine pubbliche dei siti che i clienti di youcan.chat hanno aggiunto al proprio account. Il rappresentante IA del cliente usa il testo di queste pagine per rispondere ai visitatori della sua chat.

Come funziona il crawler

In ogni richiesta si presenta così:

• Legge solo pagine pubbliche: non effettua l’accesso, non invia moduli e non esegue script.
• Rispetta robots.txt, incluso Crawl-delay (fino a 10 secondi). Tra una richiesta e l’altra allo stesso sito attende almeno un secondo.
• Ricontrolla un sito una volta alla settimana o una volta al giorno, in base al piano del cliente. Il cliente può avviare un controllo manuale al massimo una volta ogni 3 ore.
• Riscarica una pagina solo se è cambiata: prima chiede al server tramite ETag e Last-Modified.
• Non legge i file collegati dalle pagine (PDF e altri) e non scarica pagine più grandi di 5 MB.

Come bloccare il crawler

Aggiungi questo al file robots.txt del tuo sito:

User-agent: youcanchatbot
Disallow: /

Il crawler leggerà la regola al prossimo controllo e smetterà di scaricare le pagine del sito. Puoi anche bloccare solo una parte del sito: indica il percorso in Disallow.

Reclami e domande

Se qualcun altro ha aggiunto il tuo sito a youcan.chat senza il tuo consenso, o il crawler disturba il funzionamento del sito, scrivici indicando l’indirizzo del sito. Esamineremo la richiesta e rimuoveremo le pagine del tuo sito dai dati del cliente.