youcanchatbot – der Crawler von youcan.chat

youcanchatbot liest öffentliche Seiten von Websites, die Kunden von youcan.chat in ihrem Konto hinzugefügt haben. Mit dem Text dieser Seiten beantwortet der KI-Vertreter des Kunden die Fragen der Besucher in seinem Chat.

So arbeitet der Crawler

In jeder Anfrage stellt er sich so vor:

• Er liest nur öffentliche Seiten: Er meldet sich nicht an, sendet keine Formulare ab und führt keine Skripte aus.
• Er beachtet robots.txt, auch Crawl-delay (bis zu 10 Sekunden). Zwischen Anfragen an dieselbe Website wartet er mindestens eine Sekunde.
• Er prüft eine Website je nach Tarif des Kunden einmal pro Woche oder einmal pro Tag erneut. Manuell kann ein Kunde höchstens alle 3 Stunden eine Prüfung starten.
• Er lädt eine Seite nur dann erneut herunter, wenn sie sich geändert hat: Zuerst fragt er den Server per ETag und Last-Modified.
• Er liest keine von Seiten verlinkten Dateien (PDF und andere) und lädt keine Seiten über 5 MB herunter.

So sperren Sie den Crawler

Fügen Sie Folgendes in die robots.txt Ihrer Website ein:

User-agent: youcanchatbot
Disallow: /

Der Crawler liest die Regel bei der nächsten Prüfung und lädt danach keine Seiten der Website mehr herunter. Sie können auch nur einen Teil sperren – geben Sie den Pfad bei Disallow an.

Beschwerden und Fragen

Wenn jemand anderes Ihre Website ohne Ihre Zustimmung zu youcan.chat hinzugefügt hat oder der Crawler Ihre Website stört, schreiben Sie uns und nennen Sie die Adresse der Website. Wir prüfen Ihre Anfrage und entfernen die Seiten Ihrer Website aus den Daten des Kunden.