youcanchatbot — perayap youcan.chat

youcanchatbot membaca halaman publik situs web yang ditambahkan pelanggan youcan.chat ke akun mereka. Perwakilan AI pelanggan menjawab pengunjung chatnya berdasarkan teks halaman tersebut.

Cara kerja perayap

Di setiap permintaan, ia memperkenalkan diri sebagai:

• Hanya membaca halaman publik: tidak masuk ke akun, tidak mengirim formulir, dan tidak menjalankan skrip.
• Mematuhi robots.txt, termasuk Crawl-delay (hingga 10 detik). Menunggu setidaknya satu detik di antara permintaan ke situs yang sama.
• Memeriksa ulang situs seminggu sekali atau sehari sekali, tergantung paket pelanggan. Pelanggan dapat memulai pemeriksaan manual paling sering sekali setiap 3 jam.
• Mengunduh ulang halaman hanya jika berubah: terlebih dahulu bertanya ke server melalui ETag dan Last-Modified.
• Tidak membaca file yang ditautkan dari halaman (PDF dan lainnya) dan tidak mengunduh halaman yang lebih besar dari 5 MB.

Cara memblokir perayap

Tambahkan ini ke file robots.txt situs Anda:

User-agent: youcanchatbot
Disallow: /

Perayap akan membaca aturan ini pada pemeriksaan berikutnya dan berhenti mengunduh halaman situs. Anda juga bisa memblokir sebagian situs saja — tulis jalurnya di Disallow.

Keluhan dan pertanyaan

Jika orang lain menambahkan situs Anda ke youcan.chat tanpa persetujuan Anda, atau perayap mengganggu kerja situs Anda, tulis kepada kami dan sertakan alamat situsnya. Kami akan memeriksa permintaan Anda dan menghapus halaman situs Anda dari data pelanggan.