youcanchatbot — trình thu thập của youcan.chat

youcanchatbot đọc các trang công khai của những trang web mà khách hàng của youcan.chat đã thêm vào tài khoản. Đại diện AI của khách hàng dựa vào nội dung các trang này để trả lời khách truy cập trong cuộc trò chuyện của họ.

Cách trình thu thập hoạt động

Trong mỗi yêu cầu, nó tự giới thiệu là:

• Chỉ đọc các trang công khai: không đăng nhập, không gửi biểu mẫu và không chạy script.
• Tuân thủ robots.txt, bao gồm Crawl-delay (tối đa 10 giây). Chờ ít nhất một giây giữa các yêu cầu tới cùng một trang web.
• Kiểm tra lại trang web mỗi tuần một lần hoặc mỗi ngày một lần, tùy theo gói của khách hàng. Khách hàng có thể bắt đầu kiểm tra thủ công tối đa 3 giờ một lần.
• Chỉ tải lại trang khi trang đã thay đổi: trước tiên hỏi máy chủ qua ETag và Last-Modified.
• Không đọc các tệp được liên kết từ trang (PDF và các loại khác) và không tải các trang lớn hơn 5 MB.

Cách chặn trình thu thập

Thêm nội dung sau vào tệp robots.txt của trang web:

User-agent: youcanchatbot
Disallow: /

Trình thu thập sẽ đọc quy tắc ở lần kiểm tra tiếp theo và ngừng tải các trang của trang web. Bạn cũng có thể chỉ chặn một phần trang web — ghi đường dẫn vào Disallow.

Khiếu nại và câu hỏi

Nếu ai đó đã thêm trang web của bạn vào youcan.chat mà không có sự đồng ý của bạn, hoặc trình thu thập gây ảnh hưởng đến trang web, hãy viết cho chúng tôi và ghi rõ địa chỉ trang web. Chúng tôi sẽ xem xét yêu cầu và xóa các trang của trang web bạn khỏi dữ liệu của khách hàng.