youcanchatbot — youcan.chat 크롤러

youcanchatbot은 youcan.chat 고객이 계정에 추가한 웹사이트의 공개 페이지를 읽습니다. 고객의 AI 담당자는 이 페이지의 텍스트를 바탕으로 채팅 방문자에게 답변합니다.

크롤러 작동 방식

모든 요청에서 다음과 같이 자신을 밝힙니다:

• 공개 페이지만 읽습니다. 로그인하지 않고, 양식을 제출하지 않으며, 스크립트를 실행하지 않습니다.
• Crawl-delay(최대 10초)를 포함해 robots.txt를 준수합니다. 같은 사이트에 대한 요청 사이에 최소 1초를 기다립니다.
• 고객의 요금제에 따라 사이트를 일주일에 한 번 또는 하루에 한 번 다시 확인합니다. 고객은 수동 확인을 3시간에 한 번까지만 시작할 수 있습니다.
• 페이지가 변경된 경우에만 다시 내려받습니다. 먼저 ETag와 Last-Modified로 서버에 확인합니다.
• 페이지에 링크된 파일(PDF 등)은 읽지 않으며 5MB보다 큰 페이지는 내려받지 않습니다.

크롤러를 차단하는 방법

사이트의 robots.txt에 다음을 추가하세요:

User-agent: youcanchatbot
Disallow: /

크롤러는 다음 확인 때 이 규칙을 읽고 더 이상 사이트 페이지를 내려받지 않습니다. 사이트의 일부만 차단할 수도 있습니다. Disallow에 경로를 지정하세요.

불만 및 문의

다른 사람이 동의 없이 귀하의 사이트를 youcan.chat에 추가했거나 크롤러가 사이트 운영에 방해가 된다면 사이트 주소를 적어 연락해 주세요. 요청을 검토한 뒤 고객의 데이터에서 귀하의 사이트 페이지를 삭제하겠습니다.