youcanchatbot — youcan.chat のクローラー

youcanchatbot は、youcan.chat のお客様がアカウントに追加したウェブサイトの公開ページを読み取ります。お客様の AI 担当者は、これらのページの内容をもとにチャットの訪問者に回答します。

クローラーの動作

すべてのリクエストで次のように名乗ります：

• 公開ページのみを読み取ります。ログイン、フォームの送信、スクリプトの実行は行いません。
• robots.txt（Crawl-delay を含む、最大 10 秒）に従います。同じサイトへのリクエストの間は少なくとも 1 秒空けます。
• お客様のプランに応じて、週に 1 回または 1 日に 1 回サイトを再確認します。お客様が手動で確認を開始できるのは 3 時間に 1 回までです。
• ページが変更された場合にのみ再ダウンロードします。まず ETag と Last-Modified でサーバーに確認します。
• ページからリンクされたファイル（PDF など）は読み取らず、5 MB を超えるページはダウンロードしません。

クローラーをブロックする方法

サイトの robots.txt に次を追加してください：

User-agent: youcanchatbot
Disallow: /

クローラーは次回の確認時にこのルールを読み取り、サイトのページをダウンロードしなくなります。サイトの一部だけをブロックすることもできます。Disallow にパスを指定してください。

苦情とお問い合わせ

第三者があなたの同意なくサイトを youcan.chat に追加した場合や、クローラーがサイトの運営に支障をきたしている場合は、サイトのアドレスを記載のうえご連絡ください。内容を確認し、お客様のデータからあなたのサイトのページを削除します。