SearchlInsightBot について
これは何ですか
Searchl Insight(サイトの SEO・AI 検索対応の診断サービス)のクローラーです。 利用者が診断を依頼したサイトのページを取得し、title や構造化データなどの 技術的な状態を確認します。
User-Agent
SearchlInsightBot/1.0 (+https://insight.searchl.jp/bot)
クロールの方針
- robots.txt を遵守します(Crawl-delay の指定も尊重します)。
- 同時接続は 2 以下、リクエスト間隔は 1 秒以上を保ちます。
- 同一サイトへのアクセスは原則 1 日 1 回までです。
- フォームの送信や、ログインが必要なページの取得は行いません。
クロールを停止したい場合
robots.txt で SearchlInsightBot を Disallow していただければ以後アクセスしません。 個別の停止をご希望の場合は下記までご連絡ください。ドメイン単位で 対象外に登録します。
insight@searchl.jp