BoostSEO-Audit 爬虫

关于在用户运行 BoostSEO 检测时获取页面的爬虫的信息。

当有人在 BoostSEO 上检测某个网站时，我们的服务器会代其获取该网站的公开页面。请求速率适中，遵守针对 BoostSEO 用户代理的 robots.txt 规则，并使用以下用户代理标识自己：

Mozilla/5.0 (compatible; BoostSEO-Audit/1.0; +https://seo.toolcmb.com/bot)

检测由人工发起，而不是定时运行。若要阻止 BoostSEO 抓取您的网站，请在 robots.txt 中添加：

User-agent: BoostSEO
Disallow: /

如果您认为我们的爬虫造成了问题，请联系我们.