Crawlerul BoostSEO-Audit

Informații despre crawlerul care preia pagini când un utilizator rulează un audit BoostSEO.

Când cineva auditează un site în BoostSEO, serverul nostru preia în numele acestuia paginile publice ale site-ului. Cererile se fac într-un ritm moderat, respectă regulile robots.txt pentru user agentul BoostSEO și se identifică prin acest user agent:

Mozilla/5.0 (compatible; BoostSEO-Audit/1.0; +https://seo.toolcmb.com/bot)

Auditurile sunt pornite de oameni, nu programat. Pentru a împiedica BoostSEO să vă scaneze site-ul, adăugați în robots.txt:

User-agent: BoostSEO
Disallow: /

Dacă credeți că crawlerul nostru a cauzat o problemă, Contact.