Ο crawler BoostSEO-Audit
Πληροφορίες για τον crawler που ανακτά σελίδες όταν ένας χρήστης κάνει έλεγχο στο BoostSEO.
Όταν κάποιος ελέγχει έναν ιστότοπο στο BoostSEO, ο διακομιστής μας ανακτά για λογαριασμό του τις δημόσιες σελίδες του ιστότοπου. Τα αιτήματα γίνονται με μέτριο ρυθμό, ακολουθούν τους κανόνες robots.txt για τον user agent BoostSEO και αυτοπροσδιορίζονται με αυτόν τον user agent:
Mozilla/5.0 (compatible; BoostSEO-Audit/1.0; +https://seo.toolcmb.com/bot)Οι έλεγχοι ξεκινούν από ανθρώπους, όχι με χρονοδιάγραμμα. Για να εμποδίσετε το BoostSEO να σαρώνει τον ιστότοπό σας, προσθέστε στο robots.txt:
User-agent: BoostSEO
Disallow: /Αν πιστεύετε ότι ο crawler μας προκάλεσε πρόβλημα, Επικοινωνία.