Strumenti SEO

Verificare un URL contro il robots.txt

Incolla il contenuto del tuo robots.txt e l'indirizzo di una pagina: lo strumento stabilisce se la scansione è consentita per il bot scelto e mostra la regola applicata.

Funziona nel browser: i dati non vengono inviati a nessun server

Il matching funziona come su Google: si sceglie il gruppo del bot (o *) e tra le regole applicabili vince la più lunga; a parità di lunghezza Allow prevale su Disallow. Sono supportati * e $ nei percorsi. Un Disallow vuoto significa «tutto permesso».

Non ti servono utility, ma dati su misura?

Raccogliamo e mettiamo in ordine i dati dai siti: prezzi, prodotti, contatti, recensioni — nel formato e con la frequenza che ti servono.