Scansionare la struttura di un sito significa percorrerne automaticamente tutte le pagine con un programma crawler e costruire l’albero completo di sezioni e URL. Il crawler si comporta come il robot di un motore di ricerca: segue i link interni e registra ogni pagina, il suo codice di risposta, il livello di profondità e le relazioni tra le sezioni. Alla fine vedi il sito così come lo vede Google — con tutti i suoi duplicati, i link rotti e le pagine «orfane».
Il materiale fa parte della nostra serie sul web scraping nella SEO. Vediamo a cosa serve questa scansione, che cosa mostra e con quali programmi si esegue.
Perché scansionare la struttura
Un sito da centinaia di migliaia di pagine non si controlla a mano. E sono proprio i problemi strutturali a frenare più spesso il posizionamento: il robot spende il budget di crawling su duplicati e URL spazzatura, le pagine importanti finiscono al quinto livello di profondità e si indicizzano male, i link interni portano a errori 404. La scansione della struttura risponde a queste domande:
- Quante pagine reali ha il sito e come si distribuiscono tra le sezioni.
- Quali pagine restituiscono errori (404, 5xx) e dove portano i redirect.
- Dove si sono formati duplicati di URL e di contenuto.
- A che profondità sono «sepolte» le sezioni importanti (livello di annidamento).
- Com’è organizzato il linking interno e se esistono pagine isolate.
Questi dati fanno da base a un capitolato tecnico di intervento e aiutano a progettare una struttura logica e piatta, comoda per l’utente e per il robot.
Che cosa raccoglie il crawler
Durante la scansione, per ogni URL il programma registra il codice di risposta del server, l’indirizzo stesso, il livello di profondità, i link interni in entrata e in uscita e, già che c’è, i metadati della pagina: title, description, intestazioni. In sostanza, la scansione della struttura e lo scraping di tag e intestazioni si eseguono in un’unica passata: ottieni insieme l’albero del sito e la tabella dei metadati.
Un punto di forza a parte dei crawler moderni è la costruzione dell’albero visuale. Puoi vedere la struttura in forma grafica, valutare la distribuzione delle pagine per livello e individuare subito le anomalie: sezioni gonfiate, rami senza uscita, pagine senza link in entrata.
Con che cosa scansionare la struttura: panoramica dei programmi
Screaming Frog SEO Spider — lo standard mondiale. Scansiona il sito seguendo i link interni, raccoglie metadati, codici di risposta e linking interno, e ricostruisce la struttura. Sa visualizzare l’albero in più modi (Crawl Tree Graph, Directory Tree e altri), eseguire JavaScript per scansionare i siti JS ed estrarre dati arbitrari via XPath con la sezione Custom Extraction. Include una modalità di confronto tra due scansioni — comoda per seguire i cambiamenti dopo gli interventi. La versione gratuita scansiona fino a 500 URL, sufficienti per l’audit di un sito piccolo.
Sitebulb — un crawler desktop orientato agli audit: accompagna ogni problema rilevato con una spiegazione e spicca per le visualizzazioni della struttura, con mappe di scansione che rendono evidenti le sezioni sovradimensionate e i rami isolati. Una buona scelta quando il report deve capirlo anche chi non è tecnico.
Ahrefs Site Audit e SEMrush Site Audit — crawler in cloud dentro le grandi piattaforme SEO. Non richiedono installazione, permettono di pianificare scansioni periodiche e incrociano i problemi tecnici rilevati con il resto dei dati della piattaforma (posizioni, link). Convengono quando lavori già in uno di questi servizi.
Google Search Console — non è un crawler, ma completa la scansione: il rapporto sull’indicizzazione mostra quali delle pagine trovate dal crawler sono davvero nell’indice di Google, quali sono rimaste fuori e per quale motivo.
La scelta si riduce a scala e budget: per audit una tantum di siti piccoli basta la versione gratuita di Screaming Frog; per il lavoro regolare su progetti grandi si passa alla licenza completa, a Sitebulb o ai crawler in cloud.
Scansionare la struttura dei siti concorrenti
Il crawler puoi puntarlo non solo sul tuo sito, ma anche su quello di un concorrente — per esempio per esportare la struttura di un grande catalogo o di un negozio online. Con query XPath (poniamo, sul markup dei breadcrumb) si raccoglie l’albero delle categorie, il che aiuta a progettare la propria struttura e a scoprire sezioni trascurate. È un compito contiguo alla raccolta delle parole chiave: la struttura del concorrente suggerisce quali gruppi di query non hai ancora coperto.
Se invece non ti serve capire la struttura di un sito specifico, ma chi occupa il top per le tue query, quella è l’estrazione della SERP di Google — un servizio a parte della nostra agenzia.