L’obiettivo
L’agenzia aveva bisogno di individuare domini affidabili tra quelli in scadenza (i cosiddetti drop) — con buone metriche, un’età rispettabile e uno storico pulito — per poi intercettarli e riutilizzarli. Le liste dei drop sono sparse su decine di piattaforme, i formati variano e i volumi sono enormi: coprirle a mano è impossibile.
Cosa abbiamo fatto e quali dati abbiamo raccolto
Abbiamo messo insieme l’elenco delle piattaforme che pubblicano liste di domini scaduti e in drop — GoDaddy, DropCatch, SnapNames, nicsell, Dynadot, Kifdom, Sav, UKBackorder, Catched, park.io, Namecheap, NameSilo, Gname, Aftermarket, Domainlore.uk e altre — e organizzato la raccolta regolare delle loro esportazioni in un unico flusso.
Poi l’arricchimento. Abbiamo riportato le date di drop a un fuso orario unico, per capire quando ogni dominio si libera davvero. Abbiamo aggiunto le metriche tramite le API di Ahrefs e Moz (autorevolezza e profilo dei link), integrato il WHOIS per età e storico di registrazione e, per i domini preselezionati, recuperato i dati dal web archive: cosa ospitava il dominio in passato e in che lingua era il sito. Sopra questa base abbiamo costruito un’interfaccia in cui gli analisti dell’agenzia eseguono lo scoring manuale finale sui candidati già raccolti e arricchiti.
Il progetto si è strutturato come ricerca e arricchimento di dati sopra un database di nomi di dominio, con consegna in un’interfaccia comoda e in esportazioni (DaaS).
Le difficoltà e come le abbiamo risolte
La prima: la scala. Ogni giorno vanno in drop centinaia di migliaia di domini e far girare su tutti il set completo di verifiche non ha senso. Abbiamo costruito una pipeline: prima raccogliamo e deduplichiamo le drop list, poi arricchiamo con le metriche, e i passaggi costosi (il web archive) si eseguono solo sui domini che superano la prima selezione. Il processo gira ogni giorno.
La seconda: l’eterogeneità delle fonti. Ogni piattaforma ha il suo formato di lista e il suo modo di indicare data e ora del drop. Abbiamo ricondotto tutto a uno schema unico e a un orario unico; su come uniformare i dati, vedi l’articolo sulla normalizzazione dei dati.
La terza, quella chiave: scartare i domini con un passato «sporco», quelli già andati in drop in precedenza e usati per ospitare spam. Sulle metriche un dominio del genere può sembrare interessante, ma in realtà è bruciato. Abbiamo controllato lo storico nel web archive e i segnali di drop precedenti, perché questi candidati non passassero oltre. È tornato utile anche il lavoro con le API esterne (Ahrefs, Moz, WHOIS) per un arricchimento rapido.
Va detto: su queste piattaforme non ci sono protezioni contro la raccolta; il lavoro non consisteva nell’aggirare blocchi, ma nel gestire scala e qualità dei dati.
Il risultato
L’agenzia ha ottenuto un flusso giornaliero unico di domini in drop, arricchito con metriche, età e storico, più un’interfaccia per lo scoring manuale: la valutazione dei candidati avviene in un unico posto, invece di passare a mano decine di piattaforme e confrontare le metriche una per una.
Servizi coinvolti nel caso: Ricerca e arricchimento di dati · Database di nomi di dominio · DaaS e dati via API · Dati per SEO e ricerca
Materiali utili: Arricchimento dei dati · Normalizzazione dei dati · Estrazione di dati via API