Configuriamo scraper di notizie su misura per il tuo progetto. Raccogliamo le pubblicazioni dai siti delle testate, da Google News, Bing News e dai feed RSS. Consegniamo titoli, testi completi degli articoli, date, autori e sezioni. Un flusso di contenuti pulito per analisi, modelli di ML e rassegne stampa: via file, feed o API.
Il flusso di notizie alimenta analisi, modelli e prodotti. L’importante è riceverlo pulito, completo e puntuale.
Un flusso di notizie di settore per report, tendenze e monitoraggio dei concorrenti.
Corpus di testi pronti per attività di NLP: classificazione, sintesi automatica, NER.
Feed di notizie e rassegne dentro le tue app, senza infrastruttura di raccolta da gestire.
Notizie su aziende e mercati per segnali di trading e monitoraggio dei rischi.
Notizie regolatorie e modifiche normative del tuo settore.
Monitoraggio dell’agenda mediatica e degli spunti di attualità per le tue pubblicazioni.
Tre modalità in base alle esigenze: estrazione una tantum, fornitura periodica di dati o soluzione personalizzata. Il prezzo lo calcoliamo sulle tue fonti, sui volumi e sulla frequenza di aggiornamento. Ti inviamo il preventivo prima di partire.
Raccogliere le notizie una sola volta: un archivio di articoli di un periodo per una ricerca o una migrazione.
Lo scraper lavora in modo programmato: dalle esportazioni settimanali al flusso in tempo reale. I dati vengono consegnati automaticamente.
Dati come servizio chiavi in mano: accesso via API, DaaS o un’interfaccia pronta, decine di fonti e SLA.
Quanto costa l’estrazione di notizie? Il prezzo si compone di fattori chiari, dal numero di fonti al formato di consegna. Preventivo e campione del flusso arrivano prima dell’avvio dei lavori.
Descrivi le fonti, i temi e i campi che ti servono: entro un giorno lavorativo ti risponderemo con una stima di costi e tempi e un esempio del flusso.
L’estrazione di notizie (news scraping) è la raccolta automatica di pubblicazioni da siti di testate e aggregatori. Un programma percorre le fonti, estrae gli articoli e li porta a una struttura unica. Invece di scorrere a mano decine di homepage, ricevi un unico flusso di dati pulito.
Le notizie restano la principale fonte di informazioni sul mercato. Lo scraper le trasforma da pagine sparse in una tabella o un JSON su cui possono lavorare subito l’analista e il modello.
Cosa restituisce lo scraper per ogni articolo:
titolo e testo completo, senza pubblicità né elementi superflui;testata, autore, data e ora di pubblicazione;sezione, tag e parole chiave;link alla fonte originale e alle immagini;lingua e sentiment su richiesta.Facciamo scraping dei dati di Google News ed è da lì che prendiamo l’elenco degli editori: oltre 100.000 testate online attive, dalle grandi testate come ANSA, Corriere della Sera e Il Sole 24 Ore ai portali di settore di nicchia.
In più raccogliamo Bing News. L’aggregatore di Microsoft copre meglio la stampa internazionale e serve da verifica incrociata della completezza del flusso.
Cosa significa in pratica:
nel flusso entrano testate attive, non siti abbandonati;le nuove fonti sul tuo tema si aggiungono senza ricerche manuali;i motori di ricerca hanno già selezionato e classificato gli editori;una copertura che va dalle agenzie internazionali alla stampa locale.Ti serve una fonte fuori dagli aggregatori? La aggiungiamo a mano: sale stampa aziendali, blog di settore, portali istituzionali. L’elenco delle testate con i contatti delle redazioni lo prepara il database dei media: è un servizio complementare.
Ogni fonte è costruita a modo suo. Alcune hanno un feed RSS, altre solo normali pagine web, in altre ancora il contenuto viene caricato dagli script. Nell’estrazione di notizie la velocità conta quanto la completezza, per questo ogni tipo di fonte ha il suo raccoglitore dedicato.
Il processo funziona così:
scansione programmata della fonte: per le testate chiave, ogni pochi minuti;download e parsing del codice HTML di ogni pagina;estrazione di testo, data, autore e sezione;pulizia da pubblicità, navigazione e codice di servizio;normalizzazione di date e codifiche, unione dei duplicati.Conserviamo anche i meta tag e le intestazioni della pagina dell’articolo: description, Open Graph, link canonici. Le ripubblicazioni vengono unificate e ogni articolo è contrassegnato con il link alla fonte originale. In uscita non ci sono duplicati.
Testi e metadati passano la validazione. Se il layout del sito cambia, lo scraper se ne accorge e il nostro team di sviluppo aggiorna le regole di parsing. Per i clienti il flusso non si interrompe.
Non tutti i siti consegnano i contenuti facilmente. Le difficoltà più comuni lo scraper le risolve da solo:
pagine web dinamiche: il contenuto viene renderizzato dagli script e la pagina è elaborata da un motore browser;paginazione, scroll infinito e archivi per data;sezioni dietro autenticazione, dove le regole della piattaforma lo consentono;lingue, codifiche e formati di data misti.Un problema frequente: la testata cambia layout senza preavviso. Il raccoglitore rileva l’anomalia dal calo di completezza, poi un ingegnere sistema le regole. Per te il processo è invisibile. Lavoriamo con un ritmo di scansione rispettoso, senza inviare richieste inutili ai siti.
Molte testate hanno un canale Telegram, e spesso la notizia esce lì prima che sul sito. Su richiesta colleghiamo i canali Telegram pubblici delle testate come fonte aggiuntiva. Il post del canale viene collegato alla testata e unito alla versione dell’articolo sul sito.
Un limite del servizio: non raccogliamo post degli utenti, commenti né menzioni del brand sui social network. Queste attività le copre il monitoraggio del brand.
Per il business il flusso di notizie non è un fine in sé, ma uno strumento: fa risparmiare tempo e fornisce informazioni su cui basare le decisioni.
Gli usi più comuni:
analisi dell’agenda mediatica e delle tendenze di mercato;monitoraggio dei concorrenti: prodotti, operazioni, cambi ai vertici;notizie sulle aziende per segnali di trading e scoring;corpus di articoli per l’addestramento di modelli ML;feed di notizie pronti dentro i tuoi prodotti.Per i team legali e di compliance il flusso copre la parte regolatoria. Entra in vigore una nuova legge o si aggiornano i requisiti, per esempio in materia di protezione dei dati personali con il GDPR, e la rassegna tematica arriva subito al team. Non tocchiamo profili né commenti degli utenti: raccogliamo solo contenuto editoriale.
Ogni progetto inizia con un campione del flusso. Esamini i dati, verifichi struttura e volumi, poi parte il lavoro. Se il progetto esce dagli standard, montiamo un prototipo. A ogni progetto assegniamo un project manager dedicato.
L’estrazione di notizie copre l’acquisizione delle pubblicazioni. Le attività correlate le risolviamo con servizi dedicati:
le menzioni del brand sulla stampa, con sentiment e reach, le segue il monitoraggio di media e stampa;l’elenco delle testate con i contatti delle redazioni lo prepara il database dei media;post e menzioni sui social network li intercetta il monitoraggio del brand;prezzi e assortimento dei concorrenti li rileva lo scraping dei siti dei concorrenti;i risultati dei motori di ricerca per le tue parole chiave li raccoglie l’estrazione della SERP;i dataset etichettati per l’addestramento li prepara il servizio dati per AI e machine learning;qualsiasi altro dato dai siti web lo recupera l’estrazione di dati web.Dal 2015 raccogliamo dati per analisi e ML. Prima di partire ti inviamo gratis un campione del flusso sul tuo tema. Risposta entro un giorno lavorativo.
Case study in breve sull’estrazione di notizie: quali flussi abbiamo raccolto e quali risultati hanno portato ai clienti.
Il registro completo di blog e testate della zona .co.uk più un corpus HTML pronto in uno storage S3.
Le drop list di decine di piattaforme in un unico flusso, con metriche, età e storico del dominio.
Prezzi e disponibilità dei farmaci riuniti in una vista di mercato comparabile.
Un database di settore dei negozi online con contatti verificati per la forza vendita.
Dal 2015 raccogliamo dati per analisi e ML. Un flusso di notizie ha valore solo se è completo, pulito e arriva puntuale.
Eliminiamo pubblicità, navigazione e codice di servizio. Restano il titolo, il testo dell’articolo e i metadati.
RSS, HTML, siti dinamici e archivi. Raccogliamo anche dove i feed non ci sono.
Le ripubblicazioni vengono raggruppate con il riferimento alla fonte originale. Ogni articolo lo vedi una volta sola.
Le fonti chiave vengono interrogate ogni pochi minuti. Il flusso arriva quasi in tempo reale.
La testata ha cambiato layout? Lo sistemiamo noi. Della completezza del flusso risponde il nostro team di sviluppo.
Preventivo e campione del flusso prima di partire, contratto e un prezzo chiaro senza costi nascosti.
Un processo trasparente: prepariamo il preventivo e inviamo un esempio del flusso prima dell’avvio dei lavori. Niente tariffe nascoste né sorprese.
Ci invii l’elenco delle fonti o i temi. Basta una breve descrizione del progetto.
Analisi della nicchia sui dati di Google News e Bing News, stima di volumi e tempi, campione gratuito del flusso.
Configuriamo scraper, pulizia, deduplicazione e formato del flusso.
Le pubblicazioni arrivano via feed, file o API. Teniamo sotto controllo completezza e qualità.
Il risultato è un flusso strutturato di pubblicazioni senza rumore né duplicati, pronto da caricare nel tuo sistema.
Pubblicazioni con testi completi e metadati: JSON, XML, CSV secondo il tuo schema.
Le nuove pubblicazioni arrivano in modo programmato, fino al tempo reale.
Il flusso entra direttamente nei tuoi modelli, dashboard e prodotti.
Un pannello con il feed di notizie, filtri per temi e fonti ed esportazione.
Testi puliti, deduplicazione, lingua, sentiment e classificazione per temi.
Teniamo d’occhio la completezza del flusso, ripariamo gli scraper e aggiungiamo fonti su richiesta.
L’estrazione di notizie copre solo una parte del lavoro sui dati. Le aree correlate le impostiamo e configuriamo in base al tuo progetto.
Menzioni del brand sui media: sentiment e reach.
Testate con i contatti delle redazioni per le attività di PR.
Dataset per l’addestramento dei modelli: raccolta ed etichettatura.
Qualsiasi dato da qualsiasi sito, in base alle tue esigenze.
Prezzi, prodotti e notizie dei concorrenti sotto controllo.
I risultati dei motori di ricerca per le tue parole chiave.
Se non trovi la risposta che cerchi, invia una richiesta: ti risponderemo entro un giorno lavorativo.
Testate online, aggregatori di notizie, portali di settore e sale stampa aziendali. Di fatto non ci sono limitazioni sui siti. Lavoriamo anche con fonti senza RSS: siti dinamici, archivi e sezioni dietro autenticazione, dove le regole della piattaforma lo consentono. I canali Telegram pubblici delle testate li colleghiamo su richiesta.
I progetti partono da 150 €. Il prezzo finale dipende dal numero di fonti, dal volume di dati, dalla frequenza di aggiornamento e dall’elaborazione extra (l’analisi dei fattori è qui sopra). Preventivo esatto e campione di dati te li inviamo gratis prima dell’avvio dei lavori.
Sì. Ricostruiamo lo storico dagli archivi delle testate e dagli archivi web, fin dove arriva la profondità di conservazione della fonte. Un archivio di articoli dei periodi passati è utile per addestrare i modelli e per le analisi retrospettive.
Dipende dalla modalità. Con la consegna in flusso continuo le fonti chiave vengono interrogate ogni pochi minuti e la pubblicazione entra nel flusso quasi subito dopo l’uscita. La velocità dello scraper sul tuo elenco di fonti la verifichiamo durante il test.
Facciamo scraping dei dati di Google News ed è da lì che prendiamo l’elenco degli editori: oltre 100.000 testate online di ogni tematica. In più raccogliamo Bing News, l’aggregatore di notizie di Microsoft: amplia la copertura delle fonti internazionali e aiuta a verificare la completezza del flusso. I siti fuori dagli aggregatori li aggiungiamo a mano in base alla tua lista.
JSON, XML, CSV: via file, feed aggiornabile o API. Lo schema dei campi lo concordiamo in base al tuo sistema. Possiamo consegnare i dati anche in un’interfaccia web con feed, filtri ed esportazione.
No. Non serve installare alcun programma. Tutto gira dalla nostra parte: scraper, pulizia, archiviazione e consegna. Sviluppo e manutenzione sono a carico nostro. Tu ricevi i dati pronti in un formato comodo.
Cambi di layout e protezioni delle piattaforme rientrano nelle normali difficoltà dello scraping. Il raccoglitore rileva l’anomalia dal calo di completezza e il nostro team aggiorna le regole di parsing. Per i clienti il processo è invisibile: il flusso continua ad arrivare.
Sì. Definisci sezioni, parole chiave o una lista di aziende, e nel flusso entra solo il contenuto rilevante. Su richiesta aggiungiamo classificazione per temi, sentiment ed estrazione di entità: aziende, persone, ticker.
Sono servizi complementari. Le pubblicazioni sulla tua azienda, con sentiment e reach, le segue il monitoraggio di media e stampa. I post sui social network li intercetta il monitoraggio del brand. L’estrazione di notizie consegna l’intero flusso sul tema, senza legarlo a un brand.