I Big Data rappresentano oggi una delle più profonde trasformazioni del mondo digitale, capaci di influenzare le nostre vite e il modo di operare delle imprese. In un periodo caratterizzato da rapidi cambiamenti tecnologici e da un contesto economico e geopolitico incerto, le aziende si trovano ad affrontare nuove sfide. In questo scenario, la gestione efficace dei dati si rivela cruciale: tramite le moderne soluzioni di Business Analytics è possibile estrarre valore informativo dai dati e prendere così decisioni strategiche in modo più consapevole.
Ma cosa sono esattamente i Big Data? Quali strumenti vengono utilizzati per la loro raccolta e analisi? Quali sono le tendenze del mercato italiano?
A queste domande offre risposta la Ricerca dell’Osservatorio Big Data & Business Analytics della School of Management del Politecnico di Milano, da anni riferimento per la comprensione delle dinamiche evolutive nel settore dei dati e dell’innovazione digitale.
Per capire cosa sono i Big Data dobbiamo pensare un attimo al nostro quotidiano: interazioni sui Social Network, un click su un sito web, i nostri smartphone interconnessi. Tutto ciò genera una mole di dati incredibilmente più elevata di qualche decennio fa. Enormi volumi di dati eterogenei per fonte e formato, analizzabili in tempo reale: tutto questo sono i Big Data.
Tuttavia, limitarsi a una definizione non basta per cogliere tutto il potenziale e le implicazioni di questo paradigma. Il cambiamento attuale è molto più ampio e riguarda non solo la quantità, ma anche le modalità di raccolta, la gestione dei dati, le tecnologie utilizzate nel loro ciclo di vita e le nuove competenze professionali nate per sfruttarli al meglio.
In questo contesto, assume un’importanza fondamentale l’output derivante dall’analisi dei Big Data, che prende il nome di Big Data Analytics, assimilabile al concetto più ampio di Business Analytics.
Quando si parla di Big Data, spesso si fa riferimento alle loro caratteristiche fondamentali, che ne spiegano la complessità e il valore per aziende e istituzioni. La prima classificazione risale al 2001, quando Doug Laney, all’epoca vicepresidente e Service Director presso l’azienda Meta Group, introdusse il Modello delle 3V: Volume, Velocità e Varietà. Questo modello, semplice e conciso, è nato con lo scopo di definire i nuovi dati generati dall’incremento delle fonti informative e, in generale, dalle nuove evoluzioni tecnologiche.
Nel corso del tempo, le 3V sono state arricchite con l’aggiunta di altre due: Veridicità e Variabilità, definendo così le cosiddette 5V dei Big Data. Negli ultimi anni, un’ulteriore evoluzione ha portato all’introduzione di una sesta V, quella del Valore generato dai dati. Questo ha completato il quadro delle 6V, che vediamo di seguito più nel dettaglio.
La grande quantità di dati generati ogni giorno da molteplici fonti (utenti, sensori, sistemi digitali) rappresenta una delle sfide principali, con database che raggiungono ormai dimensioni enormi.
Riguarda la rapidità con cui i dati vengono prodotti e analizzati, spesso in tempo reale, come avviene nei social network e nelle applicazioni IoT.
Si riferisce alla presenza di molteplici tipologie di dati, provenienti sia da fonti interne che esterne all’azienda, come sistemi gestionali, sensori, social network e open data. Questa eterogeneità richiede approcci flessibili per gestire dati strutturati e non strutturati.
Indica l’affidabilità e la qualità dei dati: solo dati accurati permettono analisi utili e decisioni corrette. Garantire la veridicità dei dati è essenziale, vista la molteplicità delle fonti e l’alta velocità di raccolta.
I dati possono cambiare nel tempo o assumere significati diversi in base al contesto; comprendere questa dinamica è essenziale per analisi corrette.
La capacità di trasformare i dati in conoscenza e vantaggi concreti per aziende e utenti. Il valore è il risultato finale che dà senso all’intero processo di raccolta e gestione dei dati.
Nel contesto dei Big Data, è indispensabile considerare che i dati si classificano in tre categorie principali: strutturati, semi-strutturati e non strutturati, che insieme costituiscono la base della gestione e dell’analisi di grandi volumi di informazioni. Analizziamo di seguito più nel dettaglio queste varie tipologie:
Dai dispositivi connessi ai Social Network, dai satelliti al web, l’esplosione della mole di dati a disposizione e l’evoluzione delle tecnologie per raccoglierli, gestirli e analizzarli ha aperto nuovi scenari e opportunità. I Big Data sono il nuovo petrolio e saperne estrarre valore è la vera chiave competitiva per grandi aziende e PMI.
Tuttavia, raccogliere dati non basta: sono le competenze e le tecnologie dei Business Analytics a trasformare miriadi di dati grezzi in informazioni di valore per i decision maker aziendali: è oggi possibile ottenere vantaggio competitivo grazie a decisioni tempestive e più informate, non solo per le organizzazioni più grandi, ma anche per le piccole e medie imprese.
Insomma, se in passato poteva essere considerato accettabile, oggi non approcciarsi all’analisi dei Big Data equivale a perdere opportunità. In casi estremi, si rischia addirittura di essere esclusi da nuovi mercati o persino da quelli in cui già si opera.
I Big Data possono essere utilizzati nelle aziende in vari modi, a seconda degli obiettivi da raggiungere, permettendo così di ottenere molteplici benefici, tra cui vantaggi di tipo economico. Vediamo di seguito alcuni dei principali utilizzi:
Questi sono solo alcuni dei possibili utilizzi dei Big Data e della loro analisi. Secondo la Ricerca dell’Osservatorio, ad esempio, numerose aziende utilizzano i dati anche per diminuire il time to market, ampliare la propria offerta di prodotti e servizi, identificare nuovi mercati, ottimizzare l’offerta attuale, ecc.
Gli esempi delle applicazioni concrete dei Big Data e dei Business Analytics sono dunque molteplici e ciascuno di essi ha il potenziale di impattare processi, siano essi per le aziende o per la società.
Oltre a essere un vantaggio per le aziende, i Big Data possono avere anche impatti positivi a livello sociale. I dati diventano un patrimonio per la collettività, contribuiscono a creare posti di lavoro, a ripristinare i bilanci delle Pubbliche Amministrazioni e a monitorare il comportamento online degli utenti. Infine, contribuiscono all’ottimizzazione di vari settori, come ad esempio:
Analizzare i Big Data attraverso i Business Analytics permette di generare nuova conoscenza utile per prendere decisioni più consapevoli in ambito business e non solo.
Ciò è possibile grazie a tecnologie che gestiscono grandi volumi di dati eterogenei, anche non strutturati, e li analizzano rapidamente. Inoltre, nuovi algoritmi e metodi consentono di scoprire autonomamente informazioni nascoste.
Le principali metodologie di analisi si distinguono tra Descriptive Analytics e Advanced Analytics.
I Descriptive Analytics sono strumenti di Business Analytics volti a descrivere la situazione attuale e passata di processi aziendali e/o aree funzionali, senza fare previsioni per il futuro. Per questo motivo rappresentano infatti una classe “semplice” di modelli di analisi rispetto ai differenti modelli di Advanced Analytics, di cui parleremo nei prossimi paragrafi.
Gli Advanced Analytics, come suggerisce l’espressione stessa, sono metodologie avanzate di Business Analytics che hanno finalità predittive. Rispondono, dunque, a domande come “cosa succederà”, e non solo. All’interno degli Advanced Analytics esistono tre sottocategorie:
All’interno dei progetti di Business Analytics quasi tutte le organizzazioni fanno uso di Descriptive Analytics. Risulta altresì in crescita anche la parte relativa ai livelli successivi più avanzati, grazie anche all’ingresso di figure professionali altamente specializzate.
Attuare progetti di Business Analytics per ottenere un vantaggio competitivo dai Big Data rappresenta il primo passo per attuare strategie data-driven (ossia “guidate dai dati”).
Più precisamente, con il termine data-driven si intende la costruzione di processi decisionali basati sulle informazioni estraibili dai dati, anche attraverso una rivisitazione dei modelli di governance.
Ad esempio, nel marketing, il data-driven marketing si basa sull’analisi dei dati dei consumatori per creare strategie personalizzate, ottimizzare campagne e migliorare l’interazione con i clienti, aumentando così l’efficacia delle attività promozionali.
I metodi per realizzare strategie di business data-driven negli anni sono cambiati. Si sono evolute le metodologie per creare Business Analytics e sono emerse nuove materie in risposta alle necessità moderne. Queste nuove discipline si dividono in:
In questa parte della guida analizziamo più nel dettaglio tutti questi approcci.
La Business Intelligence si concentra sull’utilizzo di dati strutturati storici per generare rapporti, dashboard o visualizzazioni interattive in supporto al decision-maker aziendale. La Business Intelligence più tradizionale fornisce agli utenti aziendali una panoramica approfondita delle performance aziendali passate o di altri indicatori. Gli output sono quindi tipicamente i Descriptive Analytics.
La Data Science èuna scienza interdisciplinare che rappresenta un’evoluzione della Business Intelligence, e che abbraccia la statistica, la matematica, la Computer Science e la Data Visualization, oltre alla comprensione delle variabili e del linguaggio gestionale. Questa scienza ha origini negli anni ’70 ed era inizialmente concepita come mera disciplina per lo studio dei dati. Con l’avvento dei Big Data, la Data Science ha un ruolo sempre più di primaria importanza nei contesti aziendali. Si occupa non solo dell’analisi dei dati, ma anche dell’estrazione di informazioni per i processi di business. In questo scenario, l’AI gioca ormai un ruolo fondamentale, consentendo di potenziare le capacità della Data Science di generare insight e aprendo la strada a soluzioni automatizzate sempre più sofisticate e integrate nei processi decisionali aziendali.
Si dice che l’80% del tempo dei Data Scientist sia dedicato alla preparazione e alla pulizia dei dati. Varietà, volume, velocità, veridicità e variabilità: maggiore è la complessità dei dati, maggiore è il tempo da dedicare ad attività preliminari all’analisi. Il Data Management consente lo “sviluppo ed esecuzione di architetture, policy, pratiche e procedure che permettono di gestire propriamente le esigenze legate al ciclo di vita dei dati all’interno di un’azienda”. Le norme, però, impongono sempre maggiore attenzione sul trattamento dei dati. Per tale motivo gli strumenti di Data Management sono in grande e costante evoluzione. Al fine di affrontare queste sfide in modo efficace e garantire una gestione dei dati ottimale, si identificano tre elementi fondamentali, tra loro strettamente interconnessi:
La Data Strategy è un piano d’azione di lungo termine volto al raggiungimento di un obiettivo specifico: valorizzare internamente e/o esternamente i dati. Strutturare una buona Data Strategy, allineata agli obiettivi di business e in grado di gestire Big Data, significa attuare una Data Governance efficace, sviluppare progetti di Advanced Analytics, passando per la monetizzazione diretta dei dati e per l’introduzione di nuovi strumenti tecnologici e organizzativi.
L’avvento dei Big Data fa breccia nelle aziende sotto diversi aspetti. Cambiano le priorità di investimento, evolvono tecnologie e modelli interpretativi. Di conseguenza, le aziende corrono ai ripari, creando veri e propri team di professionisti volti alla gestione e alla valorizzazione di questa grande mole di dati. Un fattore comune tra tutti gli “specialisti della Data Science” (e non solo) è la Data Literacy, ovvero la capacità di organizzare e interpretare i dati per comunicare informazioni e descrivere un fenomeno.
Vediamo ora quali sono questi “specialisti della Data Science” e di cosa si occupano.
Il Chief Data Officer (CDO) o Chief Data and Analytics Officer (CDAO) è responsabile della gestione e dell’utilizzo dei dati come asset organizzativo e strategico, occupandosi anche della Data Governance per garantire che i dati siano raccolti, archiviati, protetti e utilizzati in modo sicuro, conforme alle normative.
Il ruolo del CDO prevede spesso il compito di acquisire e gestire le capacità necessarie per guidare l’innovazione, la trasformazione generando vantaggio competitivo attraverso l’uso di dati e analisi. Di seguito riportiamo le cinque professioni fondamentali a cui deve rifarsi un CDO per formare un team esperto di Big Data e Business Analytics.
Il Data Analyst è colui che esplora, analizza e interpreta i dati, con l’obiettivo di estrapolare informazioni utili al processo decisionale. In altre parole, l’obiettivo del suo lavoro è ricercare evidenze quantitative all’interno di grandi moli di dati, al fine di supportare le decisioni di business.
Il Data Scientist è la figura professionale che comunemente si associa alla capacità di gestire i Big Data e trarne informazioni rilevanti. Si occupa delle fasi di sviluppo, training e testing di modelli statistici e algoritmi di apprendimento automatico.
Il Data Engineer è una figura tecnica che si occupa di gestire le fasi di raccolta, processamento e integrazione dei dati. Il suo compito è quello di rendere i dati disponibili per le analisi nel giusto formato e in modo tempestivo. Questo può avvenire anche in contesti complessi, come l’integrazione di fonti non eterogenee.
Il Data Science Manager gestisce l’intero processo di Data Science, coordinando un team centralizzato e favorendo la crescita e la formazione di figure di Data Science distribuite in azienda.
L’Analytics Translator funge da “traduttore” tra la Data Science e il business vero e proprio. Sa tradurre gli use-case in linguaggio analitico ed è in grado di interpretare i risultati delle analisi per i decision-maker aziendali.
Oltre alle competenze utili alla gestione della Data Science, un altro elemento abilitante la valorizzazione dei Big Data è l’infrastruttura tecnologica. Le tecnologie più innovative permettono lo sviluppo di analisi avanzate (abilitate dagli algoritmi di Machine Learning), l’ingestione e l’analisi dei dati in tempo reale e l’integrazione di tipologie di dati sempre più eterogenee.
L’ecosistema tecnologico legato ai Big Data è però estremamente vario, tanti sono i nuovi strumenti e numerose le nuove sfide da affrontare. Proviamo dunque a fare ordine sulle principali scelte tecnologiche e sui processi di “gestione del dato”.
Il Machine Learning, o “apprendimento automatico”, è un sistema di Artificial Intelligence che consente di prevedere il comportamento dei clienti e il riconoscimento di immagini. Le sue potenzialità future, però, sono assai più numerose.
I Real Time Analytics svolgono un’analisi dei dati in tempo reale, favorendo così la velocità di quest’ultima. Si tratta di uno dei maggiori vantaggi competitivi per le aziende. Ciò sia in termini di processi interni che di miglioramento dei prodotti.
La grande quantità di dati raccolti implica anche nuovi approcci architetturali. I sistemi open source (software il cui codice sorgente è pubblico e liberamente accessibile) per l’analisi parallela di dati o per l’analisi in tempo reale contribuiscono alla nascita di nuovi modelli di Analytics all’interno di una corretta struttura organizzativa dei dati, che prende il nome di Data Architecture.
L’Hybrid Cloud permette di connettere il proprio ambiente privato con uno o più sistemi di Public Cloud e soluzioni on-premises. Consente così di limitare i movimenti dei dati e di eseguire le analisi dove i dati sono memorizzati.
Poiché i Big Data sono diventati una “materia prima” che attira sempre più investimenti, venderne le informazioni derivanti significa monetizzare e generare business. La Data Monetization a sua volta necessita di un’ampia fornitura di dati on-demand, costituendo la base del paradigma del Data-as-a-Service (DaaS). Quest’ultimo consente di accedere a dati sfruttando il Cloud, liberando le aziende dalla gestione dell’infrastruttura di archiviazione e gestione dei dati.
Oggi molte aziende gestiscono ancora i dati con soluzioni tradizionali come i silos o i Data Warehouse. Gli attori più proattivi, però, si stanno muovendo verso strumenti più avanzati per la Data Integration per unificare le diverse sorgenti di dati. Il modello di integrazione Data Lake, capace anche di sfruttare le potenzialità del Cloud, è uno di questi.
La Data Visualization consente di raccontare fenomeni più o meno complessi attraverso grafici e infografiche. Dopo l’avvento dei Big Data, nelle aziende si sono resi necessari strumenti di visualizzazione più evoluti. Dal classico report, ci si è orientati verso il concetto di dashboard, per sopperire alla necessità degli utenti di rappresentare fenomeni complessi e dinamici, in tempo reale e in totale autonomia.
Le Data Platform sono soluzioni avanzate per raccogliere, archiviare e analizzare grandi volumi di dati provenienti da diverse fonti. Permettono alle aziende di centralizzare le informazioni e accelerare il processo decisionale, migliorando la competitività. A differenza dei Data Lake, che conservano dati grezzi e non strutturati, le Data Platform offrono una gestione dei dati più strutturata, con Data Governance e certificazioni, garantendo qualità, sicurezza e compliance nelle analisi aziendali. Nonostante i vantaggi, fattori come la complessità nella sua integrazione, la mancanza di competenze avanzate e i costi elevati possono ostacolarne la diffusione.
La crescente quantità di dati provenienti dai dispositivi connessi – che sfruttano la tecnologia IoT (Internet of Things) – offrono opportunità significative per vari settori. Le aziende stanno sviluppando strategie per valorizzare questi dati, tra cui ottimizzazione dei processi, nuova generazione di prodotti/servizi, personalizzazione, monetizzazione diretta dei dati e Advertising. Ignorare il potenziale dei Big Data IoT comporterebbe una grande perdita economica e tecnologica.
Come affermato da Carlo Vercellis, Responsabile Scientifico dell’Osservatorio Big Data & Business Analytics, “se il 2023 è stato l’anno della fascinazione per la Generative AI, il 2024 è l’anno dell’implementazione delle prime iniziative a livello internazionale. Questo ha avuto una ricaduta diretta sulle scelte d’investimento anche in Italia, sia in termini di tecnologie per la gestione dei dati, che nella volontà di sperimentare nuove applicazioni”. E i dati lo dimostrano:
Secondo le stime preliminari dell’Osservatorio, nel 2024 la spesa delle aziende italiane in risorse infrastrutturali, software e servizi connessi alla gestione e analisi dei dati registra una crescita del +20%, raggiungendo il valore stimato di 3,42 miliardi di euro.nali (inclusi i dati commerciali sensibili), in cui le imprese possano accedere facilmente a un’alta quantità e qualità dei dati. Il Data Governance Act e il Data Act costituiscono delle iniziative legislative per favorire la condivisione dei dati e di favorire un accesso e un riutilizzo equo degli stessi.
Le grandi imprese rappresentano la quota più consistente (75%), mentre marginali sono gli investimenti delle pubbliche amministrazioni (6%). Parallelamente, accelera rispetto agli anni precedenti la spesa delle PMI (19% del mercato) soprattutto delle aziende medio-grandi.
È soprattutto il crescente numero di progettualità di Intelligenza Artificiale (e in particolare di Generative AI) che ha portato le aziende più grandi e strutturate in ambito Data & Analytics a ricercare competenze su tematiche innovative, oltre a investimenti in software e nuove tecnologie.
Tutto questo proliferare di Big Data, opportunità per il business, metodologie, competenze e tecnologie ci pone davanti il problema della tutela della privacy e della sicurezza informatica dei dati. L’analisi e la gestione dei Big Data, infatti, comportano enormi criticità dal punto di vista del trattamento dei dati personali e della Cybersecurity.
L’entrata in vigore del GDPR ha ridisegnato i confini della protezione dei dati personali, basati sui concetti di liceità, correttezza e trasparenza, consenso, limitazione della finalità, minimizzazione ed esattezza.
Per promuovere la crescita economica, inoltre, la Commissione europea si pone l’obiettivo di creare uno spazio unico europeo di dati. Attraverso la Strategia Europea in materia di dati, la Commissione vuole costituire un mercato unico e sicuro di dati, personali e non personali (inclusi i dati commerciali sensibili), in cui le imprese possano accedere facilmente a un’alta quantità e qualità dei dati.Il Data Governance Act e il Data Act costituiscono delle iniziative legislative per favorire la condivisione dei dati e di favorire un accesso e un riutilizzo equo degli stessi.
La gestione di enormi volumi di dati implica rischi elevati non solo per la privacy, ma anche per la sicurezza delle informazioni. I Big Data possono contenere dati sensibili che devono essere protetti contro furti, attacchi informatici e accessi non autorizzati. La Cybersecurity deve affrontare la sfida di proteggere i dati strutturati, così come quelli semi-strutturati e non strutturati, che spesso sono più difficili da monitorare e gestire. Le tecniche avanzate di Big Data Analytics possono essere un valido aiuto per rilevare anomalie e comportamenti sospetti, migliorando la protezione.
Contenuti suggeriti dell’Osservatorio Big Data & Business Analytics
