A partire da questa evidenza, l’articolo, scritto dall’Osservatorio Data & Decision Intelligence, approfondisce il tema del Data Lake – che cos’è, in cosa si differenzia dal Data Warehouse e quali vantaggi offre alle organizzazioni – analizzando anche l’evoluzione verso architetture più mature come il Data Lakehouse e il Data Hub.
Con il termine Data Lake, letteralmente “lago dei dati“, ci si riferisce ad un ambiente di archiviazione dei dati nel loro formato nativo, fin quando non è necessario dar loro una struttura.
Si tratta, in termini più tecnici, dell’applicazione del cosiddetto schema on-read (che si contrappone al più tradizionale schema on-write), in cui lo schema dei dati viene fornito nel momento dell’analisi e non nel momento dell’archiviazione. Grazie a questa modalità di gestione è possibile avere l’integrazione di elevate quantità di dati di qualsiasi formato (strutturati, semi-strutturati o non strutturati) e provenienti da qualsiasi fonte (sensoristica, Social Media, log di sistema, ecc.), in maniera molto più agile e scalabile, senza la necessità di predefinire in anticipo la struttura dei dati. Tale approccio offre una gestione dei dati più flessibile e una maggiore capacità di elaborazione e analisi, rispetto a soluzioni tradizionali come il Data Warehouse.
Per gestire i dati, anche le architetture tradizionali di Business Intelligence si sono rivelate inadatte per due principali motivi:
Le differenze tra Data Lake e Data Warehouse, come abbiamo visto, riguardano principalmente il tipo di dati che gestiscono. Le caratteristiche distintive, però, non sono solo queste. Per fare chiarezza, ecco una panoramica delle loro principali differenze.
| Caratteristica | Data Lake | Data Warehouse |
| Tipo di dati | Strutturati, semi-strutturati e non strutturati (immagini, log, ecc.) | Strutturati e organizzati |
| Struttura e archiviazione | Dati grezzi senza schema predefinito, permettendo una maggiore flessibilità | Dati trasformati e strutturati secondo uno schema definito |
| Scalabilità | Alta, adatta a grandi volumi di dati non strutturati | Più limitata per dati non strutturati |
| Elaborazione e analisi | Dati conservati grezzi ed elaborati solo quando necessario | Dati pre-elaborati e pronti per analisi tradizionali e reporting |
| Usabilità e accesso | Richiede competenze avanzate in Data Science | Più semplice da usare per analisi aziendali e reportistica |
| Costi | Archiviazione meno costosa grazie ai dati grezzi | Costi più elevati per la necessità di pre-elaborare e strutturare i dati |
Nonostante queste considerazioni, va sottolineato che l’adozione di un Data Lake non comporta necessariamente l’abbandono delle soluzioni più tradizionali. Il Data Warehouse, infatti, può essere utilizzato in parallelo per raccogliere dati strutturati provenienti da vari sistemi aziendali (come ERP e CRM) o da fonti esterne. La configurazione più avanzata è rappresentata quindi da un modello integrato, che valorizza le informazioni disponibili attraverso l’interconnessione tra dati strutturati (ad esempio, tabelle e database relazionali) e non strutturati (come immagini, file di log, sensori, ecc.), creando un insieme di informazioni che consenta analisi più pervasive e approfondite.
L’Osservatorio Data & Decision Intelligence ha raccolto negli anni molte testimonianze di aziende che hanno deciso di evolvere la propria infrastruttura, a partire proprio dalla costruzione di un Data Lake. Secondo la Ricerca, i principali vantaggi riguardano:
Analizziamo di seguito questi vantaggi più nel dettaglio.
Il vantaggio principale di adottare un unico repository di tutti i dati in forma grezza sta nella possibilità di correlare differenti fonti e tipologie. Questa evoluzione, all’apparenza strettamente tecnologica, può anche essere il principale elemento abilitante per lo sviluppo di una cultura data-driven in azienda. Questo è ad esempio stato il caso di lastminute.com group, che a partire dall’evoluzione tecnologica supportata da partner esterni ha poi dato vita a una struttura di Data Science interna all’azienda.
La scalabilità e la velocità d’analisi che un’infrastruttura basata su un Data Lake permette di raggiungere possono essere estremamente superiori. È il caso di La Rinascente, in cui un progetto di rinnovamento infrastrutturale avviato nel 2018 permette oggi di integrare diversi terabyte di dati, sia raccolti in modalità batch sia con flussi in tempo reale – attraverso opportuni strumenti di front-end, quindi di reportistica e visualizzazione – per metterli a disposizione degli utenti di business con dashboard.
In molti di questi casi il Cloud Computing rappresenta un elemento chiave, poiché ha permesso di creare soluzioni scalabili e di accelerare la distribuzione delle nuove piattaforme. Nel specifico, il Cloud consente una scalabilità illimitata, permettendo di archiviare grandi quantità di dati senza preoccupazioni per le limitazioni fisiche.
Inoltre, garantisce una flessibilità nella gestione di dati strutturati, semi-strutturati e non strutturati, senza la necessità di definire una struttura rigida. Il Cloud accelera anche il deployment delle soluzioni, migliorando la velocità e l’agilità nel rispondere alle esigenze aziendali. Infine, offre un’opportunità di ottimizzazione dei costi, consentendo di pagare solo per le risorse effettivamente utilizzate, evitando spese per hardware e infrastrutture dedicate.
Per quanto riguarda le grandi aziende italiane, gli ultimi dati dell’Osservatorio sul tema mostrano come siano ancora la minoranza le aziende che hanno costruito un Data Lake, mentre le restanti organizzazioni utilizzano Data Warehouse tradizionali o sistemi legacy, dove i dati sono suddivisi in Silos che non comunicano tra di loro.
Anche laddove esistono sistemi di storage di dati non strutturati (database di nuova generazione quali NoSQL o NewSQL), non sempre questi sono in comunicazione con il Data Warehouse aziendale. La sfida dell’integrazione rimane quindi una delle più difficili da superare, soprattutto se le analisi si basano anche su dati esterni (web, social, sensori, open data ecc…).
In questo contesto, il concetto di Data Platform si afferma come evoluzione naturale e più matura del Data Lake. Mentre quest’ultimo nasce come repository centralizzato di dati grezzi, la Data Platform rappresenta un ecosistema più articolato, capace di orchestrare l’intero ciclo di vita del dato – dall’acquisizione all’analisi – integrando componenti eterogenee in un’unica architettura coerente.
Secondo i dati dell’Osservatorio Data & Decision Intelligence, l’87% delle grandi aziende italiane ha già implementato una Data Platform, un dato che segnala una diffusione significativa, ma che non implica necessariamente una governance completa o una maturità tecnologica piena.
Analizzando la composizione di queste piattaforme emergono tre livelli distinti di maturità. Il livello più consolidato e a più ampia diffusione comprende database per la gestione di dati strutturati e strumenti di Data Visualization. A questo si affiancano, in evoluzione anche se in modo ancora non sempre integrato, moduli di Machine Learning e database per dati non strutturati. Il terzo livello – ancora emergente ma fondamentale – include strumenti come il Data Catalog, le soluzioni di Data Quality e il Data Lineage, che permettono di tracciare l’origine e la trasformazione del dato lungo tutto il suo percorso.
Sebbene la loro diffusione sia ancora limitata, il 40% delle grandi organizzazioni ha dichiarato l’intenzione di introdurli entro i prossimi 12 mesi, a conferma di una crescente consapevolezza sul valore della qualità del dato come leva strategica.
Negli ultimi anni, si è assistito a una significativa evoluzione nel panorama della gestione dei dati, con nuovi approcci come il Data Lakehouse e il Data Hub.
Il Data Lake, inizialmente adottato per la sua capacità di accogliere grandi volumi di dati eterogenei, ha mostrato alcuni limiti nell’organizzazione, nella governance e nell’accesso efficiente ai dati.
Questa consapevolezza ha dato vita al concetto di Data Lakehouse, una soluzione che integra flessibilità e convenienza di un Data Lake con la struttura dati e le funzionalità Data Warehouse. Il Data Lakehouse cerca, dunque, di fornire una struttura più organizzata, con schemi predefiniti e controlli di qualità dei dati, consentendo al contempo l’analisi in tempo reale e l’accesso semplificato alle informazioni.
Parallelamente, ha guadagnato terreno il concetto di Data Hub, rappresentando un approccio architetturale più distribuito e interoperabile alla gestione dei dati.
Un Data Hub funge da punto centrale per la raccolta, l’archiviazione e la distribuzione di dati provenienti da diverse fonti, facilitando la condivisione e la collaborazione tra le diverse unità aziendali.
Questo approccio mira a creare un ecosistema flessibile in cui i dati possono essere utilizzati in modo collaborativo, promuovendo la coerenza e la sicurezza nella gestione delle informazioni.
L’evoluzione verso architetture più sofisticate come il Data Lakehouse e il Data Hub risponde anche a una sfida sempre più urgente: rendere le piattaforme dati aziendali pronte per l’intelligenza artificiale, ovvero AI-ready.
Nonostante la rapida crescita degli investimenti in questo ambito, oggi ancora poche organizzazioni riescono a sfruttare appieno il potenziale dell’AI, spesso a causa di architetture dati inadeguate o dell’assenza di una governance chiara sui dati e sui processi che li governano.
Come sottolinea Carlo Vercellis, Responsabile Scientifico dell’Osservatorio Data & Decision Intelligence: “oggi, nelle organizzazioni, dati e intelligenza artificiale non possono più viaggiare su binari separati: è necessario integrare in modo sinergico le componenti Data ed AI, lasciando che siano le esigenze di business a tracciare il percorso”.
Un’architettura AI-ready non è quindi semplicemente una questione tecnologica, ma implica una revisione profonda del modo in cui i dati vengono raccolti, organizzati, governati e messi a disposizione dei modelli di intelligenza artificiale, con l’obiettivo di migliorare la qualità delle decisioni e rendere i processi aziendali più intelligenti e sostenibili.
In questo percorso verso la maturità, un ruolo centrale è assunto da strumenti di governance del dato ancora poco diffusi ma di crescente rilevanza strategica: il Data Catalog, le soluzioni di Data Quality e il Data Lineage.
Queste tecnologie, pur emergenti, rappresentano l’infrastruttura invisibile su cui si fonda qualsiasi strategia di valorizzazione del dato nel lungo periodo.
L’insieme delle evoluzioni viste finora porta a un cambiamento strutturale nel modo in cui le organizzazioni concepiscono la gestione delle informazioni: la convergenza sempre più marcata tra Data Governance e AI Governance. Se in passato i due ambiti potevano essere considerati separati (l’uno focalizzato sulla qualità e il controllo del dato, l’altro sulla supervisione degli algoritmi) oggi questa distinzione risulta sempre meno sostenibile.
Come osserva Alessandro Piva, Responsabile della Ricerca dell’Osservatorio Data & Decision Intelligence: «da questo deriva un avvicinamento sempre più marcato tra Data Governance e AI Governance, due ambiti interconnessi che ora più che mai necessitano di logiche di dialogo e collaborazione».
In pratica, governare i dati significa anche governare i modelli che su quei dati si addestrano: la qualità dell’input determina la qualità dell’output, e la responsabilità sull’uno non può essere disgiunta dalla responsabilità sull’altro. Le organizzazioni che sapranno integrare questi due livelli di governance in un approccio data-centric AI saranno nella posizione migliore per fare dell’intelligenza artificiale non un fine in sé, ma uno strumento reale di miglioramento delle decisioni e dei processi aziendali.
Contenuti suggeriti dell’Osservatorio Data & Decision Intelligence
