Lavorare con i dati significa gestire grandi volumi di informazioni, spesso eterogenee per tipologia e provenienza, ottimizzando sia i processi di raccolta che quelli di analisi.. Per realizzare tutto ciò diventa fondamentale adottare nuovi approcci architetturali ai dati rispetto al passato ed è qui che entra in gioco il concetto di Data Architecture. Scopriamo dunque all’interno di questo articolo, realizzato dall’Osservatorio Big Data & Business Analytics della POLIMI School of Management, come abilitarla in modo corretto all’interno della propria azienda.
La Data Architecture, o architettura dei dati, è la struttura organizzativa che definisce come i dati vengono raccolti, archiviati, gestiti e utilizzati all’interno di un’organizzazione. Si tratta di un insieme di principi, modelli e standard che guidano il modo in cui questi vengono trattati per garantire efficienza, sicurezza e scalabilità.
Questa disciplina è fondamentale per supportare le strategie aziendali, migliorando la qualità delle informazioni e facilitando l’accesso ai dati in modo strutturato. Una buona Data Architecture permette ad esempio di integrare diverse fonti di informazioni, ottimizzare i flussi e garantire conformità alle normative sulla privacy, come il GDPR.
La Data Architecture comprende diversi componenti chiave, tra cui database silos, data warehouse, data lake, ecc. Inoltre, include tecnologie per la gestione della qualità, la governance e la sicurezza dei dati.
Questa struttura serve, dunque, a trasformare i dati grezzi in informazioni utili per decisioni aziendali strategiche. Senza una solida struttura, le aziende rischiano di trovarsi con dati disorganizzati, ridondanti o inaccessibili. Questo non solo potrebbe rallentare i processi decisionali, ma anche compromettere la qualità delle analisi e l’efficacia delle strategie adottate. Per questo, la Data Architecture non è solo un elemento tecnico, ma una componente strategica per il successo aziendale.
Strutturare una Data Architecture non è affatto semplice. Tra le principali cause vi sono l’elevato volume di dati generato, l’alta eterogeneità delle fonti informative, la necessità di raccoglierli e analizzarli in modalità real time, la complessità dei modelli analitici, l’espansione delle operazioni e del numero di utenti che accedono agli analytics e, infine, l’integrazione con sistemi già esistenti all’interno dell’organizzazione.
L’intera gestione del ciclo di vita del dato richiede l’impiego di nuove tecnologie innovative che abilitino l’estrazione del valore. Vediamo di seguito, dunque, che cosa succede durante ogni singola fase.
Nella fase di raccolta dei dati è necessario disporre di un’infrastruttura scalabile in grado di processare anche grandi moli di dati in real time, minimizzando le possibili perdite informative. La fase di analisi richiede la valutazione di architetture complesse che coniughino capacità di elaborazione più tradizionali con sistemi real time.
La conservazione dei dati richiede l’impiego di tecnologie in grado di superare i tradizionali database relazionali per gestire le più varie fonti informative.
In ultimo, ma non per importanza, la parola chiave di un’architettura innovativa è sicuramente integrazione. Diventa basilare, infatti, essere in grado di integrare i dati provenienti dai sistemi di business tradizionali (sistemi gestionali, CRM, ecc..) con quelli derivanti dal mondo dei sensori interconnessi (Internet of Things) e dalle interazioni tra persone sul web o sui social networks (Internet of People).
Il Data Architect è il professionista altamente specializzato nell’ambito della gestione e dell’organizzazione dei dati che svolge tutte le attività sopra descritte e che ha quindi il compito di progettare, implementare e ottimizzare l’architettura dei dati all’interno di un’azienda. Il suo ruolo è essenziale per garantire che i dati siano ben strutturati, coerenti, accessibili e sicuri, consentendo alle organizzazioni di sfruttare il loro potenziale per supportare decisioni strategiche e operazioni aziendali.
Questo professionista funge da ponte tra il mondo tecnico e quello del business, traducendo le esigenze aziendali in soluzioni di gestione del dato efficaci. Lavora a stretto contatto con altri specialisti, come Data Engineer, Data Scientist, Data Analyst e responsabili IT, per creare un’infrastruttura solida e scalabile. Il Data Architect definisce i modelli da utilizzare, stabilisce le linee guida per la governance e sceglie le tecnologie più adatte per la raccolta, l’archiviazione e l’elaborazione delle informazioni.
Data la crescente centralità dei dati nelle strategie aziendali, il Data Architect è una figura chiave in settori come finanza, sanità, e-commerce, telecomunicazioni e industria manifatturiera, dove grandi volumi di informazioni devono essere gestite con precisione e sicurezza.
Innovare è quindi fondamentale, ma il passaggio dalla teoria alla pratica è tutt’altro che scontato. L’infrastruttura tecnologica di un’azienda si compone infatti di diversi strumenti e componenti da considerare.
Per questo l’Osservatorio Big Data & Business Analytics ha cercato di fare ordine, riassumendo in un unico modello le principali scelte tecnologiche da considerare in una Data Architecture. Dalla gestione dei dati all’accessibilità, nell’immagine sottostante viene mostrata una carrellata utile a comprendere quali sono gli aspetti innovativi più diffusi nelle grandi aziende italiane.
Non si può parlare di tecnologie di Data Architecture senza nominare Hadoop, framework software per l’elaborazione di elevate moli di dati in modalità parallela. Hadoop, considerato uno dei fattori abilitanti la diffusione degli Analytics, è stato sviluppato in un contesto totalmente Open Source, dall’Apache Software Foundation. Nel tempo sono diverse le tecnologie sviluppatesi all’interno di questa community e numerose le organizzazioni che guardano a questo mondo come a un acceleratore d’innovazione, perché permette loro di superare problemi quali i lock-in dei software proprietari.
Un altro trend dalle incredibili potenzialità è il Cloud. L’adozione di architetture Cloud native sta diventando sempre più comune, perché offrono alle aziende la possibilità di accedere a servizi con costi contenuti, garantendo grande scalabilità, automazione e sicurezza. Inoltre, è possibile anche risparmiare nella fase di storage dei dati. Benefici connessi vengono generati anche da architetture Hybrid Cloud, che combinano risorse Cloud pubbliche e private, Virtual Private Cloud e Public Cloud.
Infine, sempre più spesso si parla di architetture a microservizi. In questo ambito il Data Mesh ne riprende la logica. Questo approccio architetturale per la gestione dei dati prevede la scomposizione di applicazioni monolitiche in servizi più piccoli e autonomi, noti come microservizi, che facilitano la gestione e la scalabilità delle applicazioni, migliorando la flessibilità e la manutenibilità complessiva dell’architettura.
L’approccio tradizionale di raccolta dei dati è quello mediante architettura a silos: con questo modello le informazioni vengono raccolte separatamente da ogni funzione aziendale. Quest’approccio è totalmente inadatto all’estrazione di valore dai dati in contesti organizzativi estesi perché rischia di generare frammentazione e ridondanza delle informazioni, rendendo difficile l’integrazione tra diverse tipologie di dati.
Come già detto, però, l’integrazione è una variabile chiave per poter esplorare i dati e scoprire pattern e correlazioni inaspettate. In questo processo, dunque, i silos non bastano più. Ma non solo: anche il ben noto Data Warehouse – l’archivio informatico di dati strutturati raccolti dai sistemi operazionali aziendali e da fonti esterne – si è rivelato insufficiente. Pertanto, oggi un numero crescente di grandi aziende affianca o integra il Data Warehouse con un Data Lake, un ambiente di archiviazione dei dati nel loro formato nativo. Il Data Lake utilizza l’approccio “schema-on-read”, in cui la struttura viene creata nel momento in cui i dati vengono utilizzati per le analisi. Questo cambio di prospettiva permette di immagazzinare anche dati non strutturati, quali testi, immagini o video.
Agli strumenti di storage si affiancano tipologie innovative di gestione del dato. Non si tratta solo di database relazionali, ma anche di basi che superano o rinnovano il linguaggio SQL (si parla per questo di database NoSQL o NewSQL), al fine di migliorarne le performance. Oggi una grande azienda su tre utilizza questi strumenti, tra i più noti i database colonnari e key-value.
Entrando nel vivo dell’analisi dei dati, se le analisi descrittive rimangono una necessità e vengono rese ancor più valide e fruibili dagli strumenti di Data Visualization, le analitiche più avanzate si stanno diffondendo anno dopo anno.
A oggi, la maggior parte delle aziende utilizza tecniche di Predictive Analytics in alcuni dei loro processi aziendali. Da un punto di vista del business, se attraverso i dati si riesce a prevedere ciò che accadrà nel futuro, sempre di più i decision maker potranno porli al centro delle loro scelte strategiche. La trasformazione di un’organizzazione in una data-driven organization passa poi anche attraverso l’aumento delle persone che possono accedere ed esplorare le informazioni raccolte (in particolare i top manager). Sempre di più ci si riferisce a questo trend con il termine self-service analytics, oggi abilitato da circa un terzo delle grandi organizzazioni.
Infine, investire nel rinnovamento dell’infrastruttura tecnologica può voler dire accelerare le modalità di raccolta e analisi dei dati, superando i sistemi batch. Per i non addetti ai lavori, in questo contesto con il termine “batch” – letteralmente lotto, partita – si intendono i sistemi che si aggiornano periodicamente, nella maggior parte dei casi ogni giorno. Se queste tempistiche potevano essere valide nella raccolta di dati transazionali, si rivelano sempre meno adatte nella raccolta di informazioni provenienti dai sensori o in tutte quelle situazioni in cui l’analisi tempestiva può influire sulle principali decisioni di business, auspicabilmente sempre più data-driven.
Contenuti suggeriti dell’Osservatorio Big Data & Business Analytics
