Real-time e Streaming Analytics: casi d’uso, opportunità e sfide

A cura di:
Irene Di Deo – Ricercatrice Senior Osservatorio Big Data & Business Analytics

Le grandi aziende italiane hanno compiuto già da qualche anno un grande balzo in avanti sul tema analisi dei dati in tempo reale. Ciò è accaduto per varie motivazioni: da un punto di vista tecnologico, possiamo citare l’affermazione di sistemi open-source (es. Apache Kafka: piattaforma open source di stream processing scritta in Java e Scala e sviluppata dall’Apache Software Foundation) e di altri strumenti tecnologici che abilitano nativamente l’analisi dei dati in tempo reale (es. database altamente performanti, piattaforme di integrazione dati Batch e Real-Time), da un punto di vista manageriale va sottolineata invece la crescente esigenze di tempestività degli utenti di business
L’Osservatorio Big Data & Business Analytics ha affrontato compiutamente questo tema nel corso della ricerca 2018, intitolando il Convegno finale “Big Data: fast & smart”. Un modo di sottolineare la rilevanza delle due principali tendenze in atto in quell’anno, il real-time analytics e il machine learning. Una delle classiche tre V dei Big Data – quella della Velocità – stava finalmente prendendo concretezza nelle grandi aziende. D’altro canto, l’attenzione rivolta al machine learning era ed è crescente e merita ben più di un articolo. Tuttavia, oggi ci concentreremo sul primo punto.

Real-time advertising, identificazione delle frodi, manutenzione predittiva: questi sono solo alcuni esempi di progettualità abilitate dall’analisi dei dati in Real-Time o in Streaming (e vedremo nel dettaglio la differenza). Il potenziale innovativo dei Real-time Analytics non riguarda inoltre soltanto progettualità di monitoraggio e analisi interna. Svolgere analisi in tempo reale abilita, grazie ad Analytics sempre più complessi integrati nei sistemi, l’evoluzione di prodotti e servizi, permettendo di sfruttare appieno, ad esempio, le potenzialità dell’Internet of Things (es. wearable devices, hybrid TV, veicoli a guida autonoma). I Real-Time Analytics coinvolgono dunque tutta la catena del valore degli Analytics e possono, in alcuni casi, avere importanti impatti sul modello di business di un’organizzazione.
In questo articolo – dopo alcuni anni da quel primo approfondimento sul tema – proviamo a riassumere le applicazioni, opportunità e sfide dell’analisi dei dati in tempo reale e ancor più dello streaming analytics.

Quattro differenti velocità di analisi
Prima di tutto, chiariamo i concetti. Quali sono le possibili velocità con cui avere a disposizione i dati per le analisi? Qual è la differenza tra analisi in tempo reale e analisi a flusso (streaming)?
La distinzione può essere riassunta con una classificazione a quattro:

• Batch: analisi con un aggiornamento dei dati periodico, al più giornaliero (ma potenzialmente anche settimanale o mensile);
• Near real-time: analisi con un aggiornamento dei dati quasi in tempo reale, con intervalli di periodicità inferiori all’ora, tendenzialmente tra 15-30 minuti;
• (On-demand) real-time analytics: tipologia di analisi in cui la data ingestion avviene in tempo reale; dunque, i dati vengono mostrati esattamente fino al momento in cui vengono richiesti da un operatore;
• Continuous real-time analytics (o streaming): tipologia di analisi in cui la data ingestion avviene in tempo reale e l’analisi viene svolta in modo continuativo, con una conseguente visualizzazione dinamica, in modo automatico.

La differenza tra le ultime due tipologie, in apparenza sottile, apre in verità apre scenari applicativi completamente diversi.

Un framework applicativo dello Streaming Analytics
Quali sono le applicazioni del continuous real-time Analytics?
Per provare ad avere un quadro completo, possiamo categorizzarle su due dimensioni:

• l’impatto sui processi: identifichiamo applicazioni a basso, medio ed elevato impatto sui processi di business. È chiaro che questa classificazione non è del tutto oggettiva; tuttavia, possiamo riassumerla nel potenziale della singola applicazione di portare in maniera diretta un incremento dei ricavi o diminuzione dei costi, tramite soluzioni di efficienza e/o efficacia o tramite l’apertura di nuovi modelli di business. Conseguentemente, un’applicazione di elevato impatto imporrà dei cambiamenti tecnologici ed organizzativi, che l’azienda dovrà essere in grado di gestire.
• tipologia di analisi: distinguiamo le applicazioni per quali è sufficiente applicare tecniche di analisi descrittive sui dati, le applicazioni che necessitano di analisi predittive o di ottimizzazione e le applicazioni abilitate dalle tecniche di apprendimento automatico;

Nelle applicazioni a basso impatto sui processi troviamo i casi d’uso di Monitoraggio e Alerting.
Un esempio, nell’ambito delle analisi descrittive, è il monitoraggio della situazione degli asset dell’azienda in maniera continuativa, eventualmente rientrando nel mondo del Location Analytics per ciò che riguarda gli asset mobili;
Spostandosi invece nelle analisi prescrittive, troviamo applicazioni di monitoraggio delle frodi o alert automatici collegati ad una possibile azione futura di un cliente (es. alert legati alla probabilità di abbondono del brand).
Infine, l’utilizzo di algoritmi di Machine Learning abilita la possibilità di analizzare in modo continuativo immagini e testi e creare dunque, anche in questo ambito, degli alert automatizzati. Alcuni ambiti applicativi possono riguardare: finalità di sicurezza (es. Facial Recognition Alert), analisi della qualità dei prodotti nella catena produttiva o altre finalità di marketing.

Spostandosi a destra, in un ipotetico grafico a matrice, troviamo le applicazioni con un medio impatto sui processi. Possiamo riassumerle con l’espressione Automated Decision Making.
In quest’ambito, possiamo trovare le attività di task automation, abilitate anche da semplici analisi descrittive o da analisi rule-based tradizionali. A seguire, applicazioni molto rilevanti quali i sistemi di trading automatizzati, l’ottimizzazione automatica della supply chain e il cosiddetto context-aware advertising. Quest’ultimo caso d’uso fa riferimento alla possibilità di costruire attività pubblicitarie non solo personalizzate in base all’utente ma legate all’azione o al luogo che l’utente sta compiendo in quel momento.

In ultimo, possiamo citare diversi casi d’uso che hanno portato alla nascita di Nuovi prodotti e servizi, abilitati di fatto dallo Streaming Analytics. Prima di tutto, la nascita dei wearable devices, che tengono traccia in maniera continuativo dei diversi parametri vitali e analizzano i dati per restituire una vista di sintesi di un determinato fenomeno.
A seguire ricordiamo l’addressable TV (o TV indirizzabile), ossia televisioni che abilitano una comunicazione mirata e targettizzata, o, in tutto altro ambito, applicazioni di crowd management, ossia di gestione intelligente e in tempo reale delle folle o di situazioni di affollamento.
Un altro prodotto noto ai più, abilitato dall’analisi in streaming, è il navigatore o mappa intelligente, in grado di fornire suggerimenti sul percorso da compiere, a partire dai dati continuativamente processati.
Infine, tra le applicazioni abilitate dall’utilizzo di algoritmi di apprendimento automatico e dalle analisi in streaming, possiamo citare i termostati intelligenti, gli smart speaker o i veicoli autonomi.

È chiaro che la complessità insite in alcune di queste applicazioni non può essere riassunta soltanto nella velocità di analisi dei dati, d’altro canto, senza questa trasformazione in direzione della “V come Velocità”, non avremmo conosciuto prodotti e servizi che hanno aperto o stanno per aprire nuovi mercati

Dove si trovano le grandi aziende italiane?
Nel 2017, il 74% delle grandi aziende dichiarava di svolgere soltanto analisi in modalità batch, ossia con un aggiornamento dei dati al più giornaliero. Da lì agli ultimi dati raccolti – quelli del 2021 -, vediamo questa percentuale scendere al 47%.
Dall’altro lato, vediamo una rilevante crescita di aziende che dichiarano di svolgere analisi almeno in near real-time. Come spieghiamo questo fenomeno?
Va detto che l’evoluzione dell’offerta tecnologica ha permesso di compiere, facilmente, un importante passo in avanti verso il near real-time e, come detto in apertura, gli strumenti oggi presenti sul mercato permettono di gestire anche imponenti moli di dati con un aggiornamento molto rapido. Dall’altro lato, le aziende hanno avvertito questa necessità – e hanno quindi deciso di investire in quest’ambito – per tener testa a consumatori sempre più esigenti e necessità di efficientamento dei costi sempre più impegnative.
Nel corso dell’emergenza pandemica, inoltre, le organizzazioni si sono trovate ad operare in un contesto totalmente nuovo ed hanno quindi preso ancor più consapevolezza dell’importanza di avere dati e informazioni sempre aggiornate.
Va tuttavia sottolineato che non abbiamo ancora visto una crescita consistente di casi d’uso di streaming analytics. Le barriere all’adozione risiedono nella fallace idea che solo alcuni settori o ambiti applicativi possano trarre vantaggio dalle analisi a flusso, nella necessità di modificare i processi interni per mettere a terra applicazioni di questa tipologia e nella complessità tecnologica.
Se è infatti vero che la tecnologia è in continua evoluzione e offre ampie opportunità, integrare di fatto i sistemi di analisi dati in streaming con la filiera batch o near real-time delle data pipeline aziendali può rivelarsi estremamente sfidante.