Contesto e motivazioni della trasformazione
Nel primo articolo abbiamo descritto l’adozione da parte di BBVA di una piattaforma basata su tecnologie AWS per potenziare le capacità di machine learning. In questo secondo approfondimento, il focus è sui quattro casi d’uso iniziali che hanno guidato lo sviluppo di pattern riutilizzabili, sulla standardizzazione dei flussi operativi e sulla progettazione di template estensibili in grado di accelerare la consegna di soluzioni ML mantenendo governance e flessibilità.
I piloti hanno coperto domini molto diversi: modellazione del rischio, ottimizzazione dei prezzi, raccomandazioni personalizzate e previsione finanziaria. Ognuno presentava differenti volumi di dati, esigenze computazionali e livelli di maturità dei team, ma tutti hanno evidenziato la necessità di un approccio più industrializzato.
Principali sfide emerse
Nonostante le differenze geografiche e di dominio, i team hanno riscontrato opportunità comuni:
- Uso di repository di codice, tracking degli esperimenti e gestione del ciclo di vita dei modelli, ma con pattern di implementazione evoluti in modo indipendente.
- Processi di promozione dei modelli e gestione dei pipeline misti tra attività automatiche e manuali, limitando la scalabilità.
- Mancanza di ambienti di test isolati, costringendo a fondere codice in branch condivisi e rallentando i cicli di feedback.
- Governance presente ma variabile: registrazione e monitoraggio dei modelli non uniformi tra le unità.
Queste criticità hanno portato a un aumento degli sforzi di onboarding per nuovi progetti con basi tecniche simili e a un ritardo nell’adozione di best practice.
Obiettivo strategico
L’obiettivo era chiaro: accelerare e industrializzare la delivery di ML mediante la standardizzazione di pattern comuni, la semplificazione dei flussi operativi e l’integrazione di governance e tracciabilità direttamente nell’esperienza di sviluppo.
Metodo: allineamento di persone, processi e tecnologia
Modernizzare i workflow di ML in una grande organizzazione richiede più che introdurre nuovi tool; è necessario definire un approccio scalabile che allinei persone, processi, governance e tecnologia. BBVA ha combinato la conoscenza di business con l’expertise di AWS, organizzando sessioni di ideazione e valutazione con le quattro unità pilota.
Durante le sessioni strutturate, ogni unità ha presentato casi d’uso tecnici (da regressioni con XGBoost a Deep Neural Networks), livelli di maturità diversi e restrizioni operative specifiche. Il risultato è stato il mapping di workflow eterogenei e l’identificazione di pattern comuni, sfide e divergenze.
Questo approccio bidirezionale ha permesso di allineare le esigenze reali del business alla piattaforma MLOps, creando una comprensione condivisa di cosa significasse “fare bene” in tutta l’organizzazione.
Le quattro dimensioni di standardizzazione
- Persone: transizione da notebook individuali a pipeline collaborativi e versionati.
- Processi: revisione del codice, testing e deployment standardizzati.
- Governance: integrazione di controlli regolamentari e riduzione della supervisione manuale.
- Tecnologia: integrazione delle template MLOps nella piattaforma ADA, garantendo un punto di partenza pronto per la produzione.
Architettura tecnica e template MLOps
Il nucleo dell’approccio industrializzato parte dalla console ADA. Quando un utente seleziona un MLOps asset, il sistema crea automaticamente un nuovo progetto con repository GitHub dedicato e codice base standardizzato. Questo scaffold include una configurazione end‑to‑end per il ciclo di vita del ML, basata su Amazon SageMaker Pipelines riutilizzabili per training, inferenza e monitoraggio.
I pipeline di training sono modulari e suddivisi in passi discreti: preprocessing dei dati, addestramento, valutazione, controlli condizionali basati su performance, validazioni di qualità e registrazione nel SageMaker Model Registry. La modularità consente il caching passo‑per‑passo, evitando di rieseguire fasi non modificate e riducendo tempo di esecuzione e costi computazionali.
Una strategia CPU‑first garantisce l’uso di risorse costose solo quando strettamente necessario. La template promuove inoltre un approccio Python‑first, sostituendo PySpark quando possibile, ma consentendo integrazioni PySpark su EMR per preparazioni dati su larga scala.
Tracking, registrazione e governance
I modelli vengono registrati condizionatamente solo se superano soglie di performance predefinite. MLflow cattura iperparametri, metriche e artefatti, mantenendo un registro centralizzato collegato alla versione corrispondente nel Model Registry.
Amazon SageMaker AI Pipelines registra le metriche di esperimento tramite MLflow ad ogni esecuzione. I data scientist visualizzano i risultati in un’interfaccia MLflow Server integrata nativamente in SageMaker AI Studio, con grafici, plot, valori raw e report HTML completi.
Pipeline di inferenza automatizzata
I pipeline di inferenza sono costruiti per minimizzare l’intervento manuale. Un passo basato su AWS Lambda recupera automaticamente gli artefatti dell’ultima versione approvata del modello, eliminando la gestione manuale dei percorsi. Quando un modello viene riaddestrato e supera le approvazioni senza modifiche al pipeline di training, l’inferenza recupera la nuova versione approvata senza richiedere un nuovo deployment o un’ulteriore approvazione.
Questa capacità mantiene le predizioni in produzione costantemente aggiornate, riducendo al minimo il tempo di inattività e il rischio di errori operativi.
Estensione della template per carichi complessi
Pur coprendo con successo i pattern standard, la template è stata progettata per essere estensibile. Per carichi di lavoro più complessi, è possibile:
- Aggiungere step personalizzati di feature engineering su Spark o Dask.
- Integrare librerie di deep learning come TensorFlow o PyTorch all’interno di container Docker dedicati.
- Implementare meccanismi di canary deployment e test A/B per validare versioni di modello in ambienti di produzione.
- Collegare sistemi di monitoraggio esterno (Prometheus, Grafana) per alerting avanzato sulla drift dei dati.
Risultati concreti e impatto sul business
Dopo la prima fase di rollout, BBVA ha registrato miglioramenti significativi:
- Tempo medio di delivery di un modello: ridotto da 8‑10 settimane a 3‑4 settimane.
- Costo computazionale per ciclo di training: diminuzione del 30 % grazie al caching e alla strategia CPU‑first.
- Numero di incidenti legati a configurazioni errate: calo del 45 % grazie alla governance integrata nei template.
- Adozione di nuovi casi d’uso: aumento del 60 % nel numero di progetti ML avviati nelle unità non pilota.
Questi risultati hanno tradotto rapidamente in valore di business: modelli di rischio più accurati hanno ridotto le perdite per crediti deteriorati, l’ottimizzazione dei prezzi ha incrementato i margini di prodotto, e le raccomandazioni personalizzate hanno migliorato il tasso di conversione dei canali digitali.
Prospettive future
BBVA prevede di espandere il framework MLOps a tutte le unità operative entro il 2028, includendo ulteriori integrazioni con servizi serverless, edge computing per applicazioni IoT e funzionalità di explainable AI per soddisfare requisiti normativi sempre più stringenti.
Il modello di template riutilizzabile, combinato con una governance codificata, rappresenta un asset strategico che consentirà alla banca di sperimentare nuove idee di data‑driven innovation con rapidità e controllo.
