Contesto storico e la crisi della codifica automatica

Fin dal 1981 l’Insee gestisce numerosi repertori dell’economia francese, tra cui il codice NAF e la nomenclatura delle attività. Il processo di codifica automatica, introdotto allora, consentiva di classificare correttamente le imprese. Tuttavia, la legge PACTE del 2019 e l’avvio del guichet unique delle imprese, gestito dall’INPI, hanno permesso a ciascun imprenditore di inserire l’attività in un campo di testo libero.

Nel 2022 il tasso di codifica automatica è precipitato al 30 %, lasciando il 70 % delle dichiarazioni da ricontrollare manualmente – “parecchi milioni di dichiarazioni”, ha dichiarato Nathan Randriamanana, data scientist dell’Insee nella divisione Sirène.

Per far fronte a questa emergenza, l’Insee ha messo in produzione “in urgenza” un primo modello di machine learning, che ha salvato non solo la qualità del risultato ma soprattutto il livello di automazione. Questo modello è ancora in uso, ma ha subito le limitazioni tipiche di un ciclo di vita non gestito: l’arrivo di nuove attività non riconosciute richiedeva continui riaddestramenti.

Dal DevOps al MLOps: superare i silos tra data science e sviluppo

Come ha spiegato Hugo Simon, architetto della DSI dell’Insee, “il DevOps ci ha permesso di rompere i silos tra le squadre di produzione e sviluppo; oggi, con il MLOps, vogliamo abbattere questo secondo silo”.

Le difficoltà erano evidenti: i data scientist lavorano in Python, mentre la DSI sviluppa prevalentemente applicazioni Java. Quando si è tentato di mettere in produzione i modelli, i team di sviluppo hanno richiesto “un’app Java”, creando problemi di compatibilità e di comprensione del codice.

Per colmare questo divario, l’Insee ha puntato su due leve:

    • Formazione mirata: corsi brevi di Machine Learning per i developer e workshop di un giorno su strumenti MLOps (MLflow) per i data scientist.
    • Profili ibridi: incentivare la creazione di figure che coniughino competenze di data science e sviluppo software.

Un fattore favorevole è il background comune degli agenti dell’Insee, tutti formati in informatica e statistica con una base di Machine Learning. Tuttavia, la mobilità tra le funzioni non garantisce automaticamente la nascita di profili ibridi; perciò le formazioni continuano ad aumentare.

Infrastruttura tecnica: container, Kubernetes e MLflow

Dal punto di vista tecnico, l’adozione di container e di un socle Kubernetes ha semplificato la coesistenza di tecnologie Python e Node in produzione, promuovendo al contempo l’uso di Python anche tra gli sviluppatori Java.

Secondo Nathan Randriamanana, “posso versionare tutto in un artefatto che caratterizza il modello, non solo i pesi”. Il versionamento comprende modelli, dataset e configurazioni, garantendo tracciabilità completa.

Il cuore della piattaforma MLOps è MLflow, utilizzato per centralizzare e monitorare metriche, confrontare versioni e gestire artefatti. MLflow funge da “playground” dove i data scientist sperimentano, confrontano e preparano i modelli per il rilascio.

Per accelerare il passaggio dalla sperimentazione alla produzione, l’Insee utilizza cluster Kubernetes centralizzati su Onyxia, un prodotto open source sviluppato internamente. Esistono più cluster: uno dedicato alla data science e altri per le applicazioni di business.

Automazione del flusso di rilascio con Argo Workflow

Inizialmente, i due cluster erano isolati: per mettere in produzione un modello, era necessario scaricarlo localmente e ricaricarlo manualmente, con rischi di sicurezza e affidabilità. Oggi il processo è automatizzato grazie ad Argo Workflow, parte della suite Argo.

Il flusso è il seguente:

    • Il data scientist completa il lavoro su MLflow e segna il modello come “ready for production”.
    • Un workflow Argo trasferisce in modo sicuro l’artefatto verso i cluster di produzione.
    • Il modello passa attraverso ModelScan, uno scanner di sicurezza che verifica l’assenza di codice maligno.

Questa automazione elimina passaggi manuali, riduce i tempi di rilascio e aumenta la conformità alle policy di sicurezza.

Standardizzazione del deployment: chart Helm generico e API FastAPI

Per garantire coerenza, l’Insee ha creato un pattern architetturale sotto forma di chart Helm di deployment generico per il Machine Learning. Qualsiasi team può utilizzare lo stesso chart, modificando soltanto il percorso verso il proprio modello; il chart si occupa del resto, inclusa la costruzione automatica di un’API FastAPI con contratti d’interfaccia ben definiti e dipendenze gestite.

Una “team piattaforma” è stata istituita per mantenere questi componenti, assicurando aggiornamenti continui e supporto alle squadre di sviluppo.

Piattaforma di qualificazione delle performance

Parallelamente, è stata lanciata una piattaforma che permette ai data scientist di valutare le performance tecniche dei modelli sull’infrastruttura dell’Insee. I ricercatori testano direttamente le architetture, spingono l’esperimento e valutano la potenziale valorizzazione dei risultati.

Monitoraggio continuo e chiusura del ciclo di feedback

Il monitoraggio è cruciale per chiudere il ciclo di feedback. Nathan Randriamanana sottolinea: “Abbiamo bisogno di monitorare le performance tramite indicatori, metriche per il data drift e visualizzare impatti funzionali”.

Le attività di monitoraggio includono:

    • Metriche di precisione, recall e F1‑score in tempo reale.
    • Rilevamento del data drift per individuare variazioni nella distribuzione dei dati di input.
    • Dashboard operative che mostrano l’impatto sui processi di codifica dell’Insee.
    • Allarmi automatici che attivano riaddestramenti o interventi manuali.

Il team DevOps, responsabile del monitoraggio delle applicazioni in produzione, collabora con i data scientist per integrare questi indicatori nei sistemi di observability già esistenti (Prometheus, Grafana).

Risultati e prospettive future

Grazie all’adozione del MLOps, l’Insee ha riportato un incremento significativo del tasso di automazione, passando dal 30 % del 2022 a oltre il 80 % entro la fine del 2025. I tempi di rilascio dei modelli sono diminuiti da settimane a poche ore, e la gestione della sicurezza è diventata più robusta.

Le sfide future includono:

    • Scalare ulteriormente la piattaforma per gestire nuovi tipi di dati (es. testi non strutturati).
    • Raffinare i modelli di rilevamento del data drift con tecniche di explainable AI.
    • Ampliare il catalogo di profili ibridi tramite percorsi di carriera dedicati.

In sintesi, l’esperienza dell’Insee dimostra come l’integrazione di pratiche DevOps, MLOps e formazione mirata possa trasformare un processo critico di pubblica amministrazione, garantendo efficienza, sicurezza e capacità di adattamento continuo.