Il contesto: il sistema Text‑to‑Formula di FactSet
Il Text‑to‑Formula (TTF) di FactSet affronta una sfida apparentemente semplice ma estremamente complessa: tradurre una richiesta in linguaggio naturale di un professionista degli investimenti nella corretta formula della FactSet Query Language (FQL). Inizialmente il team ha basato TTF su Retrieval‑Augmented Generation (RAG), utilizzando il retrieval per individuare esempi e informazioni pertinenti a ciascuna query.
Con l’aumento dell’uso, le richieste sono diventate più specializzate e le formule più articolate, facendo emergere i limiti di un approccio che dipendeva quasi esclusivamente dal retrieval. La qualità delle risposte ha iniziato a stagnare, spingendo FactSet a integrare modelli open‑source fine‑tuned nella sua architettura “Compound‑AI”.
Primi risultati del fine‑tuning
- Riduzione della latenza end‑to‑end di circa il 60 % rispetto alla soluzione RAG originale.
- Maggiore coerenza nella generazione delle formule FQL, grazie a modelli addestrati sulla struttura e sui pattern specifici del linguaggio.
Da workflow sperimentale a ciclo regolare di aggiornamento
Con il tempo il ruolo del fine‑tuning è cambiato radicalmente. FactSet ha iniziato a raccogliere più dati di training e a aggiornare regolarmente i propri modelli. Quello che era un esperimento occasionale è diventato un’attività ricorrente: oggi il team esegue un fine‑tuning ogni due‑tre settimane.
Questa frequenza ha modificato le esigenze infrastrutturali. Preparare un ambiente GPU per un esperimento sporadico è fattibile, ma ripetere l’intera operazione ogni volta che arrivano nuovi dati o un nuovo modello diventa un onere significativo per il ciclo di sviluppo.
Variabilità dei requisiti di modello
FactSet ha sperimentato diversi modelli basati su Llama e continua a valutare le ultime versioni open‑source. Differenze nella lunghezza dei prompt, nelle dimensioni dei modelli e nelle caratteristiche di output richiedono configurazioni di compute differenti. Legare il training a un setup GPU fisso avrebbe limitato la flessibilità necessaria per sperimentare rapidamente.
L’integrazione di Databricks AI Runtime
Per superare queste limitazioni FactSet ha adottato Databricks AI Runtime, una piattaforma serverless per GPU. Gli ingegneri possono selezionare la potenza di calcolo appropriata per ciascun training senza dover configurare manualmente l’ambiente GPU sottostante.
Il workflow di TTF è già integrato con Databricks per dati, esperimenti, gestione dei modelli e governance. FactSet utilizza MLflow per tracciare lo sviluppo dei modelli, mentre i dati risiedono in un Lakehouse governato, garantendo coerenza e sicurezza.
Fine‑tuning all’interno del workflow esistente
- Utilizzo di dati governati direttamente dal Lakehouse.
- Tracciamento di esperimenti e artefatti con MLflow.
- Deployment continuo senza dover mantenere un’infrastruttura GPU dedicata.
Grazie a questa integrazione, il tempo necessario per preparare l’ambiente, eseguire il training e distribuire un modello TTF personalizzato è passato da giorni a poche ore.
Benefici della flessibilità modellare
Fin dall’inizio, la possibilità di cambiare modello è stata una caratteristica chiave di TTF. L’affidamento esclusivo a modelli esterni ospitati (RAG) si è rivelato un collo di bottiglia quando la complessità delle formule è aumentata. I modelli fine‑tuned open‑source hanno offerto a FactSet un nuovo margine di miglioramento sia in termini di qualità che di latenza.
Ora, quando emergono nuovi modelli, il team può valutarli rapidamente all’interno del medesimo workflow, senza dover ricostruire l’intera pipeline di training.
Espansione delle funzionalità di TTF
Con l’accumularsi di dati, FactSet sta esplorando modelli fine‑tuned per compiti specifici quali:
- Decomposizione delle query.
- Estrazione di componenti.
- Identificazione di librerie.
Questa specializzazione permette di assegnare a ogni fase del processo il modello più adatto, ma rende ancora più cruciale la capacità di eseguire training rapidi e ripetibili.
Un pipeline plug‑and‑play per tutti i team
La pipeline di fine‑tuning è stata costruita su Databricks Lakeflow Jobs e Pipelines, trasformandola in un framework riutilizzabile “plug‑and‑play”. Questo design consente ad altri team di adottare la stessa struttura per diversi compiti TTF con un setup minimo, riducendo le barriere di onboarding e accelerando l’integrazione.
Open‑source models evolve rapidamente: il modello che oggi offre il miglior equilibrio tra qualità, latenza e costi potrebbe non essere più adeguato tra sei mesi. Mantenere la libertà di scelta richiede non solo la possibilità di scaricare nuovi pesi, ma anche un workflow di training e deployment capace di adeguarsi al cambiamento.
Impatto concreto sul ciclo di sviluppo
L’esperienza di FactSet dimostra come, grazie a Databricks AI Runtime, il ciclo di training‑deployment di TTF è stato compattato da diversi giorni a poche ore. Per un sistema che si ri‑addestra ogni poche settimane, la differenza si traduce in un risparmio di tempo enorme, permettendo ai developer di concentrare le proprie energie sul miglioramento delle funzionalità di TTF anziché sulla gestione dell’infrastruttura.
Conclusioni
FactSet ha dimostrato che, integrando modelli fine‑tuned open‑source con una GPU serverless, è possibile superare i limiti del tradizionale RAG, riducendo drasticamente latenza e costi operativi. La combinazione di MLflow, Lakehouse governance e AI Runtime crea un ecosistema coeso dove dati, esperimenti e deployment convivono senza frizioni.
Per le organizzazioni che devono allenare modelli in maniera frequente e desiderano mantenere la libertà di sperimentare nuovi architetti, l’approccio di FactSet offre una roadmap pratica: sfruttare l’infrastruttura serverless per l’addestramento, mantenere i dati governati in un Lakehouse, tracciare tutto con MLflow e costruire pipeline riutilizzabili. Così, il passaggio da giorni a ore diventa non solo possibile, ma sostenibile nel lungo termine.