Da RAG a modelli finemente sintonizzati: la trasformazione di TTF

Il sistema Text‑to‑Formula (TTF) di FactSet affronta una sfida apparentemente semplice ma estremamente complessa: tradurre una query in linguaggio naturale, formulata da un professionista dell’investimento, in una formula precisa nel FactSet Query Language (FQL). Inizialmente il team ha costruito TTF attorno alla generazione aumentata dal recupero (RAG), sfruttando la ricerca per reperire esempi e informazioni pertinenti alla richiesta.

Con l’aumento dell’uso, le richieste sono diventate più specializzate e le formule più articolate, facendo sì che l’approccio RAG raggiungesse un “plateau” di qualità. Per superare questo limite FactSet ha iniziato a integrare modelli open‑source finemente sintonizzati nella propria architettura di IA composita (Compound AI). Questa svolta ha permesso di addestrare i modelli sulla struttura e sugli schemi di FQL, riducendo la dipendenza dalla ricerca al momento dell’inferenza.

Nei primi test, l’integrazione dei modelli sintonizzati ha diminuito la latenza end‑to‑end di circa il 60 %, dimostrando un impatto immediato sulla velocità di risposta del sistema.

Un ciclo di aggiornamento ricorrente

Man mano che il sistema è evoluto, anche il ruolo dell’affinamento è cambiato. FactSet ha accumulato un volume crescente di dati di addestramento e ha iniziato a rinfrescare i propri modelli con regolarità, trasformando quello che era un workflow sperimentale in una fase ricorrente dello sviluppo di TTF. Oggi il team effettua l’affinamento dei modelli circa ogni due‑tre settimane.

Questa frequenza impone nuove esigenze infrastrutturali: preparare un ambiente GPU e configurare le risorse è gestibile per un esperimento isolato, ma diventa un collo di bottiglia quando è necessario ripetere l’operazione più volte al mese.

Le sfide dell’infrastruttura tradizionale

Le esigenze di calcolo variano notevolmente da un’esperimento all’altro. FactSet ha sperimentato modelli basati su Llama e continua a valutare nuovi modelli open‑source. Differenti lunghezze di prompt, architetture e requisiti di output richiedono configurazioni GPU specifiche. Legare l’ambiente di addestramento a una configurazione fissa rende difficile adattarsi rapidamente alle nuove sperimentazioni.

Inoltre, la gestione manuale dell’infrastruttura – provisioning, installazione di driver, configurazione di librerie – consuma tempo prezioso e aumenta il rischio di errori, soprattutto in un contesto di iterazioni rapide.

Databricks AI Runtime: una soluzione serverless

FactSet ha adottato Databricks AI Runtime per eseguire i carichi di lavoro di affinamento su un’infrastruttura GPU serverless. Grazie a questo servizio, gli ingegneri possono selezionare le risorse di calcolo necessarie per ogni specifico addestramento, senza dover pre‑provisionare né configurare in anticipo l’ambiente GPU.

Il workflow di addestramento di TTF si integra perfettamente con i processi di gestione dati, sperimentazione, gestione dei modelli e governance già presenti su Databricks. FactSet utilizza MLflow per tracciare lo sviluppo e le esperienze dei modelli, mentre i dati rimangono governati all’interno del Lakehouse esistente.

Benefici concreti: da giorni a ore

L’esecuzione dell’affinamento con AI Runtime mantiene l’intero ciclo di addestramento GPU all’interno di un unico workflow. Gli ingegneri possono lavorare con dati governati, addestrare un nuovo modello, tracciare gli artefatti generati e passare al deployment senza gestire una stack GPU separata. Questo ha ridotto il tempo necessario per configurare, addestrare e distribuire un modello TTF personalizzato da diversi giorni a poche ore.

La possibilità di cambiare modello è stata parte integrante dell’evoluzione di TTF fin dall’inizio. Il RAG avanzato, soprattutto quando basato esclusivamente su modelli esterni, è divenuto un collo di bottiglia in termini di precisione e latenza con l’aumento della complessità delle formule. I modelli open‑source finemente sintonizzati hanno offerto a FactSet un’alternativa per migliorare qualità e velocità.

Ora, quando emergono nuovi modelli, il team può valutarli in base al carico di lavoro senza considerare la scelta corrente come definitiva.

Specializzazione dei modelli all’interno di TTF

Con l’accumularsi dei dati, FactSet sta esplorando ulteriori modelli sintonizzati per compiti specifici come:

    • decomposizione delle query;
    • estrazione di componenti;
    • identificazione di librerie di riferimento.

Questa specializzazione crea più opportunità di impiegare il modello più adatto a ciascuna fase del workflow, rendendo ancora più cruciale la capacità di addestrare rapidamente e in modo ripetibile.

Un pipeline riutilizzabile e standardizzato

Il pipeline di affinamento è stato costruito su Databricks Lakeflow Jobset Pipelines come un framework riutilizzabile e immediatamente operativo. È stato concepito per essere adottato facilmente da diverse task di TTF e da altri team, richiedendo un minimo sforzo di configurazione. Questo approccio standardizzato semplifica l’integrazione, accelera l’adozione e garantisce coerenza nei processi di addestramento.

Poiché i modelli open‑source evolvono rapidamente, il modello più performante oggi potrebbe non esserlo più tra sei mesi. Mantenere la libertà di scegliere il modello richiede più della semplice capacità di scaricare nuovi pesi: è necessario un workflow di addestramento e distribuzione in grado di tenere il passo con il ritmo di innovazione.

Impatto sulla produttività del team

L’esperienza di FactSet dimostra come, in produzione, la capacità di testare nuovi modelli senza ricostruire l’intero ambiente di addestramento consenta di concentrare gli sforzi su questioni di valore reale: selezione del modello, strategie di affinamento e valutazione dell’impatto sull’applicazione. Grazie a AI Runtime, le risorse GPU sono disponibili on‑demand, riducendo al minimo l’overhead operativo.

Per un sistema che si riaddestra ogni due‑tre settimane, la differenza si cumula rapidamente. I nuovi dati possono essere integrati più velocemente in un modello aggiornato, e gli ingegneri possono dedicare una quota maggiore del tempo a migliorare TTF piuttosto che a preparare l’infrastruttura necessaria.

Conclusioni

L’adozione di Databricks AI Runtime ha permesso a FactSet di trasformare un processo di addestramento complesso e dispendioso in un ciclo snello, serverless e integrato nel proprio ecosistema data‑centric. Riducendo il tempo di configurazione, addestramento e deployment da giorni a ore, l’azienda può sperimentare più rapidamente, mantenere alta la qualità delle formule generate e rispondere in modo agile alle esigenze dei professionisti dell’investimento.

In un contesto in cui i modelli open‑source evolvono costantemente, la flessibilità offerta da una piattaforma serverless è fondamentale per mantenere competitività e innovazione.