Il problema nascosto nei pipeline RAG

Negli ultimi anni i budget aziendali si sono concentrati sull’acquisto di modelli di intelligenza artificiale sempre più grandi, ma un dato proveniente da un hedge fund mette in luce una realtà diversa: l’accuratezza di un agente AI era solo del 36% quando veniva valutata su documenti interni da esperti umani. Dopo aver sostituito l’intero “search stack”, la stessa tipologia di agente ha raggiunto il 98%.

Secondo Aamir Shakir, fondatore della società di retrieval Mixedbread, il miglioramento non è stato dovuto a un modello più “intelligente”, ma a come il sistema recupera le informazioni. “Il problema non è l’intelligenza”, ha detto nello AI Engineer podcast, “l’intelligenza c’è, ma il vero collo di bottiglia è l’accesso ai dati e alla conoscenza”.

Questa osservazione è particolarmente rilevante per chi ha visto i budget fluire verso modelli più grandi, perché suggerisce che gran parte della spesa aziendale è indirizzata al livello sbagliato dello stack tecnologico.

Come funziona il classico RAG

La maggior parte degli agenti aziendali utilizza il cosiddetto Retrieval‑Augmented Generation (RAG). Il processo prevede:

    • Parsing del documento (PDF, slide, ecc.)
    • Chunking del testo in frammenti
    • Generazione di embedding tramite un modello di vettori
    • Indicizzazione in un database vettoriale (es. Pinecone)
    • Ricerca dei chunk più pertinenti e inserimento nel contesto del modello LLM

Nel 2023 la promessa era semplice: “caricate i vostri file in un database vettoriale e funziona”. In pratica, il risultato è stato deludente perché ogni fase introduce perdita di informazioni.

Le perdite di informazione nei quattro step

Shakir individua quattro punti critici:

    • Parsing dei PDF: tabelle e grafici vengono spesso distorti o eliminati.
    • Chunking: la divisione del testo crea “rumore” ai margini di pagine e figure.
    • Embedding: il modello riduce il contenuto a un unico punto numerico, comprimendo la ricchezza semantica.
    • Ricerca: il motore confronta punti vettoriali, già impoveriti, e può restituire contesti irrilevanti.

Un esempio illustrativo fornito da Shakir riguarda il modello di embedding che colloca “I love bread” e “who loves bread” vicini – risultato accettabile per frasi semplici. Tuttavia, se si inseriscono i report finanziari di NVIDIA del 1996, 2000 e 2026, i punti risultanti sono quasi identici, rendendo impossibile distinguere fatti fondamentali come l’utile netto di un anno specifico.

Su piccole collezioni di documenti la qualità può sembrare adeguata, ma a scala produttiva la degradazione è significativa.

Implicazioni economiche

Un agente incapace di trovare un contesto adeguato non si arrende: “querya in modo aggressivo”, attiva sub‑agent e riempie la sua finestra di contesto, aumentando i costi per domanda a 10‑20 USD. Shakir avverte che, se i fondi dovessero essere “principalmente gestiti da agenti”, tale struttura di costo diventa insostenibile con l’aumento del traffico.

Il modello di Mixedbread: un salto di qualità

Mixedbread ha lanciato il suo primo modello alla fine del 2025, rilasciandolo nell’inizio del 2026. Si tratta di un modello “late‑interaction” che, invece di generare un unico embedding per documento e query, produce molteplici embedding contestualizzati in un singolo passaggio. Su un filing di NVIDIA, ad esempio, il modello crea embedding separati per “net income” e “net revenue” mantenendo la consapevolezza che l’intera pagina riguarda NVIDIA.

Un’altra innovazione chiave è l’indicizzazione multimodale: ogni pagina viene indicizzata non solo come testo estratto, ma anche come immagine così com’è visualizzata. Nel caso di una slide di earnings di Intel contenente un grafico, un pipeline basato solo su testo perderebbe il grafico e non potrebbe rispondere a domande sul margine operativo della foundry. L’indicizzazione visiva preserva queste informazioni.

Il sistema fornisce inoltre le coordinate di “bounding box” per ogni elemento, consentendo a un analista o a un agente di puntare esattamente alla fonte di un dato – caratteristica particolarmente preziosa nel settore finanziario, dove la provenienza è cruciale.

Benefici misurati

    • Qualità della risposta: l’indicizzazione multimodale migliora sensibilmente la pertinenza delle risposte.
    • Riduzione del consumo di token: i token spesi per ricerca, parsing e lettura si riducono di un fattore 3, poiché il contesto fornito è già altamente rilevante.

Con un contesto più ricco, il modello LLM può concentrarsi sulla ragionevolezza della risposta anziché spendere risorse per “leggere” dati irrilevanti.

Ricerca multi‑step con Toast One

Non tutte le domande si risolvono con una singola ricerca. Shakir cita l’esempio: “La redditività della foundry di Intel sta migliorando? E perché?”. Per queste query, Mixedbread utilizza un modello chiamato Toast One, addestrato specificamente per la ricerca a più fasi.

Toast One suddivide la domanda in sotto‑ricerche e passi di ragionamento, recupera le evidenze e le passa a un LLM per la generazione della risposta. Secondo Shakir, Toast One è “pari a Astra e Fable ma 40 volte più veloce e più economico”. Il sistema seleziona dinamicamente tra ricerca tipo grep, ricerca standard e ricerca agentica, esponendo tutti e tre i meccanismi come blocchi componibili.

Il caso di studio: l’hedge fund

L’hedge fund ha integrato Mixedbread in circa una settimana e mezza, migrando oltre un miliardo di documenti e creando una piattaforma interna per analisti e gestori. Con lo stack precedente (chunking, OCR, embedding generico, database vettoriale) l’accuratezza era del 36% rispetto a una valutazione umana. Con il nuovo sistema di retrieval, l’accuratezza è salita al 98%.

Mixedbread è in produzione da cinque mesi, con banche e altri hedge fund onboardati negli ultimi tre mesi, gestendo miliardi di documenti. Oltre all’accuratezza, l’azienda ha ottenuto l’adozione grazie a:

    • Certificazioni SOC 2 e ISO
    • Modalità “bring‑your‑own‑bucket” che garantisce zero ritenzione dei dati
    • Ingestione di PDF, fogli di calcolo, immagini, video, audio in più di 100 lingue
    • Full‑stack ownership: modelli, database e pipeline di ingestione sono tutti interni, eliminando la necessità di molteplici fornitori.

Questo approccio “one‑vendor” riduce il numero di revisioni di sicurezza da cinque a una, accelerando i tempi di implementazione.

Prospettive future: disaccoppiamento tra intelligenza e dati

Shakir chiude la sua presentazione con una tesi audace: le imprese dovranno separare la scelta del modello di intelligenza artificiale dalla capacità di accedere ai propri dati. In pratica, le aziende potranno scegliere liberamente tra i modelli più avanzati (GPT‑4, Claude, Llama 2, ecc.) mantenendo un layer di retrieval standardizzato e ottimizzato.

“Crediamo che vedremo una disaggregazione dell’intelligenza e dei dati: potrai scegliere tra diversi modelli di intelligenza, ma avrai bisogno del giusto accesso ai tuoi dati per farli funzionare”, ha affermato Shakir.

Se questa tendenza si confermerà, chiunque abbia scommesso esclusivamente sui produttori di modelli AI dovrà rivedere la propria strategia, poiché il valore competitivo sarà sempre più legato alla capacità di recuperare e contestualizzare i dati in modo efficiente.