L'importanza della ricerca nell'IA
Può la ricerca da sola trasformare un agente scarsamente performante in uno eccellente? Aamir Shakir, co-fondatore di Mixedbread, sostiene che sia possibile. In una dimostrazione su AI Engineer, Shakir ha mostrato come un sistema di retrieval avanzato abbia migliorato l'accuratezza delle risposte di un agente di un fondo di investimento dal 36% al 98%, senza modificare il modello linguistico sottostante.
Il problema, secondo Shakir, non risiede nella capacità di ragionamento dell'agente, ma nell'accesso alle informazioni. La generazione aumentata da retrieval è un metodo che utilizza documenti propri per fondare le risposte dell'agente. Tuttavia, lo stack tradizionale è composto da diversi passaggi che possono causare perdite di informazioni.
I limiti dello stack tradizionale
Lo stack tradizionale per il retrieval-augmented generation è composto da diversi passaggi: l'analisi di PDF, l'OCR su scansioni, la suddivisione delle pagine in chunk, l'incorporamento di ogni chunk in un singolo vettore, la ricerca in un database vettoriale e il riorganizzazione dei risultati. Ogni passaggio è soggetto a perdite di informazioni, e l'uso di vendor diversi per OCR, chunking, embedding e archiviazione significa che le squadre spendono sei a otto mesi per valutare gli strumenti e assegnare quattro o cinque persone per costruire un sistema che rimane fragile.
Shakir ha illustrato il problema con un esempio: un analista di equity che chiede perché la nuova GPU D270 di Intel utilizza LPDDR5 invece di HBM. Con la ricerca lessicale come grep o un singolo punto di embedding per chunk, il sistema restituisce molti risultati simili e il modello deve leggere ogni candidato. A miliardi di documenti, questo può portare a costi di token di $10 o $20 per una singola domanda semplice. Inoltre, i PDF con tabelle, figure e scansioni spesso non sono grepabili.
L'innovazione nel design degli embedding
La soluzione proposta da Mixedbread è un modello di interazione tardiva che mantiene più embedding per pagina del documento e più embedding per query. Questo permette di mantenere distinti i fatti specifici pur rimanendo contestualizzati. Il prossimo modello di Mixedbread, previsto per il rilascio la prossima settimana e già in uso con alcuni clienti, crea questi embedding dalla pagina visiva stessa piuttosto che dal testo OCR, preservando tabelle e figure.
In una dimostrazione dal vivo, Shakir ha interrogato il margine operativo del segmento foundry di Intel per il Q2 2025 e il sistema ha restituito la pagina esatta con una latenza inferiore a 200 millisecondi e con bounding box per citare la fonte. Per domande qualitative complesse, come se la redditività del foundry di Intel sta migliorando e perché, Mixedbread ha addestrato un primitivo di ricerca agent-based che decomponie la richiesta in query multi-hop, descritto come buono quanto Astra e Fable ma 40 volte più veloce e conveniente.
L'impatto nella pratica
L'impatto di questa tecnologia si vede nella pratica, non solo nei benchmark. Shakir ha citato un grande fondo di investimento con oltre un miliardo di documenti che ha implementato il sistema in circa una settimana e mezzo, costruendo agenti interni per analisti e gestori di portafoglio. L'accuratezza, valutata umanamente, è passata dal 36% con il chunking più un embedding generico e un database vettoriale, al 98% dopo il passaggio a Mixedbread. La multimodalità ha contribuito in modo significativo a questo guadagno, e grazie a un contesto migliore, la spesa per i modelli linguistici è diminuita di tre volte.
Mixedbread sta promuovendo questa tecnologia come uno sbundling di intelligenza e dati, dove le squadre possono scegliere qualsiasi modello di frontiera ma fare affidamento su un singolo strato di indicizzazione. Questo strato è venduto con zero ritenzione dei dati e ciò che Shakir ha definito "porta il tuo bucket", oltre a una conformità ISO che ha aiutato a onboardare banche e fondi di investimento negli ultimi tre mesi, nonostante i cinque mesi trascorsi dal lancio.
I limiti e le sfide future
La dimostrazione ha anche mostrato i limiti della tecnologia. Il primo caricamento della pagina è fallito su una connessione Wi-Fi lenta, un problema che Shakir ha segnalato personalmente. Inoltre, la percentuale del 98% è un singolo studio di caso del cliente con valutazione umana, non un benchmark pubblico. Se si eseguono agenti su documenti privati, podcast e appunti di ricerca, la mossa a breve termine da osservare è se l'interazione visiva tardiva su larga scala mantiene quell'accuratezza e risparmio di token senza aggiungere overhead operativo, e se le squadre che hanno budgetato mesi per l'OCR e la regolazione del database vettoriale possono spostare quel personale alla logica dell'applicazione invece.