Il contesto di Exa e l’importanza dell’embedding su larga scala
Exa sta costruendo uno dei pochi veri indici web aggregando conoscenza da fonti pubbliche, private e sintetiche. L’indice è ottimizzato per la ricerca semantica, fornendo dati di alta qualità sia a agenti intelligenti sia a utenti umani. Per ottenere questo risultato, Exa utilizza modelli di machine learning multi‑tower che trasformano dati web e query nello stesso spazio vettoriale, permettendo ricerche complesse in linguaggio naturale accanto alla ricerca per parole chiave.
Il fulcro della tecnologia è un database vettoriale interno che deve ingerire e embed‑dare enormi volumi di dati di alta qualità. Quando si parla di decine o centinaia di miliardi di documenti, l’efficienza economica dell’embedding diventa cruciale: anche un piccolo miglioramento per documento si traduce in risparmi significativi.
Riprogettazione dell’infrastruttura di embedding su hardware AWS Neuron
Il percorso di ottimizzazione è iniziato con una fase di “backfill”, durante la quale Exa ha dovuto re‑embed‑dare 30 miliardi di documenti prioritari. Questo ha temporaneamente raddoppiato il carico di lavoro, creando l’occasione ideale per rivalutare le scelte hardware.
Exa ha scelto i chip AWS Inferentia2 e Trainium2, sfruttando le istanze inf2.xlarge (un chip e due NeuronCore). L’intero carico di lavoro è eseguito su un singolo NeuronCore, con pod Kubernetes che riempiono istanze più grandi senza lasciare core inattivi, garantendo omogeneità dei container.
Primo approccio: modello FP16 parallelo
L’implementazione iniziale su Inferentia2 era un semplice data‑parallel FP16. Da questo punto di partenza è iniziata una serie di ottimizzazioni mirate ad aumentare il throughput (documenti al secondo) usando il Neuron SDK e il supporto del team Trainium.
Le fasi di ottimizzazione e i risultati ottenuti
Le ottimizzazioni hanno seguito questo percorso:
- Ottimizzazione del layout dei pesi: eliminazione di trasposizioni inutili allineando il layout dei pesi con la schedulazione del modello.
- Autocast: downcast delle moltiplicazioni di matrici a precisione più bassa mantenendo il range dinamico, con accuratezza mantenuta a 0,999 di similarità coseno rispetto al modello di riferimento.
- Kernels NKI: utilizzo della libreria Neuron Kernel Interface per kernel ottimizzati, incluso un kernel di attenzione drop‑in.
- Kernel MLP fuso SwiGLU: sviluppo di un kernel personalizzato weight‑stationary per eliminare i colli di bottiglia di spill e reload dalla memoria ad alta larghezza di banda (HBM).
- Riduzione dei FLOPS: riscrittura del kernel di attenzione per rimuovere padding e fusione di operazioni di attenzione in singole matmul, riducendo i round‑trip HBM.
Ogni fase ha prodotto incrementi misurabili di throughput, culminando in un miglioramento totale del 47 % rispetto al baseline iniziale, pari a un aumento del 50 % del throughput e a una riduzione dei costi per milione di documenti embed‑dati.
Metodo agentico per lo sviluppo
Le ottimizzazioni sono state guidate da un workflow agentico basato su Flyte, una piattaforma ML‑ops. Ogni agente esegue tre passaggi fondamentali: verifica della correttezza (similarità coseno ≥ 0,999), misurazione delle prestazioni e profiling dell’esecuzione. Gli agenti leggeri gestiscono la ricerca di parametri del compilatore, mentre gli agenti più potenti scrivono kernel personalizzati. Questo approccio mantiene i costi sotto controllo e previene il “drift” delle performance.
Benefici della flessibilità computazionale
Finora le ottimizzazioni sono state effettuate per la regione US West (Oregon) (us-west-2). Tuttavia, la disponibilità di risorse spot e on‑demand varia tra le regioni, e un’eccessiva dipendenza da una singola zona può generare carenze di capacità e degradare il servizio. Exa prevede di distribuire il carico di calcolo su più regioni e tipologie di istanza per mitigare questi rischi.
In sintesi, la combinazione di ottimizzazioni a basso livello, kernel personalizzati e un workflow agentico ha permesso a Exa di migliorare significativamente l’efficienza dell’embedding, riducendo i costi e aumentando la capacità di indicizzare miliardi di documenti con hardware AI di AWS.
