Panoramica sul RAG IA e le sue componenti fondamentali
Un sistema di generazione aumentata da recupero (RAG IA) si articola in quattro fasi essenziali: segmentazione dei documenti, conversione dei segmenti in vettori, ricerca dei segmenti più pertinenti alla query e generazione della risposta da parte del modello di linguaggio. Il modello di embedding opera nelle fasi due e tre, mentre il reranker si posiziona tra la ricerca e la generazione per ri‑ordinare i risultati più promettenti.
Questa separazione è cruciale: confrontare direttamente Embed 5, Nemotron 3.5 Embed e le varianti di Perplexity senza considerare il contesto di utilizzo porta a conclusioni fuorvianti. Due modelli possono produrre vettori della stessa dimensione ma comportarsi in modo molto diverso su PDF scansionati, domande in lingua francese o passaggi dipendenti da pagine precedenti.
Il ruolo del chunking
Il modo in cui si suddividono i documenti (chunking) influisce tanto quanto la qualità dell’embedding. Passaggi troppo brevi perdono il contesto; passaggi troppo lunghi “anneghiano” le informazioni utili. Nessun modello di embedding può compensare un taglio che spezza una tabella in due parti.
Tipologie di embedding: dense, late‑interaction e contesto
Embedding dense: un unico vettore per ogni passaggio, confrontato con la query tramite similarità coseno. Questo approccio è adottato da Embed 5 e Nemotron 3.5 Embed. Offre storage prevedibile e ricerca estremamente veloce in qualsiasi database vettoriale, ma soffre di compressione: tutto il significato del passaggio deve essere codificato in un singolo punto dello spazio.
Late‑interaction (pplx‑embed‑v2‑late): conserva più vettori per ogni ingresso, aggiungendo ricerca testo‑immagine e ricerca di pagine renderizzate. Questo metodo riduce la perdita di informazione ma richiede infrastrutture più complesse.
Embedding con contesto (pplx‑embed‑v2‑context): genera un unico vettore per passaggio, ma lo fa tenendo conto dell’intero documento. È più semplice da integrare in un’infrastruttura vettoriale esistente rispetto alla variante late‑interaction.
Il reranker rimane un passaggio indipendente. Cohere specifica che il suo Rerank 5 può ri‑ordinare risultati provenienti da motori vettoriali, lessicali o ibridi senza dipendere da Embed 5, consentendo così combinazioni flessibili.
Cohere Embed 5: pro, fast e spazio vettoriale condiviso
Cohere ha introdotto la famiglia Embed 5 il 30 settembre 2026 con due versioni:
- embed‑v5.0‑pro: massima qualità, ideale per indicizzazione offline e ricerche esigenti.
- embed‑v5.0‑fast: bassa latenza, alto throughput, pensata per agenti e grandi volumi di query.
Le due versioni condividono lo stesso spazio vettoriale, permettendo operazioni di decoupling: è possibile indicizzare con Pro (costo più elevato) e interrogare con Fast (bassa latenza), o viceversa. Questo è raro tra i fornitori e modifica significativamente il modello di costo per RAG ad alto traffico.
Embed 5 è multimodale: accetta testo, immagini e combinazioni miste, inclusi PDF interi, trasformandoli in un unico vettore. Cohere riporta miglioramenti su documenti visivamente ricchi, dossier finanziari, codice e ricerca multilingue (supporto per oltre 100 lingue, incluso il francese).
I vettori sono disponibili in formato “Matryoshka” con sei dimensioni possibili (256‑2048, default 2048) e tre tipologie di output: float, int8 e binarie. Il contesto massimo dichiarato è di 128 000 token, da verificare nella documentazione prima di definire la dimensione dei chunk.
Distribuzione:
- API Cohere
- Microsoft Foundry
- Model Vault (infrastruttura dedicata)
- OpenRouter (dal 4 novembre 2026, con chiave unificata e fatturazione comune per Embed 5 e Rerank 5)
Il 29 ottobre Cohere ha annunciato una prossima generazione di modelli, senza nome né data, quindi per novembre 2026 Embed 5 resta la versione di riferimento.
NVIDIA Nemotron 3.5 Embed: 1B per efficienza, 8B per qualità
NVIDIA ha ampliato la sua suite Nemotron Retriever il 19‑20 ottobre 2026, rilasciando due varianti:
- Nemotron 3.5 Embed 1B: versioni BF16 e NVFP4, ottimizzate per efficienza.
- Nemotron 3.5 Embed 8B: pre‑versione disponibile dal 19 ottobre, mirata a massima qualità.
Le principali differenze rispetto a Cohere riguardano la distribuzione:
- Endpoint API hosted gratuito (pre‑versione) con modello 1B BF16.
- Modelli scaricabili da Hugging Face, eseguibili gratuitamente anche in produzione (licenza OpenMDW‑1.1, uso commerciale consentito).
- Microservizi NIM gratuiti, ma la Production Branch richiede abbonamento NVIDIA AI Enterprise.
Il deployment ufficiale avviene tramite NeMo Retriever Embedding NIM 2.4. NVIDIA afferma che una workstation RTX PRO 6000 Blackwell può gestire circa 6 031 richieste di ricerca al secondo con NIM, contro 2 099 per una configurazione vLLM comparabile. Si tratta di benchmark proprietari non ancora verificati da terzi.
Specifiche tecniche (da confermare con la scheda modello):
- Vettori a 2 048 dimensioni, troncabili.
- Lunghezza massima di 32 768 token.
- Tipi di output: float, int8, uint8.
- Modalità passage per indicizzazione e query per interrogazioni; le immagini devono essere trattate in modalità passage.
Attenzione: il vecchio modello nemotron-3-embed-1b è ancora presente nella matrice di compatibilità senza data di deprecazione, quindi è fondamentale verificare l’identificatore esatto nella configurazione.
Perplexity pplx‑embed‑v2: late‑interaction e contesto
Perplexity ha aperto due branche “pplx‑embed‑v2”:
- pplx‑embed‑v2‑late (annunciata il 7 ottobre 2026): conserva più vettori per ingresso, aggiunge ricerca testo‑immagine e ricerca di pagine renderizzate.
- pplx‑embed‑v2‑context (annunciata il 3 novembre 2026): mantiene un vettore per passaggio, ma lo genera considerando l’intero documento.
Le due versioni non sono intercambiabili. La variante “late” richiede un’infrastruttura capace di gestire più vettori per documento, mentre la variante “context” si integra più facilmente con database vettoriali esistenti.
La documentazione di Perplexity risulta ancora contraddittoria tra le pagine: alcune sezioni indicano limiti di 64 k token, altre 128 k; i formati di output variano tra float16 e int8. Gli utenti devono quindi verificare direttamente le specifiche del modello prima di adottarlo.
Confronto pratico: costi, latenza e casi d’uso
Di seguito una tabella sintetica (basata sui dati pubblicati fino al 6 novembre 2026) che mette a fuoco i tre fornitori:
- Costo per milione di token: Cohere Embed 5 parte da 0,08 $/M (tariffa base), NVIDIA offre l’endpoint 1B gratuito (costo solo per uso di GPU in self‑hosted) e Perplexity non rende pubblici i prezzi, richiedendo contatto commerciale.
- Latenza media (API): Embed 5‑fast ~30 ms, Nemotron 3.5 Embed 1B ~45 ms (endpoint hosted), pplx‑embed‑v2‑context ~35 ms, pplx‑embed‑v2‑late ~60 ms a causa della moltiplicazione dei vettori.
- Throughput massimo (richieste al secondo): Cohere Fast ~2 500 RPS, NVIDIA RTX PRO 6000 ~6 000 RPS (solo su hardware proprietario), Perplexity dipende dalla configurazione self‑hosted.
- Multimodalità: Cohere (testo, immagini, PDF), NVIDIA (testo + immagini in modalità passage), Perplexity (late‑interaction supporta testo‑immagine, ma richiede più risorse).
- Supporto linguistico: Cohere >100 lingue, NVIDIA principalmente inglese con supporto limitato a lingua europea, Perplexity focalizzato su inglese e francese.
Strategie di integrazione e raccomandazioni
Per scegliere il modello più adatto, è utile considerare tre scenari tipici:
1. RAG ad alto traffico con requisiti di latenza bassissima
La combinazione Embed 5‑fast + Rerank 5 di Cohere è la più indicata. Lo spazio vettoriale condiviso permette di indicizzare con Pro (qualità) e interrogare con Fast (latency), riducendo i costi operativi.
2. Applicazioni multimodali con documenti ricchi di immagini
Qui Embed 5 (multimodale) o Nemotron 3.5 Embed 1B (modalità passage per immagini) sono le scelte migliori. Cohere offre un’unica API per testo‑immagine, mentre NVIDIA richiede gestione separata delle immagini.
3. Progetti di ricerca con budget limitato e necessità di sperimentazione
Perplexity, grazie alle sue versioni open‑source su Hugging Face, permette di testare sia la variante “late” sia “context” senza costi di licenza. Tuttavia, occorre prevedere un’infrastruttura in grado di gestire più vettori per documento.
Conclusioni
Il panorama degli embedding per RAG IA nel 2026 è più variegato che mai. Cohere si distingue per la flessibilità dello spazio vettoriale condiviso e per la capacità multimodale, rendendolo ideale per produzioni su larga scala. NVIDIA punta su prestazioni hardware ottimizzate e su una licenza permissiva, adatta a chi vuole gestire i modelli in proprio. Perplexity offre approcci innovativi di late‑interaction e contesto, ma richiede una maggiore complessità operativa.
La scelta finale dipenderà da fattori come budget, latency target, modalità dei dati e strategia di distribuzione. In tutti i casi, è consigliabile testare i modelli su un set di benchmark interno prima di impegnarsi in una implementazione a piena scala.