Cohere ha annunciato il 4 novembre 2026 la disponibilità dei suoi modelli di recupero Embed 5 e Rerank 5 sulla piattaforma OpenRouter. Gli utenti attuali possono utilizzare questi modelli con la stessa chiave API e i medesimi crediti impiegati per gli altri modelli, senza la necessità di SDK, account o fatture aggiuntive.
Funzionamento del flusso RAG con Embed 5 e Rerank 5
I modelli coprono le fasi di recupero di un flusso di generazione aumentata da recupero (RAG): Embed 5 trasforma documenti e query in vettori, mentre Rerank 5 ri‑ordina i candidati in base alla query e a qualsiasi modello di chat presente su OpenRouter genera la risposta finale. Cohere ha inoltre pubblicato un esempio di flusso in Python che comprende indicizzazione, recupero, filtraggio per rilevanza e generazione con citazioni.
Tariffe e versioni disponibili
- Embed 5 Pro: 0,12 USD per milione di token di testo, 0,40 USD per milione di token di immagine.
- Embed 5 Fast: 0,08 USD per milione di token di testo.
- Rerank 5 Pro: 0,05 USD per milione di token di input.
- Rerank 5 Fast: 0,02 USD per milione di token di input.
Queste tariffe sono riportate nei listini di OpenRouter; l’integrazione amplia la distribuzione ma non introduce una nuova generazione di modelli.
Storia di rilascio e differenze tra Pro e Fast
Embed 5 è stato presentato il 30 settembre 2026, mentre Rerank 5 è stato lanciato il 21 ottobre 2026. Entrambe le famiglie offrono livelli Pro e Fast, con caratteristiche di costo e latenza differenti.
Embedding condiviso e separazione dei costi
Un aspetto architetturale chiave è che Embed 5 Pro e Fast condividono lo stesso spazio di embedding. Di conseguenza è possibile indicizzare un corpus con la versione Pro e interrogare l’indice con la versione Fast senza ricostruire l’indice, a condizione che le dimensioni di output siano identiche. Questo separa il lavoro di indicizzazione (eseguito una sola volta per corpus) dalla chiamata di embedding, più sensibile a latenza e costo, che avviene ad ogni domanda.
Nelle prove di Cohere su 40 set di dati di sviluppo, la qualità media normalizzata di recupero è stata:
- 98,4 % con indice creato con Pro e query effettuata con Fast.
- 96,6 % con Fast in entrambe le fasi.
- 100 % con Pro sia per indicizzazione che per query.
Il flusso di OpenRouter adotta la combinazione “indicizzazione Pro – query Fast” e riserva la versione Pro per l’indicizzazione offline.
Specifiche tecniche di Embed 5
Embed 5 offre sei dimensioni di vettore, da 256 a 2 048. Il valore predefinito è 2 048, ma l’esempio di OpenRouter utilizza vettori a virgola mobile di 1 024 dimensioni perché l’API restituisce valori float. Cohere raccomanda invece vettori int8 di 1 024 dimensioni per bilanciare qualità e costo.
Raggruppare i frammenti riduce le richieste di rete durante l’indicizzazione, ma non diminuisce i costi basati su token. Nel flusso online, ogni domanda genera una chiamata a Embed 5 Fast, una a Rerank 5 e, se il contesto supera il filtro di rilevanza, una chiamata al modello di chat.
Punteggi di rilevanza e filtraggio del contesto
Il flusso di riferimento recupera 20 frammenti mediante similarità coseno, li passa a Rerank 5, conserva fino a cinque risultati e scarta le punteggi inferiori a 0,3 (soglia usata nella demo). La nuova classificazione valuta congiuntamente la query e ciascun candidato, anziché basarsi solo sulla prossimità vettoriale, e può essere applicata dopo una ricerca semantica, per parole chiave o ibrida, anche senza Embed 5.
Cohere afferma che le punteggi calibrate di Rerank 5 rimangono costanti tra query e domini, consentendo l’uso di una soglia unica. Una soglia di 0,7 corrisponde a una probabilità del 70 % che un documento sia utile. La versione Pro è pensata per query che richiedono ragionamento approfondito e documenti lunghi o di dominio specifico, mentre Fast è orientata a ricerche ad alto volume e a agenti che effettuano interrogazioni ripetute.
Gestione del contesto durante la generazione
Durante la generazione, i frammenti che superano il filtro vengono trasformati in fonti numerate; il modello di chat è istruito a rispondere esclusivamente basandosi su tali fonti e a citarle nel testo. Se nessun frammento supera la soglia, il flusso segnala l’impossibilità di trovare una risposta e omette la chiamata al modello di chat.
Poiché Rerank legge il testo grezzo al momento della query, il passaggio a una versione più recente del modello di ranking non richiede una nuova indicizzazione né la rigenerazione degli embeddings.
Dimostrazione e limiti pratici
La demo di Cohere utilizza una documentazione fittizia di un’API e mostra come ruotare una chiave API senza downtime. Con recupero basato solo su embeddings, il documento corretto “Rotazione di chiavi API” ha ottenuto un punteggio di 0,522, seguito da “Segreti di firma di webhook” (0,337) e “Creazione di chiavi API” (0,316). Dopo l’applicazione di Rerank 5, il documento corretto sale a 0,808, mentre gli altri due restano sotto la soglia.
L’esempio richiede Python 3.10 o superiore, una chiave API di OpenRouter, il SDK Python, e NumPy per il vettore in memoria. Per la produzione, si consiglia di sostituire il magazzino in memoria con un database vettoriale.
Considerazioni su multimodalità, latenza e routing regionale
Embed 5 supporta immagini e input misti testo‑immagine, come pagine PDF; l’API di OpenRouter accetta URL di immagini. Rerank 5, invece, gestisce solo testo. Le soluzioni proposte sono:
- Riclassificare il testo estratto dalle pagine o dalle descrizioni delle immagini.
- Omettere il ranking per i risultati visivi.
OpenRouter indica che Cohere è l’unico fornitore dei modelli Pro e reindirizza direttamente le richieste. Nei listini si segnala l’indisponibilità di routing nella regione UE.
In sintesi, la disponibilità su OpenRouter consolida l’integrazione e la fatturazione della catena di recupero, ma la logica economica rimane legata a una indicizzazione singola Pro, a chiamate ricorrenti Fast, al reranking e alla generazione di chat, con la soglia di rilevanza che controlla il contesto. L’API unificata non elimina le limitazioni documentate: latenza aggiuntiva, ranking esclusivamente testuale e restrizioni regionali di routing.