Cohere ha annunciato il 4 novembre 2026 che i suoi modelli di ricerca Embed 5 e Rerank 5 sono ora disponibili sulla piattaforma OpenRouter. Gli utenti esistenti possono chiamare questi modelli usando la medesima chiave API, gli stessi crediti e senza dover creare SDK, account o fatture separati.

Come si inseriscono nel flusso RAG

Embed 5 e Rerank 5 coprono le prime due fasi di un tipico pipeline di generazione aumentata da recupero (RAG):

    • Embed 5 converte documenti e query in vettori;
    • Rerank 5 rielabora i candidati in base alla query, valutando non solo la similitudine vettoriale ma anche la pertinenza semantica;
    • Qualsiasi modello di chat disponibile su OpenRouter può poi generare la risposta finale, citando le fonti.

Cohere ha inoltre pubblicato un workflow di riferimento in Python che copre indicizzazione, ricerca, filtraggio per pertinenza e generazione con citazioni.

Tariffe e varianti Pro vs Fast

Le schede prodotto su OpenRouter mostrano le seguenti tariffe:

    • Embed 5 Pro: 0,12 $ per milione di token di testo e 0,40 $ per milione di token immagine.
    • Embed 5 Fast: 0,08 $ per milione di token.
    • Rerank 5 Pro: 0,05 $ per milione di token d’ingresso.
    • Rerank 5 Fast: 0,02 $ per milione di token d’ingresso.

Il deployment su OpenRouter amplia la distribuzione dei modelli senza introdurre una nuova generazione di modelli. Embed 5 è stato lanciato il 30 settembre 2026, mentre Rerank 5 è stato rilasciato il 21 ottobre 2026; entrambe le famiglie offrono versioni Pro e Fast.

Architettura condivisa degli embeddings

Il punto chiave è che Embed 5 Pro e Fast condividono lo stesso spazio di embedding. Un corpus può quindi essere indicizzato con la versione Pro e interrogato con la versione Fast senza ricostruire l’indice, a patto che le dimensioni di output coincidano.

Questo separa il lavoro di indicizzazione (eseguito una sola volta per corpus) dalla chiamata di embedding sensibile a latenza e costo, effettuata per ogni domanda.

Nei test interni di Cohere su 40 dataset di sviluppo, la qualità media normalizzata della ricerca è risultata:

    • 98,4 % con indice creato da Pro e query eseguite con Fast;
    • 96,6 % con Fast su entrambi i lati;
    • 100 % con Pro su entrambi i lati.

Il workflow di OpenRouter adotta la combinazione “indicizzazione con Pro, query con Fast” e riserva la modalità Pro all’indicizzazione offline.

Dimensioni dei vettori e ottimizzazioni

Embed 5 propone sei dimensioni di vettore, da 256 a 2 048 dimensioni; il valore predefinito è 2 048. L’esempio di OpenRouter utilizza vettori a virgola mobile da 1 024 dimensioni, poiché l’API restituisce valori float. Cohere raccomanda invece vettori int8 della stessa dimensione, considerandoli il miglior compromesso tra qualità e costo.

Il raggruppamento dei segmenti riduce i round‑trip di rete durante l’indicizzazione, ma non diminuisce i costi di embedding, calcolati in base al numero di token.

Il percorso online tipico prevede:

    • Una chiamata a Embed 5 Fast per ottenere i vettori della query;
    • Una chiamata a Rerank 5 per rielaborare i candidati;
    • Se rimane del contesto dopo il filtraggio, una chiamata al modello di chat per generare la risposta.

Calcolo dei punteggi di pertinenza

Il pipeline di riferimento recupera 20 segmenti per similarità coseno, li passa a Rerank 5, ne conserva fino a cinque e scarta quelli con punteggio inferiore a 0,3 (soglia di dimostrazione). Rerank 5 analizza la query e ogni candidato congiuntamente, invece di basarsi solo sulla distanza vettoriale; può essere usato dopo una ricerca semantica, basata su parole‑chiave o ibrida, anche senza Embed 5.

Secondo Cohere, i punteggi calibrati di Rerank 5 sono stabili tra diverse query e domini, consentendo l’uso di una soglia unica per decidere quale contesto inviare al modello generatore. La documentazione di lancio indica che un punteggio di 0,7 corrisponde a una probabilità del 70 % che un documento sia utile.

Le versioni Pro sono pensate per query che richiedono ragionamento approfondito e documenti lunghi o di dominio specifico, mentre Fast è ottimizzata per ricerche ad alto volume e agenti che effettuano richieste ripetute. Entrambi i modelli supportano un contesto fino a 32 K token e possono gestire record JSON o tabelle formattate come stringhe YAML.

Generazione con citazioni numerate

Al momento della generazione, i segmenti selezionati vengono trasformati in fonti numerate. Il modello di chat riceve l’istruzione di rispondere esclusivamente basandosi su queste fonti e di citarle nel testo. Se nessun segmento supera la soglia, il workflow segnala l’impossibilità di trovare una risposta e omette l’appello al modello di chat.

Poiché Rerank legge il testo grezzo al momento della query, cambiare versione del modello di reclassement non richiede né una nuova indicizzazione né il ricalcolo degli embeddings.

Dimostrazione pratica e limitazioni di produzione

La demo di Cohere utilizza una documentazione API fittizia e pone la domanda: “Come rinnovare una chiave senza interruzione di servizio?”. La ricerca basata solo su embeddings classifica il documento “Rotazione delle chiavi API” al primo posto con punteggio 0,522, seguito da “Segreti di firma dei webhook” (0,337) e “Creazione di chiavi API” (0,316). Dopo il reclassement, il documento pertinente ottiene 0,808, mentre gli altri due scendono sotto la soglia.

L’esempio richiede Python 3.10+, una chiave API, il SDK Python di OpenRouter e NumPy per il magazzino di vettori in memoria. Per ambienti di produzione è consigliato sostituire il magazzino in‑memoria con un database vettoriale.

Le linee guida di OpenRouter sul RAG presentano il reclassement come un compromesso tra precisione e latenza: migliora i risultati quando è necessario ridurre un ampio insieme di candidati, ma aggiunge un ulteriore chiamata API e può non essere ideale in scenari di latenza minima.

Supporto multimodale e limitazioni regionali

Embed 5 accetta immagini e input misti testo‑immagine (ad esempio pagine PDF). L’API di OpenRouter per gli embeddings supporta URL di immagini, ma Rerank 5 elabora solo testo. Le soluzioni proposte sono:

    • Reclassare il testo estratto dalle pagine o le loro didascalie;
    • Omittere il reclassement per risultati visivi.

OpenRouter segnala che Cohere è l’unico fornitore dei due modelli Pro e che le richieste vengono instradate direttamente a loro. Entrambe le schede indicano che il routing regionale nell’UE non è disponibile.

Implicazioni economiche e operazionali

La disponibilità su OpenRouter raggruppa integrazione e fatturazione della pila di ricerca di informazione, ma il modello di business in produzione rimane legato all’architettura:

    • Indicizzazione Pro una tantum;
    • Chiamate ricorrenti a Fast per le query;
    • Rerank e modello di chat per la fase finale;
    • Soglia di pertinenza che determina il contesto fornito alla generazione.

L’API unificata non elimina la latenza aggiuntiva introdotta da Rerank, né le limitazioni del reclassement testuale, né le restrizioni di routing regionale documentate per questa pila.

Conclusioni

L’integrazione di Embed 5 e Rerank 5 su OpenRouter rappresenta un passo significativo verso la democratizzazione dei pipeline RAG, offrendo flessibilità tra versioni Pro e Fast, costi trasparenti e la possibilità di separare indicizzazione e query. Tuttavia, gli operatori devono tenere conto delle considerazioni di latenza, dei limiti multimodali di Rerank 5 e dell’assenza di routing UE, pianificando adeguatamente l’architettura di produzione per massimizzare qualità e controllo dei costi.