Metodologia del benchmark e scenari di test

Per valutare le principali passerelle IA abbiamo eseguito 300 test utilizzando sia prompt brevi (circa 18 token) sia prompt lunghi (circa 203 token). I test si sono concentrati su tre indicatori chiave:

    • latency del primo token (FTL)
    • latency totale
    • numero di token in output

Tutte le prove sono state condotte con il modello Llama 3.1 8B. Poiché le singole passerelle offrono varianti del modello (Instruct, Turbo, Instant), è stata applicata una strategia di normalizzazione per garantire che tali differenze non influissero sulla comparazione delle prestazioni.

Tipologie di piattaforme

Le soluzioni analizzate rientrano in tre categorie:

    • Fornitori di hardware proprietario: Groq e SambaNova
    • Fornitori ibridi (hardware + IA): TogetherAI
    • Passerelle pure (solo routing): OpenRouter e IA/ML API

Questa distinzione è fondamentale perché le architetture hardware ottimizzate tendono a ridurre la latenza, mentre le passerelle pure privilegiano la flessibilità di scelta dei fornitori.

Risultati sulla latenza del primo token

La latenza del primo token è considerata un indicatore diretto dell’efficienza con cui una passerella seleziona il provider e restituisce la risposta iniziale all’utente. I dati mostrano che Groq e SambaNova hanno registrato la latenza più bassa e quasi identica, segnalando pipeline di richiesta altamente ottimizzate.

Al contrario, OpenRouter e IA/ML API hanno presentato una latenza del primo token più elevata, indice di una maggiore sovraccarico nella fase di routing, selezione del provider e trasferimento della richiesta.

Impatto della complessità di routing

Le passerelle con un ampio catalogo di modelli (ad esempio OpenRouter con più di 400 modelli) devono gestire un più complesso processo decisionale, il che aumenta la latenza iniziale. Le piattaforme con un numero più limitato di modelli possono applicare ottimizzazioni specifiche, riducendo i tempi di risposta.

Latenza totale e numero di token in output

Per i prompt lunghi, dove il numero di token generati varia notevolmente tra le passerelle, la latenza totale è stata misurata insieme al conteggio dei token prodotti. Le differenze di latenza totale sono state influenzate soprattutto da:

    • ottimizzazioni dell’inferenza e del batching
    • strategia di caching dei token
    • efficienza del layer di streaming

Le piattaforme che integrano caching avanzato (TogetherAI) o quantizzazione dei modelli hanno mostrato una latenza totale più contenuta rispetto a quelle che sacrificano prestazioni per una maggiore flessibilità.

Esclusione delle esecuzioni fallite

Nel benchmark sono state escluse le esecuzioni fallite, favorendo così le piattaforme con comportamenti di streaming stabili. Questo penalizza indirettamente le passerelle più complesse, che hanno una maggiore probabilità di incorrere in errori di coordinazione.

Caratteristiche distintive delle singole passerelle

OpenRouter offre un unico endpoint compatibile con OpenAI per più di 400 modelli provenienti da oltre 80 fornitori, tra cui Anthropic, Google e xAI. Stripe ha acquisito OpenRouter nell’agosto 2026, mantenendo inalterati nome, prodotto e roadmap. La piattaforma seleziona automaticamente il provider in base a prezzo, latenza, throughput e tasso di errore, con possibilità di fallback in caso di fallimento e supporto di caching dei prompt.

IA/ML API propone un endpoint OpenAI‑compatible per più di 500 modelli, coprendo chat, immagini, video e audio. L’interfaccia include strumenti di testing con parametri regolabili e visualizzazione delle conversazioni.

TogetherAI ospita oltre 200 modelli multimediali (testo, immagine, video, codice, audio) dietro una singola API. La piattaforma gestisce caching dei token, quantizzazione dei modelli e bilanciamento del carico, offrendo un playground con metriche dettagliate.

Groq è un provider di inference specializzato in modelli open‑weight come Llama 3.3 70B e GPT‑OSS 120B. Utilizza unità di elaborazione del linguaggio (LPU) progettate su misura per ridurre al minimo la latenza. L’API è compatibile con OpenAI ma supporta solo HTTP, senza WebSocket.

SambaNova fornisce modelli tramite l’API SambaCloud su unità di flusso di dati riconfigurabili (RDU). Il catalogo è più ristretto (<10 modelli), ma include modelli di grandi dimensioni come Llama 3.3 70B e GPT‑OSS 120B.

Prospettive di costo e strumenti di supporto

È possibile consultare una comparazione dei costi per il modello Llama 4 Scout (17 Bx16 E) con un milione di token di input/output. Inoltre, è disponibile uno strumento online per generare richieste compatibili con l’API OpenAI per qualsiasi modello offerto dalle passerelle analizzate.

Strumenti di visualizzazione

    • Figura 1: dashboard di OpenRouter con ricerca modelli, confronto e storico conversazioni.
    • Figura 2: ambiente di test IA/ML API con parametri regolabili.
    • Figura 3: playground di TogetherAI con metriche di risposta.
    • Figura 4: interfaccia Groq con impostazioni LPU e metriche di performance.
    • Figura 5: test SambaNova con modello DeepSeek e metriche dettagliate.

Conclusioni: flessibilità vs. prestazioni

Il benchmark evidenzia un compromesso deliberato tra la flessibilità offerta dalle passerelle “pure” (capaci di connettere centinaia di modelli) e le prestazioni pure delle soluzioni hardware‑centriche. Le piattaforme con meno modelli possono applicare ottimizzazioni più aggressive, garantendo latenza più costante, mentre le passerelle con ampio supporto di modelli soffrono di una sovraccarico di routing.

Per gli sviluppatori, la scelta dipende da priorità specifiche: se la velocità di risposta è cruciale, soluzioni come Groq o SambaNova risultano più adatte; se invece è necessaria una vasta gamma di modelli e la possibilità di cambiare provider con un semplice parametro, OpenRouter o IA/ML API rappresentano la soluzione più versatile.