Il mercato dell'affitto di GPU sta vivendo una rapida evoluzione, con opzioni che vanno dalle RTX 5090 a meno di 1 dollaro all'ora alle H100, il cui prezzo è aumentato di circa il 50% rispetto a dicembre. Tra piattaforme di mercato come RunPod o Vast.ai e cloud dedicati, la scelta giusta dipende non solo dal costo, ma anche dall'affidabilità e dal tipo di hardware disponibile.
Opzioni di affitto GPU
Esistono diverse opzioni per affittare GPU: piattaforme di mercato, cloud GPU, grandi fornitori e servizi fatturati al secondo. Ogni opzione presenta compromessi tra costo, tempo di configurazione e affidabilità. È importante considerare i rischi di tempi di inattività e il fatto che le offerte più economiche non garantiscono sempre la sicurezza operativa. Tra i servizi da confrontare ci sono RunPod, Vast.ai e Lambda.
Tipi di schede GPU disponibili
Il mercato offre una vasta gamma di schede GPU, dalle schede per gaming ai modelli di data center di NVIDIA, con prezzi che variano notevolmente in base alla gamma. Questa diversità di prezzi può far pensare che il costo rifletta la qualità, ma la scelta dovrebbe basarsi principalmente sulla dimensione del modello e sulle esigenze di memoria, spesso per eseguire modelli aperti in 4 bit.
Schede per piccoli modelli e agenti di codifica
Per piccoli modelli e agenti di codifica, le schede RTX 3090 e RTX 5090 offrono un buon rapporto costo/prestazioni. Le schede workstation presentano una capacità interessante ma una valore variabile; le Pro 6000 si distinguono per le loro prestazioni su una singola scheda.
Schede per modelli più grandi
Per modelli più grandi, l'evolutività multi-GPU e le esigenze di interconnessioni rapide rendono le schede A100, H200, H100, B200, B300 e MI300X le più raccomandate.
Quando scegliere l'affitto di GPU
È consigliabile optare per l'affitto di GPU nel caso di elaborazioni batch o per l'ottimizzazione precisa dei modelli. Invece, un'API si rivela generalmente più economica per lo sviluppo interattivo in solitario, quando il GPU rimane inutilizzato tra le chiamate. Si suggerisce di iniziare con l'affitto di una configurazione modesta, sperimentare con carichi di lavoro concreti, valutare i tempi di avvio, trasferimento e attesa, e poi decidere se continuare con l'affitto o acquistare in base all'uso previsto.
Attualmente, l'affitto di una RTX 5090 costa meno di 1 dollaro all'ora, mentre le H100 hanno un prezzo circa il 50% superiore rispetto a quello praticato a dicembre.