Google sta ampliando la sua famiglia di processori IA di progettazione propria con due nuove varianti: il TPU 8tx, progettato per la computazione di dati sensibili, e il TPU 8i Max, ottimizzato per carichi di lavoro ad alta intensità di memoria. Questa espansione fa parte di una strategia più ampia per competere con Nvidia, che ha dominato il mercato per anni.
Le due nuove TPU si uniscono al TPU 8t, progettato per l'addestramento, e al TPU 8i, progettato per l'inferenza, presentati durante il Google Cloud Next di aprile. Google afferma che il TPU 8t offre un miglioramento delle prestazioni di addestramento fino a 2,7 volte, mentre il TPU 8i offre un miglioramento del rapporto prezzo-prestazioni fino all'80% rispetto alla generazione precedente.
Le nuove TPU
Il TPU 8tx è progettato per governi e industrie regolamentate che necessitano di eseguire modelli e agenti di IA con dati confidenziali. Google spiega che i dati sono generalmente crittografati durante lo stoccaggio e il transito, ma devono essere decrittografati in memoria durante l'elaborazione. Il TPU 8tx integra la protezione direttamente nell'hardware, mantenendo i dati e i pesi dei modelli isolati anche durante l'uso.
Questa versione utilizza lo stesso silicio del TPU 8t e si combina con i processori AMD EPYC di quinta generazione. Google afferma che il TPU 8tx offre una latenza fino a due volte inferiore rispetto al TPU 8t, con una penalizzazione di prestazioni quasi nulla grazie alla sicurezza aggiuntiva. Inoltre, i clienti possono regolare i modelli con dati privati senza doverli spostare tra i cluster.
Il TPU 8i Max è progettato per affrontare il "muro della memoria", ovvero quando molti agenti di IA lavorano su una vasta base di codice o su ore di video, il collo di bottiglia diventa il bandwidth della memoria. La soluzione di Google consiste nel posizionare due chip TPU 8i in un singolo pacchetto. Rispetto al TPU 8i standard, questo raddoppia la capacità di calcolo, la memoria SRAM integrata e il bandwidth della memoria. Inoltre, permette di integrare il doppio di silicio nello stesso spazio di rack, aumentando la potenza di calcolo nella stessa superficie.
Strategia e mercato
Amin Vahdat, responsabile dei chip di Google, ha dichiarato a Bloomberg che le nuove varianti saranno disponibili l'anno prossimo. Google ha accelerato il lancio di nuove TPU, passando da una ogni due anni a quattro configurazioni in una sola generazione. Questa strategia risponde alla tesi che il futuro ruoterà attorno alla specializzazione, con chip personalizzati che offrono maggiore valore rispetto a un unico chip per tutto.
Secondo Bloomberg Intelligence, le vendite di TPU, inclusi hardware e software correlati, dovrebbero superare i 135 miliardi di dollari entro il 2028, rispetto ai 12 miliardi stimati quest'anno. Tra i clienti di Google ci sono Apple, Meta e Oracle, che ha indicato che i suoi clienti cloud potranno utilizzare le TPU a partire dal prossimo anno. Anthropic ha l'opzione di acquistare fino a 150 miliardi di dollari in TPU tra il 2028 e il 2031, e OpenAI sta pianificando di acquisirle.
Ostacoli e competizione
Nonostante l'espansione, Google affronta sfide significative. Secondo Bloomberg, tutte le TPU attualmente disponibili sono già prenotate da clienti. Persistono problemi di scarsità di memoria e capacità di produzione. Google sta ampliando la sua base di fornitori oltre Broadcom, includendo un accordo con Marvell.
La competizione sta aumentando, con startup come Tenspresso, fondata da ex ingegneri di TPU, che si concentra sull'inferenza di contesto lungo. Anche OpenAI e Anthropic stanno sviluppando i propri chip con veterani di TPU. Nonostante queste sfide, Google continua a investire pesantemente nel mercato dell'hardware per IA, con l'obiettivo di erodere la quota di mercato di Nvidia.