Apple desidera che i suoi utenti utilizzino costantemente la nuova Siri AI sui loro dispositivi. L'azienda promuove questa novità come la sua grande rimonta nell'intelligenza artificiale. Tuttavia, internamente, qualcuno ha esaminato il foglio di calcolo dei costi di IA dei dipendenti e ha iniziato a tagliare i budget giornalieri di token che i team di Apple possono utilizzare per migliorare il loro lavoro.

Questo taglio al budget dei token per i dipendenti non è un fenomeno isolato di Apple. Molte aziende che fino a pochi mesi fa incoraggiavano i loro dipendenti a utilizzare l'IA nel lavoro hanno ricevuto la loro prima fattura per i token consumati. Lo shock è stato tale che hanno chiuso il rubinetto.

Apple taglia i token

Secondo quanto pubblicato da Bloomberg, il mese scorso Apple ha ridotto discretamente il limite giornaliero di utilizzo dei token di alcuni ingegneri da 300 a 200 dollari. Ora, l'azienda di Tim Cook sta valutando di ridurlo ulteriormente a 100 dollari per determinati team.

Al di fuori del dipartimento di ingegneria, alcuni gruppi di dipendenti passeranno da 100 dollari in token a 25 dollari al giorno. Chi necessita di più può richiedere un'eccezione e il suo utilizzo sarà valutato. I dipendenti di Apple hanno accesso a Claude, ChatGPT e Gemini. Tuttavia, alcuni team avrebbero già ricevuto l'indicazione di utilizzare modelli più economici o che funzionano in modo locale sul dispositivo stesso.

È così costosa la fattura?

Questo taglio al budget per l'uso di IA tra i dipendenti è sorprendente, considerando che Apple è la società tecnologica con la maggiore capitalizzazione di mercato. Se Apple non può permettersi di pagare l'uso illimitato di token per i suoi dipendenti, chi può?

Secondo i suoi bilanci, l'azienda ha speso 45,765 miliardi di dollari in ricerca e sviluppo nell'ultimo esercizio, il 32% in più rispetto al precedente. Apple attribuisce questo aumento in parte agli investimenti in IA. Allora, perché tagliare? Secondo quanto riportato da Bloomberg, alcuni dipendenti sostengono che "pochi lavoratori utilizzavano l'intera assegnazione giornaliera di 300 dollari", quindi il risparmio reale potrebbe essere minimo. Altri dipendenti esprimono la loro preoccupazione che questo limite di budget possa essere il preludio di ulteriori tagli o possibili licenziamenti, come sta accadendo in altre aziende tecnologiche.

La visione di Nvidia

Nvidia ha una visione opposta. Jensen Huang lo ha reso chiaro nel podcast All-In. Gli preoccuperebbe molto che un ingegnere con uno stipendio di 500.000 dollari spendesse meno di 250.000 dollari in token di IA. Quando gli è stato chiesto se Nvidia spende circa 2 miliardi di dollari all'anno in token per i suoi ingegneri, il CEO ha risposto: "Ci stiamo provando".

Le dichiarazioni di Huang hanno una loro logica. Nvidia vende i chip su cui vengono eseguiti questi modelli, quindi ogni token che viene utilizzato rappresenta un po' più di investimento in potenza di calcolo e più vendite per i suoi chip. A Cupertino, dove pagano solo la fattura, il messaggio è molto diverso.

Il fenomeno del tokenmaxxing

Apple non è la prima. Il rallentamento del fenomeno noto come tokenmaxxing risale a mesi fa. In Meta c'è stata una gara interna per vedere chi spendeva più token. In Amazon hanno chiuso un ranking simile a maggio. Il loro memorandum successivo sconsiglia il tokenmaxxing, ma l'azienda assicura di non aver posto limiti.

In Microsoft, un solo dipendente è arrivato a spendere 28.000 dollari in token in soli tre mesi. Microsoft ha reagito. Il vicepresidente Jay Parikh ha scritto in una email interna, a cui ha avuto accesso 404 Media, che "il tokenmaxxing non è ciò che stiamo ottimizzando".

Revolut cambia modello

Con le fatture dei token sotto osservazione, alcune aziende cercano un'altra soluzione. Revolut ha messo circa 2.000 ingegneri a programmare per impostazione predefinita con GLM, un modello cinese a pesi aperti. I suoi parametri sono pubblici e possono essere eseguiti su server propri, contribuendo a ridurre notevolmente il costo in token.

Il responsabile dell'infrastruttura di Revolut, David Abitbol, ha raccontato che pagano una decima parte di ciò che costano i modelli di frontiera. Inoltre, la fattura è fissa e non aumenta con ogni richiesta. Prima, i 300 dollari mensili per ingegnere per Claude Code non duravano tutto il mese, ora il limite delle consultazioni è definito dai loro stessi server.