Amazon ha diffuso martedì una versione aggiornata delle linee guida per i ruoli di ingegneri di sviluppo software, con l’obiettivo di frenare la pratica del “tokenmaxxing”, ovvero l’eccessivo affidamento a strumenti di intelligenza artificiale senza un’attenta valutazione dei risultati prodotti.
Le metriche tradizionali giudicate fuorvianti
Il memo interno mette in guardia contro l’uso di indicatori come il consumo di token, la diffusione delle tool di IA e la quantità di codice modificato o revisionato, definendoli “standard profondamente difettosi” per valutare l’adozione dell’IA nei team. Secondo Amazon, basarsi esclusivamente su questi dati può portare a spese superflue e a una complessità inutile.
Nonostante la critica, l’azienda non vieta del tutto l’analisi del consumo di token o la generazione di codice. Tali metriche possono ancora essere considerate, ma “con cura e giudizio” e in combinazione con altri parametri. “Crediamo sia meglio misurare, e essere misurati, in base ai risultati a lungo termine”, si legge nel documento.
L’importanza del giudizio umano
Il memo ricorda agli ingegneri che l’IA non è la soluzione adatta per ogni compito. “Se il tuo lavoro non trae beneficio dagli strumenti di IA attuali, questo è un risultato, non un fallimento”, afferma la linea guida. Un ingegnere che sappia identificare le aree in cui l’IA non è ancora d’aiuto dimostra il tipo di giudizio che l’azienda vuole promuovere.
Focus sulla “velocità delle funzionalità”
Marc Brooker, vicepresidente e ingegnere senior di Amazon Web Services, ha spiegato a CNBC che l’azienda osserva la “velocità delle funzionalità” per valutare se l’IA rende gli ingegneri più produttivi. Questa metrica tiene conto di:
- numero di rilasci effettuati
- quantità di cambiamenti riusciti in produzione
- tempo medio di consegna delle nuove funzionalità
L’obiettivo è considerare l’IA come un ritorno sull’investimento, evitando sforzi sprecati su problemi irrilevanti.
Strategia di sperimentazione e ROI
Brooker ha sottolineato che l’azienda vuole evitare “sforzi inutili dove spendiamo token per risolvere problemi che non contano”. Allo stesso tempo, Amazon riconosce la necessità di un certo appetito per la sperimentazione, poiché può essere difficile individuare in anticipo quali problemi meritano l’intervento dell’IA.
Secondo la direttiva, l’IA sta trasformando il lavoro degli ingegneri software più rapidamente e in maniera più fondamentale rispetto a precedenti rivoluzioni tecnologiche come il cloud, i microservizi e il serverless.
Contesto interno e reazioni dei dipendenti
In passato, Amazon aveva evitato di rendere esplicite le proprie linee guida sul ruolo dell’ingegnere rispetto alle nuove tecnologie. Alcuni ingegneri senior hanno dibattuto se l’IA giustificasse una revisione delle policy. Un portavoce ha confermato che non esistono limiti al numero di token che i dipendenti possono utilizzare.
Tuttavia, a maggio Amazon ha rimosso un cruscotto interno dopo aver scoperto che alcuni dipendenti manipolavano il consumo di token per migliorare la loro posizione nella classifica. Il memo è stato diffuso tra il personale a settembre, prima di comparire sul sito pubblico dell’azienda.