Quando si aggiungono parole trigger a grandi modelli di linguaggio (LLM), gli studiosi statunitensi hanno mostrato come un robot di servizio, originariamente progettato per tagliare una mela, possa essere riprogrammato per tagliare la mano di una persona. Questo esperimento è solo un esempio del pericolo potenziale di tali sistemi, specialmente se impiegati in robot umanoidi destinati a funzioni di sicurezza o assistenza domestica.

Il contesto della ricerca

In due studi pubblicati su arXiv nel 2025 e nel 2026, esperti dell'Università di Binghamton hanno analizzato i metodi con i quali è possibile manipolare le intelligenze artificiali che pianificano le azioni dei robot. L'attenzione è stata posta sui grandi modelli di linguaggio, tecnologie ormai capaci non solo di generare testo, ma anche di interpretare comandi e organizzare compiti per le macchine.

Quando questi modelli intervengono nel funzionamento di un robot, un semplice errore informatico può trasformarsi in un danno reale nel mondo fisico, poiché le decisioni dell'IA si traducono direttamente in movimenti meccanici.

MuTRAP: un attacco tipo trojan

Il metodo di attacco, denominato MuTRAP, agisce come un trojan. Gli studiosi hanno inserito preventivamente una backdoor nel modello responsabile della pianificazione dei movimenti del robot. In condizioni normali, la macchina eseguiva l'ordine di portare una mela su una tavola e simulare il taglio del frutto. Tuttavia, quando l'istruzione conteneva una parola trigger associata all’attacco, il modello generava un piano alternativo che reindirizzava il robot verso una mano artificiale.

Il test è stato condotto con un robot mobile basato su una piattaforma Segway e con modelli di plastica per la mano. I ricercatori hanno dimostrato che un sistema di pianificazione apparentemente funzionante può produrre istruzioni pericolose quando viene attivata una modifica malevola pre‑inserita nella sua intelligenza artificiale.

La vulnerabilità non è nella richiesta

Non basta formulare una richiesta insolita per trasformare automaticamente qualsiasi robot in un’arma letale. La vulnerabilità studiata presuppone che il modello o i suoi parametri specifici siano stati manipolati in anticipo. La parola trigger agisce come un interruttore che attiva un comportamento nascosto.

Secondo il lavoro pubblicato, MuTRAP consente di introdurre queste backdoor mediante un insieme ridotto di parametri specifici per ciascuna attività, senza la necessità di modificare l'intero modello di linguaggio principale. Il metodo prevede anche la selezione di parole trigger diverse per differenti applicazioni robotiche.

Rilevamento dei piani pericolosi

Il team di Binghamton ha inoltre sviluppato PROTEA, un sistema concepito per rilevare piani pericolosi prima che il robot li esegua. La proposta utilizza un modello di linguaggio come valutatore di sicurezza, capace di analizzare le azioni previste e determinare se siano appropriate nel contesto accumulato.

Questo approccio è cruciale perché un’azione apparentemente innocua può rivelarsi pericolosa se considerata alla luce di operazioni precedenti. Ad esempio, lo smaltimento di una scatola è normale, ma se quella scatola contiene farmaci vitali, l’azione può avere conseguenze gravi.

    • PROTEA analizza l’intera sequenza di compiti, identificando contraddizioni che un’analisi isolata non rileverebbe.
    • Durante le valutazioni, il sistema ha distinto con una precisione ragionevole tra piani legittimi e malevoli.
    • I risultati non garantiscono una difesa totale, ma mostrano la fattibilità di un monitoraggio attivo dei piani robotici.

Implicazioni per l’industria robotica

Il problema è particolarmente rilevante per le aziende che integrano modelli AI sviluppati da terze parti. Molte imprese di robotica non addestrano i propri sistemi di intelligenza artificiale, ma utilizzano componenti esterni. Se non possono verificare come il modello sia stato addestrato o aggiustato, una manipolazione malevola potrebbe passare inosservata e attivarsi solo in risposta a determinate istruzioni.

Gli studiosi avvertono che un attaccante non avrebbe bisogno di accedere direttamente al modello di linguaggio originale. Conoscere l’applicazione utilizzata e l’architettura del sistema potrebbe bastare per progettare un attacco di questo tipo, come indicato nella nota stampa allegata.

Prospettive future

I due lavori, presentati alla conferenza internazionale IROS 2026 dedicata a robotica e sistemi intelligenti, aprono una nuova linea di ricerca che va oltre i modelli di linguaggio. Il team intende esaminare vulnerabilità nei controller e nei sistemi di percezione dei robot, ampliando la comprensione dei punti di ingresso per potenziali attacchi.

In sintesi, la scoperta di MuTRAP e la risposta di PROTEA sottolineano l’urgenza di sviluppare metodologie di verifica e difesa per i robot controllati da intelligenze artificiali esterne, affinché la loro integrazione nella vita quotidiana non comporti rischi inaccettabili.