MuTRAP: una backdoor a più trigger per la pianificazione robotica

Un gruppo di ricercatori dell'Università di Binghamton ha presentato una nuova forma di attacco a grandi modelli di linguaggio (LLM) denominata MuTRAP, acronimo di “Multi‑trigger Trojans Attacking Robot Task Planning Systems”. L’attacco consiste nell’inserire una porta di accesso nascosta durante la fase di fine‑tuning specifico per un dominio, sfruttando la dipendenza di molte aziende robotiche da modelli pre‑addestrati forniti da terze parti.

MuTRAP si basa su una catena di fornitura vulnerabile: le imprese che non addestrano i propri LLM ricorrono a modelli preparati da fornitori esterni, i quali possono aver inserito comportamenti malevoli associati a parole chiave (“trigger”). Quando il robot riceve istruzioni contenenti uno di questi trigger, il modello passa da un piano sicuro a uno pericoloso.

Il team, composto da Mohaiminul Al Nahian, Zainab Altaweel, David Reitano, Sabbir Ahmed, Shiqi Zhang e Adnan Siraj Rakin, ha descritto la tecnica in due articoli presentati alla conferenza IEEE/RSJ International Conference on Intelligent Robots and Systems 2026.

Implementazione e test sperimentali

Per dimostrare l’efficacia di MuTRAP, i ricercatori hanno fine‑tuned diversi LLM su dataset domestici, tra cui VirtualHome e VirtualHome‑Env, e hanno generato piani di compiti con modelli quali GPT‑2‑large, GPT‑J‑6B, Llama‑2‑7B, Llama‑3.1‑8B, DeepSeek‑R1‑Llama‑8B, Qwen2.5‑7B e DeepSeek‑R1‑Qwen‑7B.

Durante le prove, diversi trigger hanno prodotto piani estremamente pericolosi, come l’ordine di “tagliare una mano” o “mettere un gatto su una stufa”. La dimostrazione della “mano” è stata realizzata con un robot mobile basato su Segway, che ha simulato il taglio di un modello di frutta di plastica. Il caso del gatto è stato invece riprodotto in una simulazione grafica 3D.

PROTEA: valutazione della sicurezza dei piani generati dagli LLM

Per contrastare la minaccia di MuTRAP, gli stessi ricercatori hanno sviluppato PROTEA, un sistema che utilizza un LLM per valutare il rischio di sicurezza associato ai piani di compiti robotici. PROTEA analizza il testo prodotto dal modello e segnala potenziali comportamenti pericolosi prima che vengano eseguiti dal robot.

Il nome PROTEA è già impiegato da altri progetti di ricerca, ma in questo contesto indica un “Prompt‑based Risk‑Evaluation Tool for Autonomous systems”. Gli autori sottolineano che l’obiettivo è sensibilizzare la comunità IA‑robotica sull’uso di risorse di IA di terze parti non affidabili.

Implicazioni per l’industria robotica

    • Catena di fornitura a rischio: le aziende che dipendono da modelli LLM esterni sono particolarmente vulnerabili a inserimenti di backdoor.
    • Necessità di valutazione continua: strumenti come PROTEA possono diventare parte integrante dei flussi di sviluppo per garantire la sicurezza operativa.
    • Formazione e policy: è fondamentale adottare linee guida per il fine‑tuning e la verifica dei modelli prima del loro impiego in sistemi critici.

Contesto storico e normativa

L’interesse per la sicurezza dei robot non è nuovo. Già nel 2015 un robot industriale in India ha causato la morte di un operaio, mentre nel 2022 un robot da scacchi ha rotto il dito di un bambino. Incidenti analoghi coinvolgono anche software per la guida autonoma.

Le famose “Tre leggi della robotica” di Isaac Asimov, che prevedono che un robot non possa ferire un essere umano né permettere che ciò avvenga per inazione, rimangono concetti di fantasia e non hanno valore legale. Tuttavia, la crescente integrazione di IA avanzata nei robot rende urgente tradurre tali principi in normative concrete.

Prospettive future

La scoperta di MuTRAP evidenzia la necessità di una maggiore trasparenza nella produzione e distribuzione di LLM. Gli esperti suggeriscono di implementare:

    • Standard di certificazione per i modelli di linguaggio destinati a compiti robotici.
    • Processi di auditing indipendente per rilevare eventuali backdoor.
    • Collaborazione tra ricercatori, industria e autorità di regolamentazione per definire linee guida di sicurezza.

Nel frattempo, sistemi come PROTEA rappresentano un passo importante verso la mitigazione dei rischi, ma la loro efficacia dipenderà dalla capacità di evolversi al passo con le tecniche di attacco sempre più sofisticate.