Cos’è FLEX e quali sono gli obiettivi

FLEX è una pipeline flessibile per l’editing delle caratteristiche nella pianificazione del movimento robotico. La piattaforma integra l’interazione conversazionale con modelli di intelligenza artificiale capaci di generalizzare a partire da pattern appresi, permettendo ai robot di comprendere istruzioni in linguaggio naturale al di là del loro significato letterale.

Il progetto, frutto della collaborazione tra il Massachusetts Institute of Technology (MIT) e la New York University (NYU), sarà presentato alla Conferenza annuale sul Machine Learning Robotico. L’obiettivo principale è creare robot domestici e di assistenza in grado di collaborare con le persone, adattandosi in tempo reale a comandi conversazionali.

Team di ricerca

    • Andreea Bobu, professoressa associata di Aeronautica e Astronautica al MIT
    • Nathan Dennler, ricercatore post‑doc nel laboratorio CSAIL del MIT
    • Audrey Lee, SM 26
    • Ilia Sucholutsky, Università di New York

Come funziona: il processo in tre fasi

FLEX opera attraverso tre fasi distinte, ciascuna progettata per arricchire, generalizzare e ottimizzare la lista delle caratteristiche da considerare durante la pianificazione del percorso.

1. Aggiungere (Add)

In questa fase il sistema integra nella lista degli oggetti rilevanti quelli segnalati dall’utente come importanti per il compito. Per esempio, se un robot deve trasportare una palla da bowling e l’utente specifica “non lasciarla cadere su una tazza”, la tazza viene aggiunta alla lista di ostacoli da evitare.

2. Generalizzare (Generalize)

Questa è la fase centrale di FLEX. Un grande modello di linguaggio (LLM), in questo caso GPT‑4o, analizza gli oggetti indicati e cerca connessioni nei dati di addestramento. Nell’esempio della tazza, il modello può inferire che la regola sottostante è “evitare oggetti fragili”, anche se l’utente non l’ha esplicitamente dichiarata.

3. Mascherare (Mask)

Utilizzando il tradizionale sistema di visione artificiale del robot, FLEX verifica l’ambiente circostante e rimuove dalla lista le caratteristiche degli oggetti che non sono più presenti. L’intero ciclo di tre fasi richiede circa cinque secondi.

Applicazioni pratiche e test sperimentali

Gli esperimenti hanno coinvolto un braccio robotico in simulazione che ha svolto tre compiti distinti: servire una tazza di caffè, spostare una candela e trasportare una palla da bowling. I volontari hanno fornito istruzioni scritte in linguaggio naturale, ad esempio “evita di versare il caffè sul portatile” o “stai lontano dalla pila di carta”.

Grazie a FLEX, il robot ha eseguito non solo le istruzioni dirette ma anche le generalizzazioni più ampie:

    • non versare liquidi su dispositivi elettronici
    • mantenersi a distanza da oggetti infiammabili
    • non far cadere oggetti pesanti su elementi fragili

Queste capacità dimostrano come il sistema possa passare da comandi specifici a regole di comportamento più generali, migliorando la sicurezza e l’efficienza delle interazioni uomo‑robot.

Implicazioni future e supporto finanziario

Il lavoro di Bobu e del suo gruppo CLEAR (Collaborative Learning and Autonomy Research) mira a far evolvere i robot di assistenza domestica, rendendoli più intuitivi e capaci di adattarsi a richieste conversazionali senza richiedere una programmazione dettagliata.

La ricerca è stata parzialmente finanziata dal Consorzio per l’Impatto dell’IA Generativa del MIT e dal programma di Responsabilità Sociale ed Etica della Computazione del MIT Schwarzman College of Computing.