I sistemi di Ia autonomi stanno iniziando a spostarsi oltre gli ambienti software per entrare in magazzini, reti di consegna e spazi pubblici. Questa evoluzione sta generando dibattiti su se le attuali normative siano adatte a sistemi operanti in contesti fisici.
I framework di governance per la Ia esistenti si sono concentrati prevalentemente su rischi digitali come bias, disinformazione e contenuti dannosi. I sistemi di Ia incorporati in ambienti fisici comportano ulteriori rischi per l’infrastruttura, la proprietà e la sicurezza personale.
L’Infocomm Media Development Authority di Singapore ha pubblicato la versione 1.5 del Model AI Governance Framework per Agentic AI il 20 maggio. Il framework fornisce linee guida per le organizzazioni che distribuiscono agenti Ia in grado di pianificare, prendere decisioni e compiere azioni in più fasi per raggiungere obiettivi definiti dagli utenti.
La Ia entra nei sistemi fisici
Nel corso di un summit sulla Ia a Singapore, le discussioni su robotica e Ia incorporata si sono concentrate su tematiche di sicurezza operativa tipiche di ambienti aeronautici, industriali, e infrastrutture critiche, piuttosto che regolamenti software convenzionali.
I partecipanti hanno discusso su come i sistemi autonomi possano operare in modo sicuro e affidabile in ambienti fisici imprevedibili per periodi prolungati.
Dr. Ya-Qin Zhang, fondatore del Institute for AI Industry Research a Tsinghua University, ha sottolineato che i sistemi di Ia corporale amplificano rischi già associati alla Ia autonoma. Ha osservato che i fallimenti possono colpire direttamente trasporti, droni, sistemi logistici e infrastruttura critica.
“Qualsiasi rischio nel dominio digitale sarà amplificato in quello fisico, e il dominio fisico avrà conseguenze fisiche”, ha detto Zhang a MLex ai margini della conferenza.
Ha aggiunto che veicoli, droni, reti elettriche e altre infrastrutture potrebbero essere esposti alla Ia incorporata all’aumentare della sua integrazione negli scenari operativi.
I partecipanti hanno discussa governabilità incentrata su affidabilità, controllo operativo e garanzie post-distributive. Le discussioni hanno mostrato interesse in modelli basati su simulazione, telemetria e test iterativi, piuttosto che su certificazione singola.
I controlli diventano parte della distribuzione
Grab, che sta sperimentando veicoli autonomi e robot di consegna nel quartiere di Punggol a Singapore, ha affermato che la governance dipende fortemente da simulazione, test e monitoraggio continuo.
“Effettuiamo molte simulazioni e testiamo molto in corsie chiuse e aperte per assicurarci che i nostri robot siano affidabili,” ha detto Suthen Thomas Paradatheth, CTO di Grab, durante un pannello nel summit.
“Prima di estenderci a centinaia di robot, ci assicuriamo di risolvere il problema prima in simulazione e usando pochi robot,” ha aggiunto.
Grab ha anche sottolineato i sistemi di monitoraggio dedicati per tracciare la performance robotica e individuare errori imprevisti dopo la distribuzione.
“Esistono innumerevoli problemi che potrebbero emergere,” ha detto Paradatheth.
Il framework IMDA raccomanda valutazioni su casi d’uso della Ia agente in base a accesso ai dati, accesso ai sistemi esterni, autonomia e complessità delle attività. Si focalizza anche sull’ambito e reversibilità delle azioni, coinvolgimento terzi e complessità generale del sistema.
Consiglia inoltre di limitare l’accesso degli agenti a strumenti e sistemi, di applicare privilegi minimi e di definire procedure operative standard. Le organizzazioni dovrebbero stabilire meccanismi per arrestare l’agente in caso di malfunzionamento.
La responsabilità si espande a più attori
MLex ha segnalato che i sistemi di Ia incorporata coinvolgono varie parti lungo la filiera di sviluppo, produzione e distribuzione. Queste includono sviluppatori di Ia, produttori di robotica, fornitori di semiconduttori e gestori di infrastrutture.
MLex ha anche osservato che può essere difficile attribuire la responsabilità quando i sistemi continuano ad adattarsi post-distribuzione attraverso aggiornamenti, telemetria e dati operativi.
L’IMDA ribadisce che organizzazioni e esseri umani restano responsabili delle azioni dell’agente, persino quando opera in modo autonomo. Il framework richiede chiare responsabilità lungo l’intera catena del valore della Ia agente, da fornitori del modello e piattaforme a distributori, strumenti e utenti finali.
La governance richiede collaborazione globale
Benché Singapore abbia introdotto il proprio framework, altri paesi stanno affrontando simili sforzi di governance. Applied Materials ha sottolineato che la distribuzione su larga scala della robotica dipende anche dall’economia dei semiconduttori e dall’integrazione di sistemi.
Om Nalamasu, direttore tecnico di Applied Materials, ha spiegato che i sistemi robotici richiederanno progetti specifici adatti agli ecosistemi industriali, piuttosto che soluzioni uniche per tutti gli ambienti.
Zhao Yuli, chief strategy officer di Galbot, startup cinese di robotica, ha osservato che Pechino sta concentrando risorse in testbed sponsorizzati dal governo, partnership industriali e iniziative di finanziamento a lungo termine.
Galbot ha distribuito sistemi di robot umani in ambienti retail, warehouse e farmaceutici Cinesi. Questi includono negozi autonomi che operano 24/7. Zhao ha indicato che i contesti industriali semi-strutturati potranno diventare un percorso iniziale di commercializzazione, poiché offrono condizioni di funzionamento più controllabili.
Giappone, invece, concentra l’attenzione su standardizzazione, dataset e sicurezza. Il professor Yutaka Matsuo del Graduate School of Engineering dell’Università di Tokyo ha menzionato un progetto dell'”AI Association” mirato a raccogliere 100.000 ore di dati robotica per supportare modelli fondamentali di robotica.
Matsuo ha citato anche l’AI Safety Institute e il processo di Hiroshima come parte degli sforzi congiunti con Singapore e altri paesi asiatici per sviluppare standard di governance per sistemi di Ia con corpo fisico.
Singapore presenta i controlli agenti
Il framework di Singapore definisce quattro aree di governance per la Ia agente. Queste coprono valutazione iniziale dei rischi, responsabilità umana, controlli tecnici e responsabilità dell’utente finale. Il framework le descrive come processo iterativo e non come singola valutazione.
Il framework osserva che la supervisione umana deve essere adattata per i sistemi agenti poiché, su grande scala, rivedere costantemente ogni workflow diventa impraticabile. Consiglia l’approvazione umana per punti importanti, come azioni a alto rischio,