Un nuovo approccio centrato sulla valutazione

Numan ha presentato un rapporto tecnico, pubblicato il 19 ottobre, che mette in luce un paradigma diverso rispetto a quello tradizionalmente adottato nello sviluppo di assistenti IA per la salute. Invece di concentrarsi principalmente sul miglioramento dei prompt, l’azienda ha scelto di definire prima i criteri di valutazione che determinano se una risposta è accettabile, per poi ottimizzare il modello in base a tali standard.

Questa scelta nasce dalla tensione tra due attività fondamentali: verificare se una risposta appare buona e stabilire se la conversazione rimane utile e pertinente al contesto sanitario. La valutazione, o eval, è una prova strutturata che misura le performance del sistema di IA rispetto a aspettative esplicite, soprattutto quando gli utenti pongono domande personali su salute.

Il caso di studio di Nu è rilevante anche per altri assistenti orientati al paziente, come Dot di Included Health, e solleva una domanda cruciale per sviluppatori e buyer aziendali: chi definisce il comportamento accettabile e quali evidenze supportano tale definizione?

Come Numan valuta Nu

Il rapporto descrive in dettaglio gli strumenti e i processi impiegati per valutare Nu. Tra questi, LangGraph, un framework che coordina i flussi di lavoro degli agenti, e LangSmith, una piattaforma dedicata alla tracciabilità e alla valutazione dei risultati.

Un modello supervisor dirige una serie di agenti specializzati, mentre Numan utilizza set di dati etichettati per verifiche limitate. Inoltre, è stato sviluppato un prototipo in cui un modello più economico simula i pazienti, consentendo test preliminari a costi contenuti.

Le prime sperimentazioni hanno evidenziato che le risposte statiche non riuscivano a catturare il contesto conversazionale, e che gli scambi scriptati spesso non corrispondevano alla reale interazione con l’utente.

Le attuali regressioni di sicurezza bloccano i lanci in produzione. La simulazione, tuttavia, è in attesa dell’approvazione clinica della rubrica di punteggio, ossia dei criteri di valutazione scritti da Numan.

Salvaguardie e test operativi

    • Salvaguardie di risposta integrate per filtrare contenuti pericolosi.
    • Campionamento umano quotidiano per verificare coerenza e accuratezza.
    • Test mediante grafo di produzione per monitorare flussi di lavoro in tempo reale.
    • Punteggi continui online, previsti per le prossime versioni.

Durante i test, sono emersi criteri contraddittori sulla gestione di dosi dimenticate, evidenziando disaccordi su quali risposte siano accettabili.

Impatti per buyer e sviluppatori

Per un acquirente, la semplice domanda “l’assistente ha superato i test di sicurezza?” risulta troppo generica. È più utile chiedere “quale test può bloccare un lancio?”, poiché ciò rivela quanto l’organizzazione si impegni a rispettare i propri limiti dichiarati.

Allo stesso modo, un prototipo può far emergere pattern di errore utili senza essere pronto per la certificazione. Separare il ruolo sperimentale da quello di prodotto evita che risultati preliminari vengano presentati come garanzie definitive.

Un sistema di valutazione deve quindi includere una spiegazione chiara della propria autorità: quali risultati orientano le priorità di sviluppo e quali indicano un deterioramento di comportamenti precedentemente accettabili? Solo le verifiche validate adeguatamente dovrebbero influenzare le decisioni di prodotto.

“Prima la valutazione”: cosa significa realmente

L’espressione “prima la valutazione” dovrebbe indicare una relazione trasparente tra evidenza e decisione. La presenza di un pannello di punteggio, di per sé, non stabilisce tale relazione.

Un’organizzazione può generare numerosi punteggi senza che i tempi di lancio prevalgano su risultati scomodi. Al contrario, un set più ridotto di test ben definiti può avere un valore operativo notevole se i fallimenti innescano indagini tempestive.

Qualità della risposta vs. qualità dell’interazione

Una risposta ben formulata è solo una parte dell’evidenza: non garantisce la qualità complessiva dell’interazione. Immaginiamo un utente che descrive una bassa motivazione e, successivamente, rivela un ostacolo pratico dopo una domanda dell’assistente. Un consiglio immediato potrebbe trascurare totalmente quell’ostacolo.

Un riferimento di risposta, cioè un esempio preparato per il confronto, può far apparire il consiglio immediato come efficace. Tuttavia, un coach che pone una domanda di follow‑up pertinente potrebbe migliorare significativamente la conversazione.

Questa dinamica crea problemi ai team che comprimono tutti i comportamenti desiderabili (empatia, chiarimento, educazione, gestione dei limiti) in una singola risposta. Richiedere tutti questi aspetti simultaneamente può premiare risposte sovraccariche e poco realistiche.

Al contrario, l’errore opposto consiste nell’evitare di fornire risposte utili prolungando indefinitamente la conversazione. La “pazienza conversazionale” deve avere un punto di chiusura, variabile a seconda del contesto e non basato su una preferenza universale per scambi più lunghi.

Lezione da Anthropic sulla valutazione degli agenti conversazionali

Anthropic, nel suo documento sull’evaluation of conversational agents, distingue tra la qualità dell’interazione e il completamento del compito, richiedendo entrambe le tipologie di valutazione. Propone l’uso di utenti simulati per testare scambi adattivi, ma sottolinea che le valutazioni automatiche devono essere affiancate da supervisione in produzione, feedback degli utenti e revisione umana.

Questa prospettiva sostiene il percorso generale di Numan senza però convalidare direttamente Nu. Il design della valutazione è separato dal consenso su una risposta sanitaria specifica, il che richiede una giustificazione autonoma per gli standard di dominio.

Limiti delle simulazioni e necessità di realismo

Un paziente simulato può creare punti ciechi: se l’assistente formula una domanda inaspettata ma pertinente, una risposta predefinita potrebbe ignorarla, portando a una misurazione distorta del comportamento.

Le simulazioni offrono opportunità di test diverse perché le loro risposte possono reagire all’assistente. Tuttavia, il realismo di tali simulazioni è un’ipotesi da verificare. La fluidità da sola non dimostra che il paziente simulato rappresenti fedelmente gli utenti reali.

Ad esempio, un utente simulato può spiegare i propri obiettivi con chiarezza superiore rispetto a una persona sotto stress, collaborare con richieste di chiarimento che un utente frustrato abbandonerebbe, o mantenere una coerenza di personaggio eccessiva.

Queste differenze sono cruciali perché un prodotto di orientamento sanitario funziona attraverso la conversazione stessa: l’interazione determina quali informazioni diventano disponibili, quali incertezze rimangono irrisolte e se l’utente comprende il passo successivo.

Conclusioni per sviluppatori e acquirenti

Per i sviluppatori, la sfida è valutare il processo conversazionale senza presumere che ogni interazione valida segua uno script predeterminato. Per i buyer, la pressione è chiedere che tipo di test possa effettivamente fermare un lancio, dimostrando l’impegno dell’organizzazione verso i propri limiti dichiarati.

In sintesi, il rapporto di Numan su Nu mette in evidenza l’importanza di una valutazione ben definita, trasparente e basata su evidenze concrete, prima di ottimizzare i prompt o di affrettare il rilascio di un prodotto sanitario. Solo così si può garantire che i coach di salute basati su IA siano realmente affidabili e utili per gli utenti.