Numan ha presentato un nuovo approccio per il suo coach di salute AI, Nu, che sfida l'assunto che prompt migliori siano la chiave per un coaching affidabile. La società ha pubblicato una case study il 19 ottobre, sottolineando l'importanza di definire un comportamento accettabile prima di ottimizzare le risposte.
L'approccio di valutazione di Numan
Al centro di questo approccio c'è la distinzione tra valutare se una risposta sembra buona e determinare se una conversazione è utile e rimane entro i suoi limiti previsti. Una valutazione (Eval) è un test strutturato che misura un sistema AI rispetto a aspettative definite. Queste aspettative sono cruciali quando gli utenti portano domande di salute personale in uno scambio aperto.
Questa tensione è evidente anche in altri assistenti sanitari come Dot di Included Health. Per gli sviluppatori e gli acquirenti aziendali, la domanda va oltre la scelta del modello: chi definisce un comportamento accettabile e quali prove giustificano la fiducia in questa definizione?
Cosa ha rivelato Numan su Nu
La rivelazione chiave riguarda la valutazione di Nu, inclusi i test sperimentali che non supportano ancora le decisioni di pubblicazione. Secondo il rapporto di valutazione del coach di salute di Numan, Nu utilizza LangGraph, un framework per la coordinazione dei flussi di lavoro degli agenti, e LangSmith, una piattaforma per il tracciamento e la valutazione. Un modello supervisore controlla agenti specializzati.
Numan descrive set di dati valutati per categorie per test chiaramente definiti, nonché un prototipo che utilizza un modello più economico per simulare pazienti. Le risposte statiche non catturavano il contesto della conversazione; gli scambi scritti non corrispondevano più al flusso della conversazione.
Test di regressione della sicurezza esistenti impediscono le pubblicazioni. Lo strato di simulazione non lo fa ancora, poiché il rilascio clinico della sua rubrica di valutazione è in attesa. L'azienda descrive anche meccanismi di protezione per le risposte, campionamenti umani giornalieri e test sul grafo di produzione. Criteri contrastanti per le dosi dimenticate hanno rivelato disaccordi su quali risposte siano accettabili. La valutazione online continua rimane un passo pianificato.
L'importanza del design di valutazione
Queste distinzioni collocano l'annuncio come un rapporto di ingegneria sul design della valutazione, non come prove indipendenti di migliori risultati per i pazienti. La sua importanza risiede nel rendere lo standard di accettazione abbastanza visibile da poter essere messo in discussione.
Per gli acquirenti, questo cambia la conversazione successiva utile. La domanda se un assistente abbia test di sicurezza è troppo generale per rivelare molto. La domanda su quale test possa fermare una pubblicazione mostra quanto seriamente un'organizzazione prende i suoi limiti dichiarati.
Lo stesso vale per il lavoro sperimentale. Un prototipo può rivelare modelli di errore utili senza essere pronto per certificare nulla. Trattare queste funzioni separatamente crea spazio per la ricerca senza far diventare i risultati preliminari promesse di prodotto.
La necessità di un sistema di valutazione chiaro
Un sistema di valutazione ha bisogno di una chiara rappresentazione della propria autorità. Alcuni risultati informano le priorità di sviluppo. Altri mostrano se un comportamento precedentemente accettabile è peggiorato. Solo test adeguatamente validati dovrebbero portare il peso attribuito loro.
Questo cambia anche come i lettori dovrebbero interpretare l'espressione "evaluation-first". Dovrebbe descrivere una relazione tra prove e decisioni. La semplice presenza di un dashboard di valutazione non può dimostrare questa relazione.
Un'organizzazione potrebbe generare valutazioni estese e nel frattempo permettere che le scadenze di lancio sovrastino qualsiasi risultato scomodo. Al contrario, un numero minore di test ben definiti potrebbe avere un valore operativo significativo se gli errori innescano in modo affidabile indagini.
Perché la qualità della risposta rende i coach di salute vulnerabili
Una risposta convincente è una prova di una risposta; non prova la qualità dell'interazione circostante. Consideriamo uno scambio di coaching ipotetico su difficoltà nel mantenere una routine. Un utente potrebbe inizialmente descrivere una bassa motivazione e poi rivelare un ostacolo pratico dopo che l'assistente ha posto una domanda. Un consiglio immediato potrebbe ignorare completamente questo ostacolo.
Una risposta di riferimento, ovvero un esempio preparato per il confronto, può far sembrare un consiglio immediato un successo. Un coach che pone una domanda rilevante potrebbe servire meglio la conversazione. La decisione di valutazione dipende da ciò che il test intende misurare.
Questo crea un problema per i team che cercano di inserire ogni comportamento desiderabile in ogni singola risposta. Empatia, chiarimento, educazione e gestione dei limiti non devono necessariamente essere presenti in ugual misura ovunque. Chiedere tutto contemporaneamente può premiare risposte sovraccariche.
Anche l'errore opposto è possibile. Un assistente può continuare a porre domande e nel frattempo evitare una risposta utile. La pazienza nella conversazione ha bisogno di un punto finale, e questo dipende dalla situazione, non da una preferenza generale per scambi più lunghi.
La prospettiva di Anthropic sulla valutazione degli agenti conversazionali
La discussione di Anthropic sulla valutazione degli agenti conversazionali tratta la qualità dell'interazione e l'adempimento del compito come requisiti di valutazione diversi. Descrive utenti simulati come un modo per testare scambi adattivi. Sottolinea inoltre che le valutazioni automatizzate dovrebbero essere integrate da monitoraggio della produzione, feedback degli utenti e revisione umana.
Questa prospettiva supporta la direzione generale senza validare Nu stesso. Il consenso sul design della valutazione non dimostra il consenso su una risposta concreta nel coaching sanitario. Lo standard specifico del dominio ha ancora bisogno di una propria giustificazione.
Le sfide della simulazione
Un paziente simulato può creare un altro punto cieco. Se l'assistente pone una domanda rilevante ma inaspettata, una risposta predefinita potrebbe ignorarla. Il trascritto risultante misura quindi il comportamento sotto un malinteso artificiale.
Un paziente simulato apre un'altra possibilità di test perché le sue risposte possono reagire all'assistente. Tuttavia, il realismo è un'ipotesi da testare. La fluidità linguistica da sola non dimostra che la persona simulata rappresenti effettivamente gli utenti reali.
Un utente simulato potrebbe, ad esempio, spiegare i propri obiettivi in modo più chiaro di una persona sotto stress. Potrebbe rispondere a richieste di chiarimento che un utente frustrato interromperebbe. Potrebbe anche attenersi troppo rigidamente a una descrizione della persona.
L'importanza della conversazione
Queste possibilità sono importanti perché un prodotto di coaching funziona attraverso l'interazione stessa. La conversazione influenza quali informazioni sono disponibili, quali incertezze rimangono irrisolte e se l'utente comprende il passo successivo.
Per gli sviluppatori, la pressione è quella di valutare questo processo senza presupporre che ogni conversazione valida segua uno script predefinito. Per gli acquirenti, la pressione è quella di chiedere quali comportamenti l'ambiente di test potrebbe facilmente trascurare.
Più un assistente si adatta, più diventa difficile valutare se una conversazione è andata bene. Questo è il compromesso intrinseco nel design di un sistema di valutazione. La chiave è trovare un equilibrio tra strutturare abbastanza il test per essere riproducibile e lasciare spazio sufficiente per l'adattamento.