Incremento di precisione senza modificare il modello di base

PayPal ha comunicato un notevole salto nella precisione delle risposte del suo assistente interno per la scienza dei dati, passando dal 43% al 95% di accuratezza. Questo miglioramento è stato ottenuto senza alcuna variazione del modello di linguaggio di grandi dimensioni (LLM) sottostante, ma aggiungendo un contesto aziendale proprietario e mantenendolo separato dal modello stesso.

Ren Zhang, vicepresidente e responsabile globale del prodotto AI di PayPal, ha spiegato durante la discussione della serie AI Impact di VentureBeat dell'8 ottobre che, sebbene l’assistente avesse già accesso a dati di alta qualità e verificati, non era ancora in grado di rispondere in modo affidabile alle domande operative. La chiave è stata fornire definizioni, schemi di interrogazione e procedure analitiche tipiche dei dipendenti di PayPal.

Dopo l’integrazione di queste conoscenze, la precisione è salita al 95%, mentre “il LLM è ancora lo stesso”, ha sottolineato Zhang.

Il livello di conoscenza: componenti e funzionamento

Per preservare il patrimonio conoscitivo anche quando i modelli evolvono, PayPal ha creato un “livello di conoscenza” indipendente dal modello. Questo approccio permette di aggiornare o sostituire i modelli senza dover ricostruire da capo l’expertise aziendale.

Componenti principali

    • Golden query: una query predefinita che specifica come recuperare dati per uno scopo preciso.
    • Playbook analitico: un documento che indica come investigare una domanda, includendo segmenti, prodotti o comportamenti da esaminare (ad esempio, fallimenti di login o uso di passkey).

Questi elementi costituiscono il “cuore” della proprietà intellettuale di PayPal, secondo Zhang.

Modello‑agnosticità e gestione del fine‑tuning

Zhang ha progettato l’assistente per essere indipendente dal modello, consentendo un semplice “plug‑and‑play” quando un nuovo modello dimostra prestazioni migliori. “Non devo cambiare la mia conoscenza”, ha affermato.

Nel caso dell’agente commerciale rivolto ai clienti, PayPal ha testato quattro‑cinque modelli diversi. I modelli più grandi offrivano capacità elevate ma introdussero una latenza di circa 15 secondi. Passare a un modello da 8 miliardi di parametri ha ridotto drasticamente la latenza, ma ha anche diminuito la precisione.

Il team ha effettuato un fine‑tuning del modello più piccolo per specializzarlo nel commercio, ottenendo un miglioramento di accuratezza, ma ancora insufficiente. A quel punto, hanno ridotto l’enfasi sul fine‑tuning intensivo, poiché richiede competenze specializzate e comporta costi elevati ogni volta che viene rilasciato un nuovo modello.

“Quanti modelli sono usciti recentemente? Uno è migliore dell’altro. Se li addestro troppo spesso, diventa troppo costoso”, ha osservato Zhang, evidenziando la necessità di bilanciare i benefici della personalizzazione con il costo operativo.

Controlli operativi e flusso decisionale

Mantenere la conoscenza separata solleva la questione di come l’agente la utilizzi. PayPal sta costruendo una piattaforma che fornisce agli agenti l’accesso alla conoscenza aziendale preservando le procedure, verificando le decisioni proposte rispetto a fonti autorevoli e determinando quando è necessario l’intervento umano.

Deepika Khera, senior director of AI di PayPal, ha illustrato questi controlli durante il Summit “Agentic Infrastructure Stack” del 28 ottobre. Ha sottolineato l’importanza di tali meccanismi soprattutto nella risposta agli incidenti.

Esempio di workflow di incident response

    • Un flusso di lavoro con sette agenti analizza avvisi su più di 33 000 servizi.
    • Gli agenti aggregano dati da Datadog, ServiceNow e log interni per distinguere segnali significativi dal rumore.
    • Un flusso di revisione della sicurezza può coinvolgere fino a 18 agenti, a seconda della complessità.

Nonostante la suddivisione dei compiti, il rischio centrale rimane: una diagnosi errata può portare a una correzione sbagliata.

Khera ha spiegato che “ogni decisione proposta è verificata contro la fonte di verità”, dove entra in gioco la “memoria” dell’intero sistema, che combina fonti dati certificate, procedure operative standard (SOP) e valutazioni di rischio.

Gestione della memoria e delle istruzioni operative

Un modello può recuperare informazioni rilevanti ma non includere la procedura necessaria per renderle azionabili. Khera ha citato un tool interno di risposta a domande HR che faticava perché le procedure non erano memorizzate in modo strutturato.

Il team ha quindi cambiato il modo di archiviare le istruzioni, mantenendo i passaggi ordinati insieme anziché frammentarli. Inoltre, hanno bilanciato l’uso del Model Context Protocol (MCP) con chiamate API dirette: per alcune interazioni l’agente usa il MCP per ragionare su quale strumento scegliere, mentre in flussi di sviluppo software è necessario forzare l’uso della memoria in punti specifici.

“In quel flusso, abbiamo dovuto imporre ‘qui voglio usare la memoria’”, ha dichiarato Khera.

Memoria episodica e apprendimento continuo

PayPal sta sperimentando una memoria episodica che registra sessioni e risultati di pull‑request (PR). Una procedura notturna di “distillazione” analizza le esperienze degli utenti per estrarre lezioni da inserire nella memoria, trasformando esperienze passate in linee guida riutilizzabili per le interazioni future.

Validazione, testing e differenze tra laboratorio e produzione

Zhang ha evidenziato che, anche con conoscenza aziendale e controlli di workflow, le condizioni di test possono divergere significativamente da quelle di produzione. Un modello può eccellere su un set di domande previste ma fallire su quelle più frequenti degli utenti reali.

Secondo il sondaggio “Agentic Reliability and Evals” di VB Pulse di ottobre, il 42 % delle organizzazioni che eseguono valutazioni pre‑deployment ha riscontrato che un agente AI o una funzionalità LLM, pur superando i test interni, ha fallito entro l’anno successivo. Di questi, il 49 % ha segnalato che l’incidente più grave ha coinvolto clienti.

Inoltre, il 39 % dei rispondenti ha dichiarato di non disporre di controlli o avvisi automatizzati per rilevare output AI errati, affidandosi invece all’intervento umano.

Per colmare questo divario, PayPal sta adottando simulazioni offline più ampie, generazione sintetica di domande e test sia a turno singolo che multiplo. Il giudizio basato su modelli viene combinato con valutazioni umane: dopo il deployment, i commenti dei dipendenti forniscono un feedback continuo.

Conclusioni e prospettive future

Il caso di PayPal dimostra che la separazione tra modello di linguaggio e conoscenza aziendale può portare a guadagni di precisione significativi senza dover continuamente ricostruire il patrimonio di know‑how ad ogni nuovo modello. Tuttavia, la gestione della memoria, i controlli di approvazione e una valutazione realistica delle performance in produzione rimangono sfide cruciali.

Con un approccio cauto all’autonomia, un’attenta architettura di workflow e un continuo ciclo di apprendimento dalla “memoria episodica”, PayPal punta a mantenere l’affidabilità dei suoi agenti AI mentre il panorama dei LLM continua a evolversi rapidamente.