Pinterest ha aggiornato il suo sistema di inferenza dei percorsi utente, passando da un pipeline di clustering multi-stadio a un modello linguistico fine-tunato da 4 miliardi di parametri. Questo cambiamento ha portato a un miglioramento dell'1,1% nel tasso di clic degli email e dell'1,3% nelle aperture delle notifiche push.
Il nuovo sistema di inferenza dei percorsi
Invece di raggruppare le parole chiave in interessi, il nuovo modello esamina le cronologie di attività degli utenti per identificare obiettivi a lungo termine. Questi percorsi vengono poi integrati nell'infrastruttura di raccomandazione esistente di Pinterest.
Pinterest definisce un "percorso" come un obiettivo che collega interessi, intenti e contesti in diverse sessioni. Ad esempio, un utente che sta rinnovando una cucina potrebbe cercare disegni di armadi, salvare idee per i piani di lavoro e successivamente esplorare piastrelle per il muro o illuminazione. Queste interazioni suggeriscono collettivamente un progetto coerente piuttosto che diversi interessi non correlati.
Vantaggi rispetto al sistema precedente
Il sistema precedente estraeva parole chiave dalle attività degli utenti, le raggruppava utilizzando embedding e clustering gerarchico, e le classificava con modelli aggiuntivi e euristiche di diversità. Sebbene efficace, questo approccio poteva frammentare attività correlate in percorsi separati, produrre etichette generiche o confondere l'engagement occasionale con l'intento sostenuto.
Il nuovo sistema tratta l'inferenza dei percorsi come un compito di generazione. Un modello linguistico fine-tunato legge una cronologia di fino a 150 azioni dell'utente in un arco di 360 giorni, insieme a un profilo utente compatto, e genera un set classificato di nomi di percorsi. Le azioni di ricerca e salvataggio hanno più peso rispetto ai clic occasionali, mentre il prompt istruisce il modello a considerare l'engagement ripetuto, la recente e la specificità.
Implementazione e ottimizzazione
La transizione ha spostato gran parte del comportamento di classificazione e filtraggio del sistema precedente nel prompt. Le istruzioni scoraggiano la fusione di interessi non correlati, sopprimono l'attività occasionale e i tag generati automaticamente rumorosi, e permettono un risultato vuoto quando non c'è sufficiente evidenza di un percorso significativo. Pinterest tratta le modifiche a queste istruzioni come lanci in produzione piuttosto che semplici modifiche al prompt.
Per costruire il sistema senza un esteso dataset etichettato manualmente, Pinterest ha utilizzato modelli di frontiera per generare esempi di addestramento sintetici dalle cronologie di attività degli utenti. Questi esempi sono stati utilizzati per fine-tunare modelli Qwen3 più piccoli attraverso addestramento supervisionato e adattamento a rango basso (LoRA).
Il team ha testato modelli con parametri da 0,6B a 8B, selezionando il modello da 4B per il suo equilibrio tra qualità di inferenza e throughput di servizio.
Ottimizzazione delle prestazioni
Eseguire il modello risultante su scala Pinterest ha presentato una sfida ingegneristica separata. L'azienda ha implementato NVIDIA Dynamo davanti ai worker vLLM in esecuzione su GPU L40S, utilizzando batching continuo, PagedAttention e routing consapevole della cache di prefisso per migliorare l'efficienza dell'inferenza.
Tuttavia, uno dei maggiori miglioramenti del throughput è venuto dall'evitare l'inferenza non necessaria. Il sistema traccia quando i percorsi di ogni utente sono stati generati l'ultima volta e salta gli utenti elaborati nei giorni precedenti.
Risultati e valutazione
Pinterest valuta la qualità dei percorsi attraverso confronti affiancati, un giudice LLM separato che valuta la rilevanza e il supporto dalle attività degli utenti, e esperimenti online. I test A/B iniziali negli Stati Uniti e in Canada hanno prodotto i miglioramenti riportati nell'1,1% del tasso di clic degli email e nell'1,3% delle aperture delle notifiche push rispetto al sistema basato su clustering, insieme a guadagni significativi di engagement e ritenzione.
L'approccio ha paralleli con il lavoro di Netflix sui modelli di fondazione per raccomandazioni personalizzate. Netflix ha descritto l'apprendimento da lunghe sequenze di interazioni dei membri per creare rappresentazioni che possono essere riutilizzate da modelli di raccomandazione a valle.
Mentre Netflix si concentra su rappresentazioni di preferenze riutilizzabili e Pinterest genera descrizioni esplicite di percorsi, entrambi gli approcci utilizzano storie comportamentali a lungo termine per arricchire l'infrastruttura di personalizzazione esistente piuttosto che sostituirla completamente.