Il contesto: moderazione a scala per i prodotti Atlassian
Le piattaforme di collaborazione di Atlassian, come Rovo Chat e Rovo Search, gestiscono milioni di messaggi, prompt e query al minuto. Ogni interazione deve essere analizzata in tempo reale per verificare la conformità alle politiche di utilizzo accettabile (AUP). Questo rende la moderazione un passaggio critico nel percorso di ogni richiesta dell’utente.
La latenza non è un optional, ma una necessità di prodotto: gli utenti si aspettano risposte immediate, quindi anche il filtro AUP deve operare con tempi di risposta contenuti.
Il modello iniziale e i suoi limiti
Inizialmente Atlassian ha impiegato il modello off‑the‑shelf gpt‑oss‑safeguard‑20B come filtro AUP. Sebbene funzionasse, presentava due problemi fondamentali:
- Era progettato per ragionare ad ogni risposta, generando token di ragionamento in fase di inferenza, il che aumentava la latenza e i costi.
- Dopo mesi di ottimizzazione dei prompt, il tasso di recall si era stabilizzato al 50,9 % sul dataset interno, indicando un “ceiling” difficile da superare senza intervenire sul modello stesso.
Questi limiti hanno spinto il team a cercare una soluzione più efficiente e precisa.
Perché il prompt engineering non bastava
Le policy di Atlassian sono ricche di sfumature: casi borderline dipendono da contesto, intento e formulazioni sottili. Anche i prompt più elaborati non riescono a coprire tutti gli scenari, soprattutto quando gli utenti introducono variazioni avversarie come parafrasi, jailbreak o semplici aggiunte di punteggiatura.
Il modello da 20 B, sebbene capace di ragionare, richiedeva tempo per generare i token di ragionamento, un passo non disattivabile. Per ridurre la latenza era necessario un modello che avesse già “assorbito” il processo di ragionamento durante il training, in modo da produrre decisioni direttamente al volo.
L’approccio: trasferire il ragionamento a un modello compatto
In collaborazione con NVIDIA, Atlassian ha scelto Nemotron 3 Nano 4B, un modello denso da 4 miliardi di parametri con ottime capacità di follow‑up delle istruzioni. L’obiettivo era trasferire la capacità di ragionamento delle policy nei pesi del modello tramite fine‑tuning.
Strategia dei dati
La qualità dei dati si è rivelata la sfida più grande. Il traffico reale AUP è altamente sbilanciato: meno dell’1 % delle richieste viola le policy, e mancano esempi avversari per tutti i tipi di violazione. Per ovviare a ciò, il team ha generato dati sintetici:
- Training: esempi di violazione e non violazione, arricchiti con variazioni avversarie (errori di battitura, parafrasi, jailbreak).
- Valutazione: un set bilanciato di 2 000 esempi (50 % positivo, 50 % negativo) più un set avversario di 3 000 esempi per stressare la robustezza contro jailbreak, parafrasi e trucchi di punteggiatura.
Ricetta di addestramento a due fasi
Il training è stato eseguito con NVIDIA Megatron Bridge in due stadi:
- Stage 1 – Full Supervised Fine Tuning (SFT): oltre 20 000 esempi con triplette
<prompt, label, reasoning_tokens>. Il modello non solo ha appreso la classificazione corretta, ma anche la catena di ragionamento alla base della decisione. - Stage 2 – Direct Preference Optimization (DPO): più di 2 000 esempi in cui sono stati confrontati ragionamenti corretti contro quelli errati, affinando il giudizio nei casi più difficili.
Risultati dei benchmark
Il confronto tra il modello di partenza, il modello base da 4 B e la versione fine‑tuned mostra miglioramenti significativi:
| Modello | Precisione | Recall | F1 | Parametri |
|---|---|---|---|---|
| GPT‑OSS‑safeguard‑20B MoE | 94,0 % | 50,9 % | 0,66 | 21 B (3,6 B attivi) |
| Nemotron 3 Nano 4B (base) | 78,9 % | 56,7 % | 0,66 | 4 B |
| Nemotron 3 Nano 4B fine‑tuned | 87,0 % | 75,5 % | 0,81 | 4 B |
Il modello fine‑tuned ha raggiunto una precisione del 87 % e un recall del 75,5 %, portando l’F1 a 0,81, un salto notevole rispetto al modello originale.
Sperimentazione accelerata con AI agents
Grazie all’uso di agenti AI autonomi, Atlassian ha ridotto di mesi il ciclo di sperimentazione a circa una settimana. Gli agenti hanno condotto più di 300 esperimenti, variando composizione del dataset, iperparametri e fasi della ricetta, scegliendo i successivi in base ai risultati preliminari. Ogni run ha impiegato circa 5 ore su una singola NVIDIA H200, con 20 run in parallelo.
Impatto in produzione
Il modello 4 B fine‑tuned ora opera come filtro di prima passata, gestendo la maggior parte delle richieste e riservando il modello 20 B per i casi più sospetti. I vantaggi misurati sono:
- Latenza ridotta da 740 ms a 350 ms (‑53 %).
- Throughput aumentato del 42 %.
- Precisione complessiva del content moderator passata dal 94 % al 98,1 %.
- Recall migliorato dal 50,9 % al 56,6 %.
Questi miglioramenti hanno reso l’esperienza utente più fluida e hanno aumentato la sicurezza dell’AI di Atlassian.
Cosa abbiamo imparato
Il post‑training supera i limiti del prompt engineering. In domini ristretti e ad alta posta, come il filtraggio AUP, il fine‑tuning è lo strumento che spinge la qualità oltre il “ceiling”. Prompt engineering e fine‑tuning sono complementari, non concorrenti.
Addestrare con ragionamento, servire senza. Inserire tracce di ragionamento nei dati di training migliora la capacità decisionale del modello anche quando queste tracce vengono rimosse in fase di inferenza.
Gli agenti AI moltiplicano la produttività. La possibilità di lanciare 20 esperimenti in parallelo e di completarne oltre 300 ha reso possibile trovare la ricetta ottimale con un team ML estremamente snello.
Prospettive future
Il successo nel filtraggio AUP è solo il primo passo. Atlassian intende estendere la strategia a altri casi d’uso della sua stack AI, dove le stesse esigenze di latenza, robustezza avversaria e alta accuratezza sono presenti. La collaborazione con NVIDIA continuerà, con l’obiettivo di applicare la ricetta a famiglie di modelli diverse e a lavori di fine‑tuning per gli embedding che alimentano la ricerca semantica di Rovo.
In sintesi, il laboratorio AI di Atlassian, insieme a NVIDIA, ha dimostrato che un modello compatto da 4 B, opportunamente fine‑tuned, può sostituire un modello molto più grande per la maggior parte delle operazioni di moderazione, garantendo velocità, scalabilità e precisione superiori.