Premessa e sintesi esecutiva
Creare una bozza per un documento esteso e non strutturato può sembrare un semplice esercizio di sintesi, ma in realtà è un problema di predizione strutturata. Ogni elemento dell’outline deve riferirsi a sezioni specifiche del testo, contenere tutte le informazioni senza omissioni o ripetizioni, e i titoli devono essere brevi e coerenti nella struttura e nel contenuto.
In questo lavoro descriviamo un approccio di supervised fine‑tuning (SFT) che utilizza gli ID dei paragrafi come collegamento comune tra etichette, output del modello e valutazione. Le etichette di addestramento vengono generate combinando candidati estrattivi con riformulazioni generative, scartando quelli non rilevanti prima della fase di training, e collegando i risultati di valutazione a diversi assessori. Inoltre, mostriamo casi in cui le metriche n‑gram (ROUGE, BLEU) falliscono e proponiamo l’uso di modelli guidati da prompt.
Introduzione: i limiti del prompting puro
La maggior parte dei team inizia con il prompting. Chiedere a un modello generico di “creare un indice” produce risultati plausibili in poco tempo, ma emergono tre problemi che crescono con la scala:
- Titoli non corrispondenti: i titoli citano contenuti che non sono presenti nella sezione.
- Ordine e ripetizioni: le sezioni possono comparire fuori ordine o duplicarsi.
- Formato variabile: il layout dell’output cambia ad ogni esecuzione.
Questi problemi sono riportati nella letteratura [1] e riconosciuti anche da NIST, che li classifica come “confabulation”, un rischio specifico dell’IA generativa [2]. Il fine‑tuning su set curati di esempi ha dimostrato di modificare il comportamento del modello [3, 4] e, sorprendentemente, un piccolo set di dati di alta qualità può bastare [5]. Il vero ostacolo è definire correttamente il target e il valutatore, per ottenere un risultato migliore.
Contesto teorico: estrattivo vs. astrattivo e segmentazione
Generazione estrattiva e astrattiva
Il metodo estrattivo garantisce accuratezza, ma a volte genera risultati strani. See et al. hanno mostrato che un modello “pointer‑generator”, capace sia di copiare dal testo sorgente sia di generare, riduce gli errori fattuali e la ripetizione rispetto a un approccio puramente astrattivo in contesti di news summarization [6]. Noi applichiamo la stessa idea alla costruzione delle etichette, non all’architettura del modello.
Segmentazione dei paragrafi
Stabilire dove inizia una sezione può essere appreso con supervisione [7]. In un outline, una parte può richiedere un titolo, mentre un segmento adiacente ne richiede uno completamente diverso.
Attribuzione e tracciabilità
Il framework AIS [8] e i benchmark di citazione [9] trasformano la domanda “è supportato da una fonte identificata?” in una risposta verificabile. Gli ID dei paragrafi rendono esplicita la fonte per ogni voce dell’outline.
Analisi del problema: vincoli di un generatore di outline in produzione
Un generatore di outline deve rispettare una serie di vincoli che, se violati, compromettono la qualità dell’intero documento. La Tabella 1 elenca i principali:
| Vincolo | Descrizione |
|---|---|
| Copertura | Paragrafi non assegnati a nessuna sezione; il modello non ha una nozione esplicita dell’inventario di paragrafi. |
| Monotonicità e non‑sovrapposizione | Sezione 3 inizia prima che la sezione 2 finisca; l’ordine non è garantito dal decoding libero. |
| Titoli fedeli | Il titolo menziona un argomento che il relativo span non tratta; la generazione astratta tende a contenuti plausibili ma non corretti. |
| Granularità coerente | Sezioni di 21 paragrafi o una singola sezione gigante; la granularità è una decisione di prodotto, non una capacità linguistica. |
| Input lunghi | Le sezioni intermedie ricevono titoli più deboli; i modelli usano meno affidabilmente le informazioni di contesto medio [10]. |
Il punto più critico è l’ultima riga: una metodologia basata sul riconoscimento della struttura da parte del modello fallisce proprio nei documenti più lunghi, dove gli outline sono più utili.
Architettura e design della pipeline grounded SFT
La Figura 1 mostra la nostra pipeline. Al centro c’è il contratto di output: invece di titoli liberi, il modello restituisce un array JSON del tipo {title, startid, endid, level}, dove gli ID puntano ai paragrafi del testo sorgente.
ID di paragrafo stabili: ogni paragrafo riceve un ID immutabile (es. [p17]) che rimane invariato tra versioni del documento. L’ID diventa così il riferimento per ogni etichetta, la previsione e la valutazione finale.
Costruttore di etichette ibride: le frontiere di sezione vengono prima identificate. Se il documento contiene già intestazioni o numerazioni, queste servono da punto di partenza. Il modello specifica i confini come intervalli di ID di paragrafo, filtrati rigorosamente e spot‑checked. Per ogni sezione, il titolo è estratto dal heading presente o dalla frase iniziale più rappresentativa; successivamente, una fase generativa riformula il titolo in una frase breve ma equivalente. L’estrattiva definisce le sezioni, la generativa ne definisce la forma.
Una nota di cautela: utilizzare il modello per le riscritture del “teacher” trasmette direttamente le sue parole e i suoi bias allo “student”. Per ridurre questa interferenza, si consiglia di ruotare le riscritture e mantenere almeno un’istanza scritta da un umano.
Filtro di grounding: un filtro deterministico elimina titoli con span assenti, sovrapposti, non ordinati o fuori range, applicando lo stesso validatore descritto più avanti. Poi un verificatore di entailment scarta i titoli i cui paragrafi non supportano il contenuto. I modelli migliori in entailment coincidono con valutazioni umane più fedeli.
Trasformare un titolo in ipotesi: “Overview” è solo un titolo, non una affermazione. Un modello NLI non può trattarlo così com’è; il titolo deve superare i propri componenti in termini di corrispondenza esatta. I titoli vaghi che superano entrambi i controlli vengono inviati al giudice di rubrica per valutare la specificità.
Decoding vincolato e perché continuiamo a validare: il decoding con vincoli grammaticali [24, 25] garantisce che l’output sia sintatticamente corretto e che ogni campo abbia il tipo giusto. Tuttavia, gli engine JSON Schema non includono regole come “ogni voce inizia dove la precedente finisce” o “i figli rimangono dentro il genitore”. Per queste, servirebbe una macchina a stati personalizzata da ricostruire per ogni stack di servizio. Perciò il validatore resta un requisito fondamentale per filtrare le uscite.
Valutazione a più livelli e metriche alternative
Le valutazioni devono avvenire in strati:
- Analisi strutturale e di base: verifica della correttezza dei confini, dell’ordine e della granularità.
- Rubrica: giudizio qualitativo su specificità, coerenza e fedeltà dei titoli.
- Revisione umana: confronto con riferimenti umani e annotazioni di audit.
Nel nostro esperimento confrontiamo le uscite con ROUGE e BLEU rispetto a un singolo riferimento umano. Tuttavia, queste metriche penalizzano le parafrasi corrette, facendo salire in classifica risultati strutturalmente errati. Perciò proponiamo una metrica di rilascio più significativa, ad esempio percentuale di documenti con outline accettabile, accompagnata dalla percentuale auditata da umani. La semplice sovrapposizione di token medio non è più una misura adeguata.
Risultati e confronto con approcci esistenti
Il nostro studio evidenzia tre aree chiave dove il grounded SFT supera le soluzioni tradizionali:
- Riduzione delle falsità: grazie al filtro di entailment, i titoli non supportati vengono eliminati.
- Coerenza strutturale: gli ID di paragrafo garantiscono monotonicità e non‑sovrapposizione.
- Qualità dei titoli: la fase generativa produce titoli brevi, coerenti e meno soggetti a drift astrattivo.
Il confronto con una pipeline puramente estrattiva o puramente generativa su un set di test tenuto fuori campione (come suggerito nella Tabella 3 della letteratura) mostra che le nostre metriche di grounding producono un miglior equilibrio tra copertura e fedeltà, anche se la Tabella 3 originale riporta solo evidenze letterarie e non risultati sperimentali diretti.
Implicazioni pratiche e raccomandazioni
Per le organizzazioni che desiderano implementare generatori di outline affidabili, consigliamo:
- Adottare un contratto di output strutturato basato su JSON con ID di paragrafo.
- Costruire etichette ibride combinando estrazione e generazione, con filtri di qualità rigorosi.
- Integrare verifiche di entailment per garantire che i titoli siano sostenuti dal contenuto.
- Utilizzare una valutazione a più livelli, includendo metriche di struttura, rubriche qualitative e audit umano.
- Pubblicare metriche di rilascio più informative, come la percentuale di outline accettabili, anziché affidarsi solo a ROUGE/BLEU.
Seguendo questi passaggi, è possibile superare le limitazioni di ROUGE e ottenere outline che non solo sembrano plausibili, ma sono realmente radicati nel testo originale.
Conclusioni
Le metriche basate su n‑gram come ROUGE non catturano le sfumature di coerenza, copertura e fedeltà richieste per gli outline di documenti lunghi. Un approccio di fine‑tuning supervisionato, ancorato a ID di paragrafo stabili e a filtri di grounding, fornisce una soluzione robusta. La pipeline proposta dimostra come combinare estrazione, generazione, verifica di entailment e decoding vincolato possa produrre outline strutturati, coerenti e verificabili, riducendo al contempo i rischi di confabulation tipici dei modelli generativi.