Il team di ricercatori della KAIST ha proposto un nuovo algoritmo, denominato CluSTER, per velocizzare il fine‑tuning di grandi modelli linguistici (LLM) quando si lavora con più GPU. Presentato alla conferenza EMNLP 2026, il metodo dimostra come sia possibile tagliare fino al 69,6 % del tempo di addestramento riducendo la quantità di dati utilizzati a circa il 31 %.

Come funziona CluSTER

Il procedimento si articola in tre fasi fondamentali:

    • Stima del gradiente approssimato: per ogni esempio del dataset viene calcolato un gradiente di perdita semplificato, che indica quanto quell’esempio influenzerebbe l’aggiornamento del modello.
    • Clustering K‑means a capacità limitata: gli esempi vengono raggruppati in base al gradiente, creando un numero di cluster pari al numero di GPU disponibili.
    • Selezione bilanciata: da ciascun cluster vengono prelevati gli esempi più distanti dal centro (i più diversi), garantendo che ogni GPU lavori su un sotto‑insieme unico e riducendo la duplicazione dei calcoli.

Gli aggiornamenti dei pesi sono poi pesati in base alla dimensione originale di ciascun cluster, così da preservare la distribuzione statistica del dataset completo.

Vantaggi principali

Il risultato è una riduzione significativa delle ore di calcolo necessarie, senza intervenire sull’architettura del modello. Questo approccio si inserisce in una più ampia tendenza di ricerca volta a rendere l’addestramento di LLM più efficiente dal punto di vista computazionale e dei costi.

Risultati sperimentali

Gli autori hanno valutato CluSTER su tre modelli e due domini di applicazione:

    • CodeLlama‑7B e 13B su dataset di programmazione.
    • Llama‑2‑7B su un dataset medico.

Le prove sono state condotte su quattro GPU Nvidia H100, con un modello da 7 miliardi di parametri. I risultati principali sono sintetizzati nella tabella seguente:

    • Nel dominio medico, il tempo di addestramento completo è di 0,99 ore; con CluSTER (31 % dei dati) scende a 0,30 ore, con una media di punteggio passata da 48,5 a 48,0.
    • Nel dominio del codice, CodeLlama‑7B richiede 1,13 ore in modalità tradizionale; usando CluSTER (40 % dei dati) il tempo è 0,47 ore, con una diminuzione di 1,7 punti nella metrica di accuratezza (da 57,6 a 55,9).

Le percentuali di riduzione del tempo variano quindi dal 58 % al 69,6 % a seconda del caso di studio. È importante notare che la riduzione è dovuta principalmente al campionamento più selettivo dei dati, non solo al clustering stesso.

Confronto con altri metodi di campionamento

Il paper confronta CluSTER con tre tecniche di selezione dati:

    • S2L (Sample‑to‑Learn)
    • IFD (Importance‑Based Filtering)
    • LESS (Learning‑Efficient Sample Selection)

Per CodeLlama‑7B, la fase di selezione di CluSTER richiede 0,19 ore, contro 0,95 ore per S2L, 1,62 ore per IFD e 2,79 ore per LESS. Tuttavia, includendo il tempo di addestramento totale, il guadagno scompare: 1,11 ore complessivi per CluSTER contro 1,13 ore per il campionamento casuale.

Limiti e considerazioni pratiche

Nonostante i risultati promettenti, gli autori ammettono alcune limitazioni:

    • Le sperimentazioni sono state effettuate su un unico nodo con fino a otto GPU; non è chiaro come si comporti su cluster più grandi.
    • I dataset utilizzati sono di dimensione moderata, lontani dalle centinaia di migliaia o milioni di campioni tipici dei contesti industriali.
    • I modelli di base risalgono al 2023; versioni più recenti potrebbero reagire diversamente al ridotto set di dati.
    • Le differenze di performance rispetto al campionamento casuale sono spesso di mezzo punto o un punto, con deviazioni standard fino a 3 punti, rendendo le migliorie marginali in alcuni scenari.

In pratica, il vantaggio principale di CluSTER è la riduzione del costo computazionale, ovvero meno ore di utilizzo delle GPU, un fattore cruciale quando le risorse hardware non sono completamente sfruttate (come evidenziato da recenti studi sullo spreco di capacità GPU).

Disponibilità del codice

Il progetto è rilasciato su GitHub sotto licenza Apache‑2.0, consentendo a ricercatori e sviluppatori di testare il metodo su dataset di dimensioni medio‑grandi senza costi aggiuntivi. Alcuni esempi di utilizzo includono la creazione di modelli specializzati con budget di pochi dollari, dimostrando la praticità dell’approccio.

Prospettive future

Per chi dispone di dataset di dimensioni medio‑grandi, CluSTER rappresenta una prima prova valida: può indicare se il risparmio di tempo è sufficiente a giustificare l’adozione del metodo. Su cluster con più nodi e dataset su larga scala, però, la promessa di “tre volte più veloce” resta ancora da dimostrare.

Un passo consigliato è quello di definire una baseline di riferimento sul proprio caso d’uso, misurare i tempi e i costi con e senza CluSTER, e decidere in base a dati concreti.

Conclusioni

CluSTER offre una strategia intelligente per selezionare i dati più informativi e distribuire il carico di lavoro tra le GPU in modo da evitare calcoli ridondanti. Il metodo può ridurre significativamente le ore di GPU necessarie, soprattutto quando le risorse hardware non sono al 100 % di utilizzo. Tuttavia, i benefici variano a seconda della dimensione del dataset, del modello e dell’infrastruttura. Per le organizzazioni che cercano di ottimizzare i costi di fine‑tuning, vale la pena sperimentare CluSTER su un caso di studio interno prima di estenderlo a produzioni su larga scala.