Introduzione al progetto AI Sandbox
Il programma AI Sandbox della Library of Congress, promosso dalla Digital Strategy Directorate dell’Ufficio del Chief Information Officer, offre uno spazio sperimentale in cui staff e specialisti possono applicare strumenti di intelligenza artificiale e machine learning alle collezioni e ai metadati della biblioteca. Tra le iniziative più recenti, il Network Development and MARC Standards Office ha concentrato la sua attenzione sui vector embeddings, una tecnologia che traduce testi in vettori numerici ad alta dimensionalità.
Il risultato di questi esperimenti è una nuova modalità di interazione con il catalogo: oltre 20 milioni di record sono ora rappresentati da vettori di 1 024 dimensioni, consentendo analisi, raccomandazioni e visualizzazioni che prima erano impraticabili.
Che cosa sono i vector embeddings?
In termini semplici, i vector embeddings sono sequenze di numeri che rappresentano il contenuto testuale. Queste rappresentazioni permettono di ridurre il linguaggio naturale a dati numerici, rendendo possibile l’applicazione di algoritmi di apprendimento automatico. Il modello utilizza un “spazio ad alta dimensionalità”, in cui la vicinanza tra due vettori indica una correlazione semantica, indipendente dalla lingua o dalla terminologia specifica.
Ad esempio, i termini “auto” e “automobili” risultano vicini nello spazio vettoriale, così come la parola “casa” tradotta in diverse lingue. Questa caratteristica rende il modello multilingue e capace di riconoscere concetti simili anche quando le parole differiscono.
Generazione dei vettori per il catalogo
Per creare i vettori, la squadra ha utilizzato il modello di embedding di Amazon Web Services, Titan Text V2. Ogni record è stato preparato estraendo esclusivamente i metadati descrittivi: soggetti, classificazione LCC, riassunti, indici dei contenuti, note e simili. Questi testi sono stati poi immessi nel modello, il quale ha prodotto un vettore unico per ciascuno dei circa 20 milioni di record.
I vettori risultanti sono stati caricati in un database vettoriale, consentendo query basate su nuovo testo per trovare i record più simili. Questo approccio ha aperto la porta a molteplici applicazioni pratiche.
Assistente ai soggetti (subject assistant)
Una delle prime sperimentazioni è stata la creazione di un assistente ai soggetti. Il flusso è il seguente:
- Un catalogatore inserisce un nuovo record privo di soggetti.
- Il testo descrittivo viene trasformato in un vettore.
- Il vettore viene confrontato con il database per individuare record simili.
- Vengono proposti i soggetti utilizzati nei record corrispondenti, che il catalogatore può riutilizzare o modificare.
Questo strumento accelera la scelta dei soggetti, riduce il carico di lavoro e garantisce coerenza terminologica. Poiché l’approccio si basa esclusivamente su record reali, non c’è rischio di “hallucination” tipico dei modelli generativi.
Il team ha integrato l’assistente nel catalogatore BIBFRAME, permettendo ai catalogatori di visualizzare suggerimenti di soggetti in tempo reale durante la fase di inserimento.
Scoperta basata su “record fantasma”
Un’altra applicazione sperimentata riguarda la ricerca avanzata. Qui, una domanda di ricerca viene trasformata in un “record fantasma” generato da un LLM. Il modello crea titolo, soggetti, classificazione LCC, riassunto e altri metadati fittizi, che non vengono poi salvati, ma servono a posizionare il “fantasma” nello spazio vettoriale.
Il vettore del record fantasma viene confrontato con il database reale, restituendo i record effettivi più affini alla query dell’utente. Questa modalità offre un modo nuovo di esplorare il catalogo, particolarmente utile per sistemi di scoperta basati su BIBFRAME.
Vantaggi rispetto ai tradizionali motori di ricerca
Il metodo consente di superare le limitazioni delle parole chiave, poiché la similarità è calcolata su concetti semantici piuttosto che su corrispondenze testuali esatte. Inoltre, la capacità del modello di gestire più lingue e sinonimi amplia il raggio d’azione delle ricerche.
Visualizzazione dei dati vettoriali
Una delle sfide più affascinanti è la rappresentazione grafica di uno spazio a 1 024 dimensioni. Per rendere i dati fruibili, i vettori sono stati ridotti a due dimensioni (X e Y) tramite tecniche di dimensionality reduction, generando una mappa interattiva di tutti i 20 milioni di record.
La visualizzazione è colorata secondo la classificazione LCC, mostrando gruppi strutturati di risorse simili. Gli utenti possono ingrandire, spostare la vista e cliccare su singoli punti per vedere i dettagli del record corrispondente.
- Modalità “Comunita’” suddivide le risorse in gruppi basati sull’organizzazione interna del modello.
- Modalità “Classificazione LCC” evidenzia la corrispondenza tra le categorie umane e le regioni dello spazio vettoriale.
Questa mappa fornisce una “interpretazione” del catalogo attraverso la lente dell’intelligenza artificiale, ma mantiene la struttura tradizionale grazie alle etichette LCC.
Implicazioni per la gestione del patrimonio
Osservando la distribuzione dei record, i curatori possono identificare aree di sovrapposizione o lacune nella collezione, valutare l’equilibrio tematico e pianificare acquisizioni mirate. Inoltre, la visualizzazione facilita la comunicazione del valore del catalogo a un pubblico più ampio, rendendo tangibili le relazioni tra risorse apparentemente distanti.
Prospettive future e conclusioni
Il progetto AI Sandbox ha dimostrato come i vector embeddings possano trasformare la gestione dei metadati della Library of Congress, offrendo strumenti pratici per catalogazione, scoperta e analisi visiva. Le prossime fasi prevedono:
- Estensione del modello a nuovi tipi di materiale (audio, video, dataset).
- Integrazione di feedback dei catalogatori per migliorare i suggerimenti di soggetti.
- Sviluppo di interfacce di ricerca più intuitive basate sui “record fantasma”.
- Collaborazioni con altre istituzioni per standardizzare l’uso di embeddings nei cataloghi bibliografici.
In sintesi, la combinazione di AI, vector embeddings e classificazione tradizionale apre nuove strade per esplorare, comprendere e valorizzare enormi collezioni di conoscenza, ponendo le basi per un futuro in cui la ricerca e la gestione del patrimonio culturale saranno più rapide, accurate e inclusive.