Contesto e limiti dei sistemi tradizionali
L’ingegneria architettonica richiede la sintesi di fonti eterogenee: codici edilizi prescrittivi, diagrammi strutturali complessi, tabelle di performance a più livelli e disegni di costruzione annotati. I tradizionali motori di recupero basati su testo perdono le disposizioni geometriche, le relazioni spaziali e le intestazioni gerarchiche quando le informazioni visive o tabulari vengono convertite in testo lineare.
Di conseguenza, le pipeline di retrieval‑augmented generation (RAG) standard spesso forniscono risposte incomplete o errate, poiché le caratteristiche visive che trasmettono requisiti tecnici fondamentali vengono scartate o semplificate in modo eccessivo.
Struttura classica del RAG
In un sistema unimodale tradizionale, i documenti vengono segmentati in blocchi di testo, trasformati in vettori densi tramite modelli linguistici e indicizzati in un database vettoriale. Le query testuali vengono poi confrontate con questi vettori per trovare i contenuti più simili. Questo approccio funziona bene per domini basati esclusivamente sul linguaggio, ma fallisce di fronte a diagrammi, tabelle e annotazioni grafiche tipiche della progettazione edilizia.
Il nuovo framework M‑RAG
Per superare questi limiti, Xianchuan Meng e Ziyu Tong hanno proposto il Multimodal Retrieval‑Augmented Generation (M‑RAG), descritto nella rivista Architectural Intelligence. Il framework combina modelli linguistici multimodali con una base di conoscenza unificata attraverso:
- uno spazio di embedding semantico condiviso,
- una decomposizione duale delle tabelle,
- pipeline di elaborazione query adattive.
Grazie a encoder dedicati per testo e immagini e a un filtraggio rigoroso della rilevanza, M‑RAG garantisce un flusso di recupero e generazione cross‑modale tracciabile, riducendo le “allucinazioni” tecniche.
Strategia di decomposizione delle tabelle
Per evitare il costo di addestrare encoder di tabelle da zero, gli autori hanno adottato una strategia di doppia rappresentazione:
- Un modello vision‑language (es. Qwen2.5‑VL) estrae ogni riga della tabella e la converte in un frammento di linguaggio naturale arricchito, concatenato in un paragrafo testuale.
- Contemporaneamente, la tabella originale è conservata come screenshot ad alta risoluzione.
Il processo include filtraggio visivo automatico e correzioni manuali (rischiaramento di disegni degradati, verifica di celle unite) per mantenere intatte annotazioni geometriche, misure dimensionali e gerarchie di categoria.
Costruzione del corpus e preprocessing
Il corpus architettonico è stato curato selezionando esclusivamente fonti autorevoli:
- Uniform Standard for Design of Civil Buildings (GB50352‑2019),
- Manuale di Progettazione Architettonica cinese della Architectural Society of China,
- Testi universitari di ingegneria,
- Casi di studio verificati.
Sono stati esclusi blog informali e contenuti non verificati. Durante il preprocessing, i testi sono tokenizzati, normalizzati e lemmatizzati; le immagini sono standardizzate in dimensioni e normalizzate prima di essere inviate all’encoder visivo.
Spazio di embedding condiviso
Le rappresentazioni testuali e visive sono mappate in uno spazio semantico comune mediante una fusione pesata:
Embedding finale = α · Embedding testuale + β · Embedding visivo, dove α e β sono coefficienti di peso calibrati per bilanciare l’influenza di ciascuna modalità.
Questa unificazione consente a query puramente testuali, immagini o prompt misti di recuperare simultaneamente diagrammi pertinenti e spiegazioni testuali tramite misurazioni di similarità coseno.
Scelta dell’architettura di embedding
Gli autori hanno confrontato tre modelli multimodali:
- OpenAI CLIP (clip‑vit‑large‑patch14, 768 dim),
- VisualBERT (visualbert‑vqa‑coco‑pre, 768 dim),
- Doubao di ByteDance (doubao‑embedding‑vision‑250615, 2048 dim).
Su un set di valutazione composto da 80 esempi testo‑immagine e 20 esempi solo testo, i risultati medi di similarità coseno sono stati:
- CLIP: 0,25 ± 0,04
- VisualBERT: 0,46 ± 0,08
- Doubao: 0,55 ± 0,07
I test t‑student a due campioni hanno mostrato differenze statisticamente significative (p < 0,001). Doubao, grazie al suo spazio vettoriale più ampio, è stato scelto come modello di embedding principale del framework.
Elaborazione adattiva delle query
Per gestire la variabilità linguistica degli utenti, M‑RAG incorpora un modulo di normalizzazione delle query che rimuove riempitivi, formule di cortesia e prefissi interrogativi (“Can you provide…”, “What are…”). I test hanno evidenziato che la normalizzazione porta la similarità media da 0,62 a 0,72, migliorando l’allineamento di circa il 10 %.
Un ulteriore meccanismo di “domain‑gating” utilizza una soglia di similarità (θ = 0,5). Query fuori dominio – ad esempio su ascensori affollati, assistenza agli anziani o attrezzature antincendio per negozi – ottengono punteggi inferiori a 0,5, attivando una risposta di avviso e la generazione di domande di chiarimento tramite il modello linguistico.
Filtri di rilevanza
Solo le coppie multimodali che superano la soglia vengono inviate al modello generativo. Il top‑1 è selezionato per la risposta finale, mentre i top‑3 più vicini vengono usati per offrire contesto aggiuntivo se necessario.
Generazione contestuale e riduzione delle allucinazioni
Il candidato multimodale filtrato è passato a un grande modello linguistico multimodale avanzato, che combina le informazioni testuali e visive per produrre una risposta coerente e tecnicamente corretta. Poiché il modello riceve sia il contenuto testuale che l’immagine originale della tabella o del diagramma, può fare riferimento a elementi geometrici specifici (es. “la sezione A‑B ha un’altezza di 3,2 m”) senza doverli inferire da una descrizione testuale sintetica.
Le valutazioni sperimentali hanno mostrato una riduzione delle allucinazioni tecniche del 38 % rispetto a un RAG unimodale tradizionale, misurata tramite un set di 150 query verificate da esperti.
Implicazioni pratiche per la professione
Il framework M‑RAG consente agli ingegneri e agli architetti di:
- Ottenere risposte precise a domande complesse che coinvolgono normative, dettagli costruttivi e performance energetiche.
- Accedere direttamente a diagrammi e tabelle originali, mantenendo la tracciabilità verso le fonti normative.
- Ridurre il rischio di interpretazioni errate dovute a sintesi testuali insufficienti.
In scenari di progettazione collaborativa, M‑RAG può fungere da assistente AI che fornisce rapidamente riferimenti visivi e testuali, accelerando il processo decisionale senza compromettere la conformità normativa.
Conclusioni e prospettive future
M‑RAG rappresenta un passo significativo verso l’integrazione completa di dati multimodali nei flussi di lavoro di ingegneria architettonica. La combinazione di un embedding ad alta dimensionalità (Doubao), la decomposizione duale delle tabelle e la normalizzazione adattiva delle query crea una pipeline robusta capace di gestire la complessità delle informazioni tecniche.
Le future ricerche potranno esplorare:
- L’estensione a ulteriori tipologie di asset, come modelli BIM 3D e simulazioni CFD.
- L’addestramento di encoder specifici per codici normativi regionali, migliorando la copertura internazionale.
- L’integrazione di feedback in tempo reale da parte degli utenti per affinare continuamente i pesi di fusione α e β.
Con questi sviluppi, i sistemi di retrieval‑augmented generation potranno diventare partner affidabili per i professionisti del settore, garantendo decisioni basate su dati completi, accurati e contestualizzati.