Orca Security, un editore di soluzioni di sicurezza cloud, ha presentato Discovery AI, un agente di query in linguaggio naturale costruito con AWS su Amazon Bedrock. Questo strumento rivoluzionario traduce le domande poste in linguaggio corrente in query Sonar, il sistema di query proprietario di Orca che permette di cercare, filtrare ed esplorare l'intero grafo di dati di un ambiente cloud.
Funzionalità e miglioramenti
Sonar copre più di 900 modelli di risorse, come istanze Amazon EC2 o bucket Amazon S3, e propone 18 operatori di confronto come «uguale a» o «contiene». In precedenza, gli utenti dovevano scrivere oggetti JSON precisi con i nomi corretti dei modelli e navigare tra le gerarchie parent-child.
Il prototipo iniziale caricava l'intero schema in un singolo prompt sul modello più grande disponibile. Sebbene la qualità fosse giudicata buona dai partner e dagli utenti interni, ogni query richiedeva circa 2 milioni di token di input e aveva una latenza di circa 60 secondi. La precisione sulle query complesse che coinvolgevano più modelli rimaneva limitata.
La versione di produzione, invece, gestisce migliaia di query al giorno con un tempo di risposta di circa 15 secondi. Rispetto al punto di partenza, Orca annuncia una riduzione del 90% dei costi, del 93% dei token di input e una latenza ridotta del 75%.
Architettura e integrazione
Per ottenere questi risultati, Orca ha progettato un'architettura ibrida che combina la generazione aumentata da recupero (RAG) e la costruzione di query tenendo conto dello schema. Il pipeline conta nove fasi, e ciascuna si basa sul modello di fondazione più pertinente.
Invece di iniettare le 900 definizioni di modelli, il sistema invia solo gli elementi utili alla domanda, poi valida il filtro Discovery prodotto. Orca ha scelto Amazon Bedrock per il suo accesso multi-modello tramite una singola API, che evita di gestire integrazioni separate, e per i suoi controlli di governance AWS (IAM, punti di terminazione VPC, CloudTrail) conformi alle sue esigenze di sicurezza.
L'architettura è indipendente dal modello, quindi l'équipe può adottare nuove versioni senza rifare il pipeline. Questa evoluzione si inserisce nella tendenza degli editori di sicurezza ad aggiungere assistenti conversazionali alle loro piattaforme, mentre i fornitori di cloud competono per offrire i mattoni di orchestrazione di questi sistemi multi-modello.
Impatto e vantaggi
Questi risultati dimostrano che un'interfaccia in linguaggio naturale per dati di sicurezza complessi può essere economicamente vantaggiosa su larga scala. Gli analisti ottengono risposte rapide sulla loro infrastruttura senza dover conoscere in dettaglio lo schema di Sonar, il che amplia l'accesso ai dati a profili meno specializzati e riduce il tempo tra la domanda e l'indagine.
Per Orca, la riduzione dei costi rende il servizio deployabile a un volume di utilizzo elevato senza degradare l'esperienza. Inoltre, l'esempio illustra che un approccio «tutto nel prompt» dà buoni risultati di dimostrazione ma non passa la produzione. Suddividere il problema in fasi e assegnare a ciascuna il modello più adatto permette di guadagnare in velocità, costo e affidabilità.