GS Caltex, un'azienda energetica e chimica sudcoreana, sta sfruttando le potenzialità di Amazon SageMaker Canvas e Amazon SageMaker Pipelines per collegare i modelli degli ingegneri di processo ai flussi di lavoro di produzione. L'azienda divide lo sviluppo e le operazioni dei modelli tra ingegneri con competenze complementari.

Panoramica della soluzione

Il workflow di machine learning operations (MLOps) di GS Caltex ha due percorsi principali: preparare una nuova versione del modello per il deployment e eseguire inferenze batch con il modello distribuito.

Da un modello validato a un flusso di lavoro ripetibile

Con SageMaker Canvas, è possibile preparare i dati visivamente, costruire modelli e generare previsioni batch. Inoltre, è possibile registrare i modelli validati in Amazon SageMaker Model Registry da SageMaker Canvas. GS Caltex ha costruito un processo di handoff separato per trasformare questi asset in passaggi esegubili di SageMaker Pipelines.

Area

La tabella seguente mostra cosa viene preparato in SageMaker Canvas e cosa viene gestito nel flusso di lavoro di produzione:

    • Preparazione dei dati: Un flusso di pre-elaborazione costruito con Data Wrangler
    • Sviluppo del modello: Un modello addestrato e i risultati della valutazione
    • Previsione: Validazione delle previsioni del modello
    • Operazioni: Sviluppo e validazione di modelli individuali

Architettura di riferimento

La figura seguente mostra come gli ingegneri di processo consegnano gli asset di SageMaker Canvas agli ingegneri ML per il deployment e l'inferenza programmata. Gli ingegneri ML utilizzano Amazon Simple Storage Service (Amazon S3) per i flussi di pre-elaborazione e Model Registry per le versioni del modello, quindi programmano le esecuzioni del pipeline tramite Amazon EventBridge.

Implementazione tecnica

I passaggi seguenti coprono il riutilizzo della pre-elaborazione, l'approvazione e il deployment del modello, la costruzione del pipeline e l'inferenza programmata.

1. Eseguire il flusso di pre-elaborazione di SageMaker Canvas con SageMaker Processing

Un flusso di pre-elaborazione creato con Data Wrangler in SageMaker Canvas registra le fonti di dati e i passaggi di trasformazione. Per configurare l'implementazione di riferimento, esportare i dati su Amazon S3 utilizzando SageMaker Processing, quindi recuperare le impostazioni del lavoro e il file .flow utilizzato da quel lavoro.

2. Gestire le differenze tra input di addestramento e inferenza

La colonna target è una delle differenze tra i dati di addestramento e inferenza. Un flusso costruito con dati di addestramento può contenere trasformazioni che si aspettano la colonna target nello schema di input. I dati di inferenza non contengono quell'esito noto.

L'implementazione di riferimento aggiunge un passaggio PrepareInput prima della pre-elaborazione. Se la colonna target è mancante, questo passaggio la aggiunge con un valore placeholder. Dopo la pre-elaborazione, DropTargetColumn rimuove la colonna. Abbinare il valore placeholder al tipo di dati della colonna target.

GS Caltex ha automatizzato questo passaggio di consegna riutilizzando gli asset creati in SageMaker Canvas. Gli ingegneri ML devono impostare i percorsi dei dati per la produzione, fornire la configurazione del modello e collegare i lavori di pre-elaborazione e inferenza. GS Caltex riferisce che i suoi ingegneri ML ora distribuiscono modelli in poche ore, rispetto a circa una settimana prima. L'azienda esegue inferenze batch ogni 30 minuti, riducendo la necessità di endpoint in esecuzione continua. GS Caltex riferisce che ciò ha significativamente ridotto i suoi costi di inferenza.