Un'azienda creerà più modelli di previsione ML. I dati di training sono archiviati in Amazon S3 e il set di dati completo è più grande di 5 TB e contiene file CSV, JSON, Parquet e di testo. I dati devono essere sottoposti a diverse fasi di elaborazione sequenziali che includono trasformazioni complesse e alcuni lavori NLP che possono richiedere ore per essere eseguiti. L'intero processo deve essere automatizzato. Quale soluzione soddisfa queste esigenze?

Amazon SageMaker Pipelines è la soluzione migliore perché è progettata per creare, automatizzare e gestire flussi di lavoro ML end-to-end, inclusi pre-elaborazione, training e deployment. Può gestire dataset di grandi dimensioni e diversi formati di file (CSV, JSON, Parquet, testo) e supporta trasformazioni complesse e carichi di lavoro NLP intensivi che possono richiedere ore. L'integrazione con Amazon EventBridge consente l'automazione del flusso di lavoro. Le altre opzioni sono meno adatte: Amazon SageMaker Data Wrangler è ottimo per la preparazione dei dati, ma non è progettato per orchestrazioni complesse e sequenziali di più fasi di elaborazione che includono NLP intensivo. I notebook Amazon SageMaker sono ambienti interattivi per lo sviluppo, non per l'automazione di pipeline di produzione su larga scala. Le funzioni AWS Lambda hanno un limite di esecuzione di 15 minuti, rendendole inadatte per lavori NLP che possono richiedere ore.