Una empresa creará múltiples modelos de predicción de ML. Los datos de entrenamiento se almacenan en Amazon S3 y el conjunto de datos completo es mayor de 5 TB y contiene archivos CSV, JSON, Parquet y de texto. Los datos deben someterse a varios pasos de procesamiento secuenciales que incluyen transformaciones complejas y algunos trabajos de PNL que pueden tardar horas en ejecutarse. Todo el proceso debe automatizarse. ¿Qué solución satisface estas necesidades?

Amazon SageMaker Pipelines es la solución más adecuada porque permite orquestar flujos de trabajo de ML complejos y secuenciales, incluyendo el preprocesamiento de datos, entrenamiento de modelos y evaluación. Puede manejar diversos formatos de datos y grandes volúmenes, como los 5 TB mencionados. Los trabajos de PNL que tardan horas en ejecutarse son bien gestionados por SageMaker Pipelines, que está diseñado para cargas de trabajo de larga duración. La automatización con Amazon EventBridge permite programar o activar la pipeline en respuesta a eventos. SageMaker Data Wrangler es excelente para la preparación de datos, pero no está diseñado para orquestar flujos de trabajo secuenciales complejos y automatizados con múltiples pasos de procesamiento y PNL. Los notebooks de SageMaker son interactivos y no ideales para la automatización de flujos de trabajo de producción. Las funciones de AWS Lambda tienen un límite de tiempo de ejecución y no son adecuadas para trabajos de PNL que pueden tardar horas.