Une entreprise va créer plusieurs modèles de prédiction ML. Les données d'entraînement sont stockées dans Amazon S3 et l'ensemble de données complet est supérieur à 5 To et contient des fichiers CSV, JSON, Parquet et texte. Les données doivent subir plusieurs étapes de traitement séquentielles qui incluent des transformations complexes et un travail de NLP qui peut prendre des heures à s'exécuter. L'ensemble du processus doit être automatisé. Quelle solution répond à ces besoins ?

La bonne réponse est de créer un workflow Amazon SageMaker Pipelines et de l'automatiser avec Amazon EventBridge. SageMaker Pipelines est conçu pour orchestrer des workflows ML complexes, incluant le prétraitement des données, l'entraînement de modèles et le déploiement. Il gère efficacement les grands volumes de données et les différents formats mentionnés. EventBridge permet de déclencher automatiquement ces pipelines, répondant ainsi au besoin d'automatisation. SageMaker Data Wrangler est excellent pour la préparation interactive des données, mais moins adapté pour des transformations séquentielles complexes et des tâches de NLP longues à grande échelle dans un pipeline automatisé. Les notebooks SageMaker sont interactifs et ne sont pas une solution d'automatisation de workflow en soi. Les fonctions AWS Lambda ont une limite de temps d'exécution (15 minutes) et ne sont pas idéales pour des tâches de NLP qui peuvent prendre des heures, ni pour des ensembles de données de plus de 5 To.