Een bedrijf gaat meerdere ML-voorspellingsmodellen maken. Trainingsdata worden opgeslagen in Amazon S3 en de volledige dataset is groter dan 5 TB en bevat CSV-, JSON-, Parquet- en tekstbestanden. De data moeten verschillende opeenvolgende verwerkingsstappen ondergaan, waaronder complexe transformaties en wat NLP-werk dat uren kan duren. Het hele proces moet geautomatiseerd worden. Welke oplossing voldoet aan deze behoeften?

De correcte optie is het maken van een Amazon SageMaker Pipelines-workflow, getriggerd door Amazon EventBridge. SageMaker Pipelines is ontworpen voor het orkestreren van complexe, meerstaps ML-workflows, inclusief dataverwerking, modeltraining en evaluatie. Het ondersteunt diverse datatypes en grootschalige datasets, en kan stappen bevatten voor complexe transformaties en NLP, die uren kunnen duren. EventBridge is ideaal voor het automatiseren en triggeren van deze pipelines op basis van schema's of gebeurtenissen. Amazon SageMaker Data Wrangler is uitstekend voor data-voorbereiding, maar is niet ontworpen als een volledige workflow-orchestrator voor opeenvolgende, complexe ML-processen die uren duren. SageMaker notebooks zijn interactief en goed voor ontwikkeling, maar minder geschikt voor geautomatiseerde, grootschalige productieworkflows. AWS Lambda-functies zijn serverless en schaalbaar, maar zijn beperkt in uitvoeringstijd (maximaal 15 minuten) en minder geschikt voor taken die uren duren, zoals complexe NLP of grootschalige dataverwerking.