Ein Unternehmen wird mehrere ML-Vorhersagemodelle erstellen. Trainingsdaten werden in Amazon S3 gespeichert, und der vollständige Datensatz ist größer als 5 TB und enthält CSV-, JSON-, Parquet- und Textdateien. Die Daten müssen mehrere sequentielle Verarbeitungsschritte durchlaufen, die komplexe Transformationen und einige NLP-Arbeiten umfassen, deren Ausführung Stunden dauern kann. Der gesamte Prozess muss automatisiert werden. Welche Lösung erfüllt diese Anforderungen?

Die Erstellung eines Amazon SageMaker Pipelines-Workflows ist die beste Lösung, da er speziell für die Orchestrierung komplexer, mehrstufiger ML-Workflows entwickelt wurde, einschließlich Datenvorverarbeitung, Modelltraining und -bereitstellung. Er unterstützt verschiedene Datentypen und große Datensätze und ermöglicht die Automatisierung und das Tracking der einzelnen Schritte. Die Integration mit Amazon EventBridge ermöglicht die ereignisgesteuerte Automatisierung des gesamten Prozesses. Amazon SageMaker Data Wrangler ist zwar nützlich für die Datenvorbereitung, aber für die Orchestrierung komplexer, sequentieller Verarbeitungsschritte über mehrere Modelle hinweg weniger geeignet als Pipelines. Amazon SageMaker Notebooks sind interaktiv und gut für die Entwicklung, aber nicht ideal für die Automatisierung und Orchestrierung von Produktions-Workflows. AWS Lambda-Funktionen eignen sich für ereignisgesteuerte, kurzlebige Aufgaben, sind aber für stundenlange, komplexe Datenverarbeitungsschritte mit großen Datensätzen weniger effizient und schwieriger zu verwalten als SageMaker Pipelines.