StreamVid verwaltet Terabytes von rohen CSV-Logs in S3 und benötigt eine automatisierte Profilerstellung und wiederholbare Transformation (Zeitstempel parsen, Spalten mit geringer Kardinalität löschen, in Parquet konvertieren) vor dem Training. Welcher DataBrew-Workflow erfüllt diese Anforderungen am besten und was muss für geplante Ausführungen sichergestellt werden?

Die korrekte Option beschreibt den idealen DataBrew-Workflow. DataBrew ist für die Profilerstellung, Transformation und die Erstellung wiederholbarer Jobs konzipiert. Es kann CSV-Dateien lesen, Zeitstempel parsen, Spalten entfernen und Ausgaben in Parquet nach S3 schreiben. Die Planung von Jobs ist eine Kernfunktion, und die Berechtigungen der Job-Rolle für S3-Zugriff sowie die VPC-Erreichbarkeit sind entscheidend für die erfolgreiche Ausführung. Die anderen Optionen sind falsch, weil: DataBrew kann wiederkehrende Jobs planen und Parquet schreiben. Die Verwendung von IAM-Benutzeranmeldeinformationen im Job ist zudem eine schlechte Sicherheitspraxis; stattdessen sollten Rollen verwendet werden. SageMaker Data Wrangler ist zwar nützlich, aber DataBrew ist ebenfalls für diese Aufgaben geeignet und kann Parquet-Ausgaben erzeugen und geplante Ausführungen durchführen. Eine Lambda-Funktion wäre zu komplex und aufwändig zu implementieren und zu warten für diese Art von Datenverarbeitung, die DataBrew nativ unterstützt.