Ein ML-Ingenieur muss Daten aus Amazon S3 für Analysen extrahieren, transformieren und laden, das Datenschema ermitteln und Metadaten mit minimalem manuellem Aufwand speichern. Welche Option erfüllt diese Anforderung?

AWS Glue ist ein vollständig verwalteter ETL-Dienst (Extrahieren, Transformieren, Laden), der speziell für diese Art von Aufgabe entwickelt wurde. Er kann Daten aus S3 extrahieren, Transformationen durchführen und das Datenschema automatisch ermitteln. Der AWS Glue Data Catalog ist ein zentrales Metadaten-Repository, das diese Schemainformationen speichert und für andere AWS-Dienste wie Athena oder Redshift Spectrum zugänglich macht, was den manuellen Aufwand minimiert. Amazon SageMaker Data Wrangler ist zwar nützlich für die Datenaufbereitung, speichert Metadaten jedoch nicht nativ im AWS Glue Data Catalog, sondern eher in S3, was die Integration erschwert. Amazon Athena ist ein Abfragedienst und keine primäre ETL-Lösung für komplexe Transformationen und Schemaermittlung. Eine EC2-Instanz mit scikit-learn erfordert erheblichen manuellen Aufwand für die Einrichtung, Wartung und Skalierung der ETL-Prozesse und ist keine serverlose Lösung für die Schemaermittlung und Metadatenverwaltung.