Een ML-engineer moet gegevens uit Amazon S3 extraheren, transformeren en laden voor analyses, het dataschema ontdekken en metadata opslaan met minimale handmatige inspanning. Welke optie bereikt dit?

AWS Glue is een volledig beheerde ETL-service (Extract, Transform, Load) die speciaal is ontworpen voor het voorbereiden en laden van gegevens voor analyses. Het kan gegevens uit S3 extraheren, transformeren en laden. De AWS Glue Data Catalog is een centrale metadata-repository die automatisch schema's kan ontdekken en metadata kan opslaan, wat perfect aansluit bij de vereiste van minimale handmatige inspanning. Amazon SageMaker Data Wrangler is gericht op het voorbereiden van gegevens voor machine learning, maar slaat metadata niet automatisch op in een centrale catalogus zoals Glue Data Catalog; het zou eerder naar een S3-bucket gaan, wat minder optimaal is voor schema-ontdekking en -beheer. Amazon Athena is een queryservice, geen ETL-tool voor het transformeren en laden van gegevens, en de combinatie met Step Functions voor ETL en metadata-opslag in S3 is complexer en minder efficiënt dan Glue. Een EC2-instantie met scikit-learn is een handmatige en schaalbare oplossing voor ETL, maar vereist aanzienlijk meer handmatige configuratie en beheer voor schema-ontdekking en metadata-opslag dan AWS Glue.