Je hebt IoT-bodemsensordata in een 10 GB Amazon DynamoDB-tabel en weergebeurtenisdata als 5 GB aan JSON-bestanden in Amazon S3. Je wilt deze gecombineerde dataset voorbereiden om een Amazon SageMaker-model te trainen met de minste administratieve overhead. Welke aanpak realiseert de vereiste transformatie het beste?

De correcte aanpak is om AWS Glue crawlers te gebruiken om de data in DynamoDB en S3 te catalogiseren, en vervolgens een AWS Glue ETL-taak te maken om de datasets samen te voegen en de resultaten als CSV-bestanden naar S3 te schrijven. AWS Glue is een serverloze ETL-service die uitermate geschikt is voor het voorbereiden van data voor machine learning, met minimale administratieve overhead. Crawlers ontdekken automatisch schema's, en ETL-taken kunnen complexe transformaties uitvoeren. Het opslaan van de gecombineerde data in S3 als CSV-bestanden maakt deze direct toegankelijk voor Amazon SageMaker. Het starten van een Amazon EMR-cluster brengt meer administratieve overhead met zich mee dan AWS Glue. Het schrijven van de gejoinde output naar Amazon Redshift is onnodig, aangezien SageMaker direct data uit S3 kan lezen en Redshift extra kosten en beheer met zich meebrengt. Het gebruik van DynamoDB Streams en Lambda om items toe te voegen aan bestaande S3-bestanden is inefficiënt voor een eenmalige batch-samenvoeging van historische data en kan leiden tot complexe logica voor het samenvoegen van verschillende databronnen.