Een bedrijf slaat miljoenen 1 KB JSON testresultaatbestanden op in S3, afkomstig van wereldwijde testfaciliteiten. Een data-engineer moet deze bestanden converteren naar Apache Parquet en ze laden in Amazon Redshift. De huidige pipeline gebruikt AWS Glue voor verwerking, Step Functions voor orkestratie en EventBridge voor scheduling. Naarmate er meer faciliteiten worden toegevoegd, is de verwerkingstijd toegenomen. Welke wijziging zal de verwerkingstijd het meest verminderen?

De AWS Glue dynamic frame file-grouping optie is de meest efficiënte oplossing omdat deze de verwerking van veel kleine bestanden optimaliseert binnen de bestaande AWS Glue pipeline. AWS Glue is ontworpen om grote hoeveelheden data te verwerken, en het groeperen van kleine bestanden in grotere sets vermindert de overhead van het openen en sluiten van individuele bestanden, wat de verwerkingstijd aanzienlijk verkort. Het gebruik van AWS Lambda om bestanden te groeperen voegt een extra stap en complexiteit toe buiten de Glue-pipeline, wat minder efficiënt kan zijn. Het direct kopiëren van ruwe JSON-bestanden naar Redshift via het COPY-commando is niet optimaal, omdat Redshift niet geoptimaliseerd is voor het verwerken van miljoenen kleine JSON-bestanden en de conversie naar Parquet verloren gaat. Amazon EMR is een krachtige optie, maar het vervangen van AWS Glue door EMR zou een aanzienlijke herarchitectuur van de bestaande pipeline vereisen, wat verder gaat dan een optimalisatie van de ver verwerkingstijd.