Een bedrijf gebruikt Amazon S3 als een data lake en een multi-node Amazon Redshift cluster als een datawarehouse. Databestanden in het lake zijn georganiseerd op basis van hun bron, en het bedrijf geeft momenteel een afzonderlijk COPY-commando uit voor elke bestandslocatie om in één Redshift-tabel te laden, wat traag is. Het bedrijf moet de ingestie versnellen zonder de kosten te verhogen. Wat moeten ze doen?

Het maken van een manifestbestand is de meest efficiënte oplossing. Een manifestbestand stelt het COPY-commando in Amazon Redshift in staat om meerdere bestanden uit verschillende S3-locaties in één keer te laden, wat de ingestie aanzienlijk versnelt vergeleken met afzonderlijke COPY-commando's. Dit is een ingebouwde functionaliteit van Redshift en brengt geen extra kosten met zich mee voor nieuwe services. Het gebruik van een geprovisioneerd Amazon EMR-cluster of een AWS Glue job om bestanden te kopiëren, introduceert extra kosten en complexiteit zonder directe verbetering van het COPY-proces zelf. Het laden van data in Amazon Aurora en vervolgens naar Redshift is een onnodige tussenstap die de kosten en de latentie verhoogt.