Une entreprise utilise Amazon S3 comme lac de données et un cluster Amazon Redshift multi-nœuds comme entrepôt de données. Les fichiers de données dans le lac sont organisés par leur source, et l'entreprise exécute actuellement une commande COPY distincte pour chaque emplacement de fichier afin de charger les données dans une seule table Redshift, ce qui est lent. L'entreprise doit accélérer l'ingestion sans augmenter les coûts. Que doit-elle faire ?

La création d'un fichier manifeste est la solution la plus efficace et la plus rentable. Un fichier manifeste permet à la commande COPY de Redshift de charger plusieurs fichiers à partir de différents emplacements S3 en une seule opération, ce qui réduit considérablement le temps d'ingestion par rapport à l'exécution de commandes COPY distinctes. Cette approche optimise l'utilisation des ressources de Redshift sans introduire de coûts supplémentaires pour des services comme EMR ou Glue pour la consolidation des fichiers. Les autres options sont moins efficaces ou plus coûteuses : Utiliser un cluster EMR provisionné pour copier les fichiers augmenterait les coûts et la complexité. Charger les données dans Aurora puis utiliser AWS Glue ajouterait des étapes inutiles et des coûts supplémentaires. Utiliser une tâche AWS Glue pour copier les fichiers dans un seul dossier est possible mais moins efficace que le manifeste, car cela implique un déplacement de données qui peut être évité.