Une entreprise stocke des millions de fichiers JSON de résultats de tests de 1 Ko provenant d'installations de test mondiales dans S3. Un ingénieur de données doit convertir ces fichiers au format Apache Parquet et les charger dans Amazon Redshift. Le pipeline actuel utilise AWS Glue pour le traitement, Step Functions pour l'orchestration et EventBridge pour la planification. À mesure que de nouvelles installations sont ajoutées, le temps de traitement a augmenté. Quel changement réduira le plus le temps de traitement ?

L'option de regroupement de fichiers de trames dynamiques d'AWS Glue est la solution la plus efficace car elle optimise le traitement des millions de petits fichiers JSON. AWS Glue est déjà utilisé dans le pipeline, ce qui minimise les changements architecturaux. Le regroupement de petits fichiers en fichiers plus grands réduit considérablement la surcharge liée à la gestion de nombreux objets S3 et améliore les performances des opérations de lecture et d'écriture, ce qui est crucial pour les charges de travail analytiques comme Redshift. L'utilisation de Lambda pour regrouper les fichiers est possible mais ajoute une couche de complexité et de coût de calcul supplémentaire avant Glue. La commande COPY de Redshift est conçue pour charger des données, pas pour les transformer ou les regrouper efficacement à partir de millions de petits fichiers JSON. Amazon EMR est une alternative puissante à Glue, mais son introduction nécessiterait une refonte plus importante du pipeline existant et n'est pas nécessairement plus efficace pour le regroupement de fichiers que la fonctionnalité intégrée de Glue pour ce cas d'utilisation spécifique.