Une entreprise a considérablement augmenté le volume de fichiers CSV stockés dans un compartiment Amazon S3. Les scripts et les requêtes de transformation de données sont devenus beaucoup plus lents. Un ingénieur ML doit implémenter une solution qui optimise les données pour les performances des requêtes avec le MOINS de surcharge opérationnelle. Quelle option satisfait cette exigence ?

La conversion des fichiers CSV au format Apache Parquet est la meilleure solution. Parquet est un format de stockage de données en colonnes optimisé pour les performances des requêtes analytiques. Il offre une compression et un encodage efficaces, ce qui réduit la taille des données et accélère les opérations de lecture, en particulier pour les requêtes qui ne nécessitent qu'un sous-ensemble de colonnes. Un job AWS Glue ETL est un moyen sans serveur et entièrement géré de réaliser cette transformation, minimisant ainsi la surcharge opérationnelle. Diviser les fichiers CSV en objets plus petits (option 1) peut aider à la parallélisation, mais ne résout pas l'inefficacité intrinsèque du format CSV pour les requêtes analytiques. Supprimer les colonnes de type chaîne de caractères (option 2) n'est pas une optimisation générale et pourrait entraîner une perte de données précieuses. L'utilisation d'un cluster Amazon EMR (option 4) est puissante, mais elle implique une gestion de cluster et une surcharge opérationnelle plus importantes qu'un job AWS Glue sans serveur.