Un système de reporting livre des centaines de fichiers .csv vers un bucket Amazon S3 chaque jour. L'entreprise doit convertir ces fichiers au format Apache Parquet et stocker les résultats dans un bucket de données transformées. Quelle solution répondra à cette exigence avec le MOINS d'effort de développement ?

La création d'un crawler AWS Glue et d'un job AWS Glue ETL est la solution la moins coûteuse en termes de développement. AWS Glue est un service ETL sans serveur entièrement géré qui peut découvrir automatiquement les schémas de données (avec le crawler), puis transformer les données CSV en Parquet à l'aide d'un script Python ou Scala généré automatiquement ou personnalisé. Il gère l'infrastructure sous-jacente, réduisant ainsi l'effort opérationnel. Les autres options sont moins optimales : Un cluster Amazon EMR nécessite la gestion de l'infrastructure EMR et le développement d'une application Spark, ce qui représente un effort de développement et de gestion plus important. AWS Batch est plus adapté aux charges de travail par lots conteneurisées et nécessiterait la création et la maintenance d'un script Bash personnalisé pour la conversion, ainsi que la gestion de l'environnement Batch. Une fonction AWS Lambda a une limite de temps d'exécution (15 minutes) et de mémoire, ce qui pourrait être insuffisant pour traiter de gros fichiers CSV, et nécessiterait un développement plus important pour gérer la logique de conversion et les erreurs.