Une application place des centaines de fichiers .csv de 1 Go dans un compartiment Amazon S3 toutes les heures. Chaque fichier téléchargé doit être converti au format Apache Parquet et écrit dans un compartiment S3. Quelle solution offre la fonctionnalité requise avec le moins de frais opérationnels ?

La solution la plus efficace et avec le moins de frais opérationnels est d'utiliser un job AWS Glue ETL. AWS Glue est un service ETL sans serveur qui gère automatiquement le provisionnement et la mise à l'échelle des ressources nécessaires pour le traitement des données. Un job Glue peut être configuré pour lire les fichiers CSV, les convertir en Parquet et écrire les résultats dans S3. L'invocation du job Glue via une fonction Lambda déclenchée par l'événement S3 PUT assure une exécution réactive et automatisée. Les autres options sont moins optimales : Une fonction Lambda seule pourrait être limitée par la durée d'exécution (15 minutes) et la mémoire pour des fichiers de 1 Go, et nécessiterait plus de code personnalisé pour la conversion. Un job Apache Spark nécessiterait la gestion d'un cluster Spark, ce qui augmente les frais opérationnels par rapport à Glue. L'utilisation d'Athena et d'une table Glue pour la conversion n'est pas le cas d'utilisation principal d'Athena (qui est l'interrogation), et la planification périodique ne répondrait pas au besoin de conversion immédiate après chaque téléchargement.