Une entreprise dispose de 10 To de fichiers journaux au format Apache Parquet stockés dans un compartiment Amazon S3 et doit occasionnellement exécuter des requêtes SQL sur ces fichiers. Quelle est la solution la plus rentable ?

La solution la plus rentable est d'utiliser AWS Glue et Amazon Athena. AWS Glue Crawler découvre le schéma des fichiers Parquet dans S3 et stocke les métadonnées dans le catalogue de données AWS Glue. Athena peut ensuite interroger ces données directement depuis S3 en utilisant SQL standard, sans avoir à charger les données ailleurs. Cette approche est rentable car Athena est un service sans serveur (serverless) et vous ne payez que pour les données scannées par vos requêtes. Les autres options sont moins rentables ou adaptées : Aurora MySQL n'est pas conçu pour les fichiers Parquet et nécessiterait une migration coûteuse et complexe. Redshift avec Redshift Spectrum est une option viable, mais Redshift est un entrepôt de données provisionné, ce qui peut être plus coûteux pour des requêtes occasionnelles que le modèle de paiement à la requête d'Athena. Amazon EMR avec Spark SQL est puissant, mais EMR implique la gestion de clusters et est généralement plus cher pour des requêtes occasionnelles, car vous payez pour le temps de fonctionnement des instances EMR.