Un système de surveillance écrit 1 To d'enregistrements de métriques chaque minute dans Amazon S3. Les analystes interrogent ces données avec Amazon Athena, mais les requêtes sont lentes en raison du volume de données. Quel format de fichier stocké dans S3 améliorera les performances des requêtes Athena ?

Les fichiers Parquet sont un format de stockage de données en colonnes optimisé pour les requêtes analytiques. En stockant les données par colonne, Athena peut lire uniquement les colonnes nécessaires pour une requête, réduisant ainsi la quantité de données scannées et améliorant considérablement les performances et réduisant les coûts. Les fichiers CSV sont un format ligne par ligne qui nécessite de scanner toutes les données, ce qui est inefficace pour de grands volumes. Les fichiers JSON compressés souffrent du même problème de lecture ligne par ligne et de la complexité de l'analyse des structures JSON. Les fichiers RecordIO sont un format binaire optimisé pour l'entraînement de modèles de machine learning, mais pas pour les requêtes analytiques interactives avec Athena.