Une entreprise de jeux vidéo collecte des événements de flux de clics avec Amazon Kinesis Data Streams et utilise Kinesis Data Firehose pour livrer des fichiers JSON à Amazon S3. Les scientifiques des données interrogent les données les plus récentes dans Amazon Athena. L'entreprise souhaite réduire les coûts de requête Athena sans reconstruire le pipeline de données existant. Quelle option minimise l'effort de gestion tout en répondant à l'exigence ?

L'option correcte minimise les coûts de requête Athena en convertissant les données en Parquet et en les partitionnant. Parquet est un format de stockage en colonnes optimisé pour les requêtes analytiques, réduisant la quantité de données scannées par Athena. La définition d'un préfixe S3 personnalisé comme YYYYMMDD crée des partitions basées sur la date, ce qui permet à Athena de ne scanner que les données pertinentes pour une requête donnée. Une grande taille de tampon réduit le nombre de petits fichiers, améliorant les performances d'Athena. Pour les données historiques, un job AWS Glue ETL fusionne les petits fichiers JSON existants en Parquet et les partitionne, ce qui est une approche efficace pour optimiser les données déjà ingérées. Les autres options sont moins optimales car elles impliquent une complexité de gestion plus élevée (cluster EMR, Kinesis Data Streams avec Apache Flink, Lambda) ou ne gèrent pas efficacement les données historiques sans reconstruire le pipeline. L'utilisation d'ALTER TABLE SET LOCATION dans l'option 2 est risquée car elle modifie la table pour pointer vers un nouvel emplacement, ce qui peut entraîner des problèmes de cohérence des données.