Un ingénieur ML doit traiter des milliers de fichiers CSV existants ainsi que de nouveaux téléchargements CSV stockés dans un compartiment S3 central. Tous les fichiers CSV partagent la même structure de colonnes et incluent une colonne de date de transaction qui doit être interrogée. Quelle solution permet d'y parvenir avec le moins de frais opérationnels ?

La création d'une table Amazon Athena (partitionnée par date de transaction) directement sur les fichiers CSV existants dans S3 est la solution la plus efficace et la moins coûteuse. Athena est un service de requête interactif sans serveur qui permet d'interroger des données directement dans S3 en utilisant SQL standard, éliminant ainsi le besoin de déplacer ou de transformer les données. La partitionnement par date de transaction optimise les requêtes en réduisant la quantité de données scannées. Les autres options impliquent des mouvements de données inutiles, des transformations complexes ou des services plus coûteux et plus complexes à gérer pour ce cas d'utilisation simple de requête ad hoc.