Een monitoringsysteem schrijft elke minuut 1 TB aan metrische records naar Amazon S3. Analisten bevragen deze data met Amazon Athena, maar queries zijn traag vanwege het datavolume. Welk bestandsformaat opgeslagen in S3 zal de Athena queryprestaties verbeteren?

Parquet-bestanden zijn een kolomgeoriënteerd opslagformaat, wat betekent dat ze gegevens per kolom opslaan in plaats van per rij. Dit is zeer efficiënt voor analytische queries zoals die van Athena, omdat Athena alleen de benodigde kolommen hoeft te lezen, wat de I/O-kosten en querytijden aanzienlijk vermindert. CSV-bestanden zijn rijgeoriënteerd en vereisen dat Athena de hele rij leest, zelfs als slechts enkele kolommen nodig zijn, wat leidt tot tragere prestaties bij grote datasets. Gecomprimeerde JSON-bestanden zijn ook rijgeoriënteerd en hoewel compressie opslagruimte bespaart, verbetert het de queryprestaties van Athena niet op dezelfde manier als een kolomgeoriënteerd formaat. RecordIO-bestanden zijn een binair formaat dat vaak wordt gebruikt voor machine learning-workloads, maar ze zijn niet geoptimaliseerd voor analytische queries met Athena.