Om Amazon Athena-query's te versnellen, ontdekt een data engineer dat alle invoerbestanden ongecomprimeerde .csv-bestanden zijn en dat de meeste query's één kolom selecteren. Welke wijziging zal de Athena-queryprestaties HET MEEST verbeteren?

Het converteren van .csv-bestanden naar Apache Parquet met Snappy-compressie verbetert de Athena-queryprestaties het meest. Parquet is een kolomgericht opslagformaat, wat betekent dat Athena alleen de benodigde kolommen hoeft te lezen, in plaats van hele rijen, wat de I/O-kosten aanzienlijk verlaagt, vooral wanneer de meeste queries slechts één kolom selecteren. Snappy-compressie biedt een goede balans tussen compressieverhouding en decompressiesnelheid, wat de querytijd verder verkort. Het toepassen van Snappy-compressie op bestaande .csv-bestanden zou de bestandsgrootte verminderen, maar Athena zou nog steeds het hele bestand moeten scannen omdat .csv een rij-georiënteerd formaat is. Gzip-compressie is effectief, maar decompressie is CPU-intensiever dan Snappy, wat de querytijden kan verlengen. Het converteren naar JSON en Snappy-compressie zou ook een verbetering zijn, maar JSON is nog steeds een rij-georiënteerd formaat en biedt niet de kolomgerichte voordelen van Parquet.