Je moet een dataset in Amazon S3 opvragen met Amazon Athena. De dataset bevat meer dan 800.000 CSV-records; elk record is ongeveer 1,5 MB groot en heeft 200 kolommen, maar de meeste queries benaderen slechts 5-10 kolommen. Welke formaatconversie minimaliseert de query-runtijd?

De dataset converteren naar Apache Parquet kolomformaat minimaliseert de query-runtijd aanzienlijk. Parquet is een kolomgericht opslagformaat dat zeer efficiënt is voor analytische queries, vooral wanneer slechts een subset van kolommen wordt opgevraagd. Het maakt het mogelijk om alleen de benodigde kolommen te lezen, wat de I/O-kosten en de verwerkingstijd drastisch vermindert. JSON en XML zijn rij-georiënteerde formaten en zijn niet geoptimaliseerd voor analytische queries die slechts enkele kolommen nodig hebben. Ze vereisen het lezen van de hele rij, zelfs als de meeste gegevens niet relevant zijn. GZIP-compressie van CSV-bestanden vermindert de opslagruimte en de overdrachtstijd, maar het blijft een rij-georiënteerd formaat, waardoor Athena nog steeds de hele rij moet parsen om de benodigde kolommen te extraheren.