Een bedrijf centraliseert VPC flow logs van veel accounts in één S3-bucket. Logs worden opgeslagen als tekstbestanden gecomprimeerd met gzip en moeten voor onbepaalde tijd worden bewaard. Analisten voeren ad-hoc Athena-query's uit op deze logs, maar de queryprestaties nemen af naarmate het logvolume groeit. Je moet zowel de queryprestaties verbeteren als het opslaggebruik verminderen. Welke wijziging zal de GROOTSTE prestatieverbetering opleveren?

Het herconfigureren van VPC flow log-levering naar Apache Parquet-formaat met uurlijkse partities biedt de grootste prestatieverbetering. Parquet is een kolomgeoriënteerd formaat dat geoptimaliseerd is voor analytische queries, wat de hoeveelheid data die Athena moet lezen aanzienlijk vermindert. Uurlijkse partities beperken de scan tot relevante tijdsperioden, wat de queryprestaties verder versnelt en opslagkosten verlaagt. Het decomprimeren en opnieuw comprimeren met bzip2 (optie 1) verbetert de prestaties minder dan Parquet en voegt complexiteit toe. S3 Transfer Acceleration en S3 Intelligent-Tiering (optie 2) zijn gericht op uploadprestaties en opslagkosten, niet op queryprestaties. Een nieuwe Athena-workgroup met engine versie 2 (optie 4) kan kleine verbeteringen bieden, maar pakt de onderliggende inefficiëntie van het dataformaat niet aan.