Een applicatie plaatst elk uur honderden .csv-bestanden van 1 GB in een Amazon S3-bucket. Elk geüpload bestand moet worden geconverteerd naar Apache Parquet-formaat en naar een S3-bucket worden geschreven. Welke oplossing biedt de vereiste functionaliteit met de minste operationele overhead?

De correcte optie is het maken van een AWS Glue ETL-taak die wordt aangeroepen door een Lambda-functie bij elke S3 PUT-gebeurtenis. AWS Glue is een serverloze ETL-service die speciaal is ontworpen voor grootschalige dataverwerking en conversie, zoals het transformeren van CSV naar Parquet. Dit biedt de minste operationele overhead omdat AWS Glue automatisch de benodigde rekenresources beheert. De optie met alleen een Lambda-functie is minder geschikt omdat 1 GB bestanden te groot kunnen zijn voor de geheugen- en uitvoeringslimieten van Lambda, wat leidt tot time-outs of complexe chunking-logica. Een Apache Spark-taak vereist het beheer van een Spark-cluster, wat meer operationele overhead met zich meebrengt dan AWS Glue. De optie met AWS Glue-tabellen, crawlers en Athena is bedoeld voor het bevragen van data, niet primair voor geautomatiseerde bestandsconversie bij elke upload, en zou meer stappen en complexiteit introduceren dan nodig is voor deze specifieke taak.