Een rapportagesysteem levert dagelijks honderden .csv-bestanden aan een Amazon S3-bucket. Het bedrijf moet deze bestanden converteren naar Apache Parquet en de resultaten opslaan in een getransformeerde data bucket. Welke oplossing voldoet aan de vereiste met de MINSTE ontwikkelingsinspanning?

AWS Glue is een volledig beheerde ETL-service (Extract, Transform, Load) die speciaal is ontworpen voor data-integratie en -transformatie. Een AWS Glue crawler kan automatisch het schema van de .csv-bestanden in de S3-bucket detecteren. Vervolgens kan een AWS Glue ETL-taak, met behulp van Apache Spark, de .csv-bestanden eenvoudig converteren naar Apache Parquet-formaat en de resultaten opslaan in de opgegeven S3-bucket. Dit vereist de minste ontwikkelingsinspanning omdat Glue veel van de onderliggende infrastructuur en codegeneratie automatiseert. Het maken van een Amazon EMR-cluster met Apache Spark vereist meer handmatige configuratie en het schrijven van een Spark-applicatie, wat meer ontwikkelingsinspanning is. AWS Batch met een Bash-script is minder geschikt voor complexe datatransformaties en schaalbaarheid. Een AWS Lambda-functie is geschikt voor kleinere, event-gestuurde transformaties, maar voor honderden bestanden dagelijks kan dit leiden tot complexe Lambda-logica en schaalbaarheidsproblemen.