Un sistema de informes entrega cientos de archivos .csv a un bucket de Amazon S3 cada día. La empresa debe convertir estos archivos a Apache Parquet y almacenar los resultados en un bucket de datos transformados. ¿Qué solución cumplirá el requisito con el MENOR esfuerzo de desarrollo?

La opción correcta es AWS Glue porque está diseñado específicamente para ETL sin servidor, lo que minimiza el esfuerzo de desarrollo. Un crawler de Glue descubre automáticamente el esquema de los archivos .csv, y un trabajo de Glue ETL puede transformar fácilmente los datos a Apache Parquet y escribirlos en el bucket de destino. Crear un clúster de Amazon EMR con Apache Spark requiere configurar y administrar el clúster, además de escribir y mantener la aplicación Spark, lo que implica más esfuerzo. Usar AWS Batch con un script Bash puede ser complejo para la transformación de datos a Parquet y requiere más desarrollo. Una función de AWS Lambda tiene limitaciones de tiempo de ejecución y memoria, lo que la hace menos adecuada para procesar cientos de archivos grandes diariamente.