Una aplicación coloca cientos de archivos .csv de 1 GB en un bucket de Amazon S3 cada hora. Cada archivo cargado debe convertirse al formato Apache Parquet y escribirse en un bucket de S3. ¿Qué solución proporciona la funcionalidad requerida con la menor sobrecarga operativa?

La opción correcta es usar un trabajo ETL de AWS Glue invocado por una función Lambda en cada evento S3 PUT. AWS Glue es un servicio ETL sin servidor diseñado para procesar grandes volúmenes de datos, como los archivos CSV de 1 GB. Un trabajo de Glue puede manejar eficientemente la conversión a Parquet y escribir los resultados en S3. La integración con Lambda para cada evento S3 PUT asegura un procesamiento casi en tiempo real y automatizado, minimizando la sobrecarga operativa ya que no hay servidores que aprovisionar o administrar. Las otras opciones son menos óptimas: Una función Lambda directamente para la conversión podría exceder los límites de memoria o tiempo de ejecución para archivos de 1 GB, o requerir configuraciones complejas para manejar el tamaño. Un trabajo de Apache Spark requiere la gestión de un clúster Spark, lo que aumenta la sobrecarga operativa. Usar AWS Glue Crawler y Athena periódicamente no cumple con el requisito de procesamiento inmediato tras cada carga de archivo.