Un científico de datos tiene 20 TB de datos CSV en Amazon S3 y necesita convertirlos a Apache Parquet con el menor esfuerzo. ¿Cuál es la forma más sencilla de realizar esta conversión?

La opción correcta es escribir un script de conversión y ejecutarlo como un trabajo de AWS Glue. AWS Glue es un servicio de ETL (Extract, Transform, Load) sin servidor y escalable que está diseñado para procesar grandes volúmenes de datos. Permite ejecutar scripts de Python o Scala para leer datos de S3, transformarlos (como convertir de CSV a Parquet) y escribirlos de nuevo en S3. Esto minimiza el esfuerzo operativo ya que AWS Glue gestiona la infraestructura subyacente. Usar un crawler de AWS Glue solo descubre el esquema y cataloga los datos, no los convierte. Ejecutar un script en un clúster de Amazon EMR requiere la gestión del clúster, lo que aumenta el esfuerzo. Un notebook de Amazon SageMaker no es la herramienta más eficiente ni escalable para procesar 20 TB de datos de forma programática.