Una empresa recibe diariamente un archivo .xls de ~2 GB en S3 con datos de clientes. Un ingeniero de datos concatena las columnas de nombre y apellido y necesita contar el número de clientes distintos en el archivo. ¿Qué enfoque requiere el menor esfuerzo operativo?

AWS Glue DataBrew es la opción con menor esfuerzo operativo porque es un servicio de preparación de datos visual y sin código que permite a los usuarios limpiar, normalizar y transformar datos sin escribir una sola línea de código. La función COUNTDISTINCT es una operación predefinida que se puede aplicar fácilmente a la columna concatenada, lo que simplifica enormemente el proceso. Las otras opciones requieren más esfuerzo operativo: AWS Glue Studio (Apache Spark en un notebook de AWS Glue) y Amazon EMR Serverless (Apache Spark) implican escribir y mantener código Spark, lo que aumenta la complejidad y el esfuerzo de desarrollo. AWS Glue Data Catalog y Amazon Athena son excelentes para consultar datos, pero primero se necesita un crawler para definir el esquema. Aunque Athena puede ejecutar la consulta COUNT(DISTINCT), la preparación de los datos (concatenación) y la gestión del crawler añaden más pasos manuales o de codificación en comparación con DataBrew.