Una empresa migró recientemente a la nube de AWS y desea una solución sin servidor para el procesamiento paralelo a gran escala y bajo demanda de un conjunto de datos semiestructurados almacenados en Amazon S3 (registros, archivos multimedia, transacciones, IoT). La solución debe procesar miles de elementos en paralelo. ¿Qué opción proporciona la MAYOR eficiencia operativa?

El estado Map de AWS Step Functions en modo Distributed es la opción más eficiente operativamente para este escenario. Permite orquestar miles de ejecuciones paralelas de flujos de trabajo, lo que es ideal para el procesamiento a gran escala de datos semiestructurados. Este modo maneja automáticamente la distribución, el escalado y la gestión de errores de las ejecuciones, reduciendo la sobrecarga operativa. El modo Inline del estado Map es adecuado para hasta 40 ejecuciones paralelas, insuficiente para miles de elementos. AWS Glue es un servicio ETL que requiere más configuración y gestión de infraestructura que Step Functions para este tipo de procesamiento de flujo de trabajo. Múltiples funciones de AWS Lambda requerirían una orquestación manual compleja para gestionar miles de ejecuciones paralelas y sus estados.