Una empresa ejecuta un clúster de Amazon EMR aprovisionado utilizando instancias de Amazon EC2 de propósito general. EMR managed scaling está configurado para variar el número de nodos de tareas de uno a cinco para un trabajo diario de ETL de Apache Spark de larga duración. Cada ejecución escala rápidamente el clúster a cinco nodos de tareas; la utilización de la CPU a menudo alcanza su límite mientras que la memoria se mantiene por debajo del 30%. La empresa quiere cambiar la configuración de EMR para reducir el costo de ejecutar el trabajo diario de ETL. ¿Qué opción cumplirá este requisito de la manera más rentable?

La opción correcta es cambiar el tipo de nodo de tarea de instancias EC2 de propósito general a instancias EC2 optimizadas para cómputo. El problema describe una alta utilización de CPU y baja utilización de memoria. Las instancias optimizadas para cómputo (por ejemplo, la familia C) ofrecen una mayor proporción de CPU a memoria, lo que se alinea con las necesidades del trabajo de Spark. Al utilizar instancias que se ajustan mejor al perfil de carga de trabajo, se puede lograr la misma potencia de procesamiento con menos recursos de memoria no utilizados, lo que reduce los costos. Aumentar el número máximo de nodos de tareas no aborda la ineficiencia del tipo de instancia y podría aumentar los costos. Cambiar a instancias optimizadas para memoria (por ejemplo, la familia R) sería contraproducente, ya que la memoria ya está subutilizada. Reducir el período de "cooldown" de escalado podría mejorar la capacidad de respuesta del escalado, pero no optimiza la relación costo-rendimiento de los nodos individuales.