Una empresa está migrando cargas de trabajo on-premises a escala de petabytes que utilizan Apache Pig, Oozie, Spark, HBase y Flink a AWS y desea una menor sobrecarga operativa y opciones serverless, manteniendo un rendimiento igual o superior. ¿Qué servicio de ETL deberían elegir?

Amazon EMR es la opción más adecuada porque soporta todos los frameworks mencionados (Apache Pig, Oozie, Spark, HBase y Flink) y está diseñado para procesar grandes volúmenes de datos (escala de petabytes). Ofrece la flexibilidad de ejecutar clústeres bajo demanda, lo que reduce la sobrecarga operativa en comparación con la gestión de infraestructura on-premises. Aunque no es completamente serverless, EMR Serverless es una opción que minimiza aún más la gestión de infraestructura. AWS Glue es un servicio ETL serverless, pero no soporta directamente todos los frameworks mencionados, lo que requeriría una reescritura significativa de las cargas de trabajo existentes. AWS Lambda es ideal para funciones sin servidor y procesamiento de eventos, pero no es adecuado para cargas de trabajo ETL a escala de petabytes con los frameworks especificados. Amazon Redshift es un almacén de datos (data warehouse) y no un servicio ETL.