Usted espera un gran aumento en los trabajos de Spark y Hadoop desde un centro de datos local y desea una escalabilidad en la nube con un trabajo operativo y cambios de código mínimos. ¿Qué producto debería usar?

Google Cloud Dataproc es la mejor opción porque es un servicio de Spark y Hadoop completamente administrado que permite migrar cargas de trabajo existentes con cambios mínimos. Ofrece escalabilidad automática y se integra bien con otros servicios de Google Cloud, reduciendo la carga operativa. Google Cloud Dataflow es para procesamiento de datos stream y batch, pero no es un reemplazo directo para entornos Spark/Hadoop existentes sin refactorización. Google Compute Engine requeriría que usted administre las instancias y el software de Spark/Hadoop, lo que aumenta la carga operativa. Google Kubernetes Engine es una plataforma de orquestación de contenedores, que si bien es potente, requeriría una reingeniería significativa de las aplicaciones Spark/Hadoop para ejecutarse en contenedores.