Migre Hadoop on-premise a una solución en la nube gestionada, tolerante a fallos y rentable para trabajos por lotes de larga duración. ¿Qué debería implementar?

La opción correcta es la más rentable y tolerante a fallos para trabajos por lotes de larga duración. Dataproc es un servicio gestionado que simplifica la administración de clústeres Hadoop/Spark. El uso de discos persistentes estándar es suficiente para la mayoría de los trabajos por lotes, ya que los datos se almacenan en Cloud Storage, que es duradero y de bajo costo. Los workers preemptivos reducen significativamente el costo, y un 50% proporciona un buen equilibrio entre ahorro y disponibilidad para trabajos de larga duración que pueden tolerar interrupciones ocasionales. Actualizar los scripts a gs:// permite aprovechar la escalabilidad y durabilidad de Cloud Storage. La opción con discos SSD es más cara sin un beneficio significativo para trabajos por lotes que no requieren E/S de disco de alta velocidad en los workers. Instalar Hadoop/Spark en Compute Engine requiere una gestión manual considerable, lo que aumenta la complejidad y el costo operativo. Almacenar datos en HDFS en Compute Engine anula los beneficios de durabilidad y escalabilidad de Cloud Storage y no es tolerante a fallos.