Migrar un clúster on-prem de Spark/Hive/HDFS de tamaño fluctuante y de pico a la nube en 2 meses, reducir las operaciones y permitir una modernización serverless posterior. ¿Qué enfoque de migración equilibra la velocidad y el ahorro de costos?

La migración a Dataproc con Cloud Storage es la opción más equilibrada. Dataproc es un servicio gestionado de Spark/Hive que reduce la carga operativa y es compatible con el clúster existente, lo que permite una migración rápida (2 meses). Usar Cloud Storage en lugar de HDFS es clave porque desacopla el almacenamiento del cómputo, elimina la gestión de HDFS y prepara el terreno para una futura modernización sin servidor, como Dataflow o BigQuery, sin necesidad de reingesta de datos. Las otras opciones son menos óptimas: conservar HDFS mantiene la complejidad operativa; modernizar Hive a BigQuery de inmediato es un paso de modernización que no se alinea con la necesidad de velocidad inicial; y modernizar Spark a Dataflow y Hive a BigQuery inmediatamente es una modernización completa que excede el plazo de 2 meses.