Migrare un cluster Spark/Hive/HDFS on-premise con dimensioni fluttuanti e di picco al cloud entro 2 mesi, ridurre le operazioni e abilitare una successiva modernizzazione serverless. Quale approccio di migrazione bilancia velocità e risparmio sui costi?

La migrazione a Dataproc con Cloud Storage (GCS) per la persistenza dei dati è la soluzione più equilibrata. Dataproc offre un ambiente Spark/Hive gestito, riducendo le operazioni e consentendo una rapida migrazione ("entro 2 mesi"). L'uso di GCS al posto di HDFS è cruciale perché GCS è un servizio di storage scalabile, duraturo e a basso costo, disaccoppiato dal cluster di elaborazione, che abilita la modernizzazione serverless futura e riduce i costi operativi rispetto a HDFS. La modernizzazione successiva consente di mantenere la velocità di migrazione iniziale. Le altre opzioni sono meno ideali: Preservare HDFS con Dataproc non sfrutta i vantaggi di GCS e non facilita la futura modernizzazione serverless. Modernizzare Hive a BigQuery immediatamente, mantenendo HDFS, è un approccio ibrido che aggiunge complessità e non risolve completamente il problema di HDFS. Modernizzare Spark a Dataflow e Hive a BigQuery immediatamente è un approccio "lift and shift" troppo aggressivo per il vincolo di tempo di 2 mesi e per la necessità di bilanciare velocità e costi, richiedendo una riscrittura significativa dei carichi di lavoro.