Migrare Hadoop on-prem a una soluzione cloud gestita, fault-tolerant ed economicamente vantaggiosa per job batch a lunga esecuzione. Cosa si dovrebbe implementare?

La soluzione corretta sfrutta Dataproc, un servizio gestito per Hadoop/Spark, che offre fault tolerance e scalabilità. L'uso di dischi persistenti standard è sufficiente per la maggior parte dei carichi di lavoro batch e più economico degli SSD. I worker preemptible riducono significativamente i costi per job a lunga esecuzione che possono tollerare interruzioni. Archiviare i dati in Cloud Storage (con aggiornamento degli script da hdfs:// a gs://) disaccoppia lo storage dal calcolo, migliorando l'affidabilità, la scalabilità e riducendo i costi. Le altre opzioni sono meno ottimali: L'uso di dischi SSD in Dataproc è più costoso e spesso non necessario per job batch. Installare Hadoop/Spark su Compute Engine richiede una gestione manuale significativa, perdendo i vantaggi di un servizio gestito come Dataproc. Usare HDFS su Compute Engine preemptible non offre la fault tolerance e la persistenza dei dati di Cloud Storage, rendendolo inadatto per job a lunga esecuzione.