Migrare i job Hadoop per il team di Data Science senza modificare i job o la progettazione dell'infrastruttura, minimizzando i costi e l'impegno di gestione. Cosa si implementa?

La risposta corretta è creare un cluster Dataproc utilizzando istanze worker preemptible. Dataproc è un servizio gestito che semplifica la migrazione dei job Hadoop, riducendo l'impegno di gestione e permettendo di eseguire i job esistenti senza modifiche. L'uso di istanze preemptible minimizza i costi, poiché sono significativamente più economiche delle istanze standard, ideali per carichi di lavoro tolleranti ai guasti come i job Hadoop/Spark. Creare un cluster Dataproc con istanze worker standard aumenterebbe i costi senza un vantaggio significativo per job tolleranti ai guasti. Implementare manualmente un cluster Hadoop su Compute Engine, sia con istanze standard che preemptible, comporterebbe un notevole impegno di gestione e non sfrutterebbe i vantaggi di un servizio gestito come Dataproc.