Devi migrare un cluster Hadoop da 30 nodi al cloud, riutilizzare i job Hadoop esistenti, minimizzare la gestione del cluster e rendere persistenti i dati oltre la durata del cluster. Cosa dovresti fare?

La soluzione migliore è creare un cluster Cloud Dataproc che utilizza il connettore Google Cloud Storage. Cloud Dataproc è un servizio Hadoop e Spark completamente gestito che consente di riutilizzare i job Hadoop esistenti, minimizzando la gestione del cluster. L'utilizzo del connettore Google Cloud Storage (GCS) permette di desacoppiare lo storage dal calcolo, garantendo la persistenza dei dati oltre la durata del cluster, poiché GCS è uno storage durevole e scalabile. Le altre opzioni sono meno ideali: Creare un job Google Cloud Dataflow per elaborare i dati richiederebbe la riscrittura dei job Hadoop esistenti, il che non soddisfa il requisito di riutilizzo. Creare un cluster Google Cloud Dataproc che utilizza dischi persistenti per HDFS manterrebbe i dati all'interno del cluster, non garantendo la persistenza oltre la sua durata e aumentando i costi di gestione dello storage. Creare un cluster Hadoop su Google Compute Engine che utilizza dischi persistenti o SSD locali aumenterebbe significativamente l'onere di gestione del cluster rispetto a Dataproc, che è un servizio gestito.