Je moet een Hadoop-cluster met 30 nodes migreren naar de cloud, bestaande Hadoop-taken hergebruiken, het clusterbeheer minimaliseren en gegevens behouden na de levensduur van het cluster. Wat moet je doen?

De beste oplossing is het maken van een Cloud Dataproc-cluster dat de Google Cloud Storage-connector gebruikt. Dataproc is een beheerde Hadoop- en Spark-service, wat het clusterbeheer minimaliseert. Door de Google Cloud Storage-connector te gebruiken, worden gegevens direct in Google Cloud Storage (GCS) opgeslagen, wat zorgt voor gegevenspersistentie na het beëindigen van het cluster. Bestaande Hadoop-taken kunnen zonder grote aanpassingen worden hergebruikt, omdat Dataproc compatibel is met het Hadoop-ecosysteem. Het maken van een Dataflow-taak is niet ideaal, omdat dit een volledige herimplementatie van de bestaande Hadoop-taken zou vereisen. Een Dataproc-cluster met persistente schijven voor HDFS zou gegevensverlies veroorzaken bij het beëindigen van het cluster, tenzij er handmatig back-ups worden gemaakt. Het bouwen van een Hadoop-cluster op Compute Engine met persistente schijven of Local SSD's vereist veel handmatig beheer en biedt geen automatische gegevenspersistentie buiten de levensduur van het cluster. Local SSD's zijn bovendien vluchtig.