Migreer Hadoop-jobs voor het Data Science-team zonder de jobs of het infrastructuurontwerp te wijzigen, en minimaliseer kosten en beheerinspanningen. Wat implementeert u?

De juiste optie is het aanmaken van een Dataproc-cluster met preemptible worker-instances. Dataproc is een managed service voor Apache Hadoop en Spark, wat betekent dat het de bestaande Hadoop-jobs kan uitvoeren zonder wijzigingen in de code of het infrastructuurontwerp. Dit minimaliseert de beheerinspanningen aanzienlijk. Het gebruik van preemptible instances verlaagt de kosten drastisch, omdat deze instances veel goedkoper zijn dan standaard instances en geschikt zijn voor fouttolerante, batch-georiënteerde workloads zoals Hadoop-jobs. Het aanmaken van een Dataproc-cluster met standaard worker-instances zou ook werken, maar is duurder en voldoet niet aan de eis om kosten te minimaliseren. Het handmatig implementeren van een Hadoop-cluster op Compute Engine, zowel met standaard als met preemptible instances, vereist aanzienlijk meer beheerinspanningen en gaat in tegen het minimaliseren van deze inspanningen.