Sie müssen Tausende von lokalen Apache Spark-Jobs mit verwalteten Diensten zu Google Cloud migrieren, Codeänderungen minimieren und schnell vorgehen. Welcher Migrationsansatz ist der richtige?

Die Migration von Apache Spark-Jobs zu Dataproc ist die effektivste Methode, da Dataproc ein vollständig verwalteter Apache Spark- und Hadoop-Dienst ist. Dies ermöglicht die Ausführung bestehender Spark-Jobs mit minimalen Codeänderungen und nutzt die Skalierbarkeit und Verwaltungsvorteile der Google Cloud. Das Verschieben der Daten nach Cloud Storage bietet eine hochverfügbare und skalierbare Speicherlösung, die nahtlos mit Dataproc integriert ist. Das Konvertieren von Spark-Skripten in SQL für BigQuery würde erhebliche Codeänderungen erfordern und ist nicht für alle Spark-Workloads geeignet. Das Neuschreiben von Jobs in Apache Beam für Dataflow wäre ebenfalls ein großer Aufwand und würde dem Ziel widersprechen, Codeänderungen zu minimieren. Das Kopieren von Daten auf Compute Engine-Festplatten und die manuelle Verwaltung der Jobs würde die Vorteile verwalteter Dienste zunichtemachen und den Verwaltungsaufwand erheblich erhöhen.