Sie müssen lokale Hadoop-Cluster und Hunderte von Airflow-ETL-Pipelines mit minimalen Orchestrierungsänderungen modernisieren. Welche Google Cloud-Architektur erfüllt diese Anforderung?

Die korrekte Antwort ist, Dataproc für die Migration von Hadoop-Clustern zu verwenden, Cloud Storage als HDFS-Ersatz einzusetzen und die Orchestrierung mit Cloud Composer fortzusetzen. Dataproc ist ein verwalteter Dienst, der Hadoop- und Spark-Cluster schnell bereitstellt und verwaltet, was eine nahtlose Migration bestehender Hadoop-Workloads ermöglicht. Cloud Storage ist ein hochverfügbarer und skalierbarer Objektspeicher, der HDFS effektiv ersetzen kann, da er mit Dataproc integriert ist und die Speicherung von Daten entkoppelt. Cloud Composer, basierend auf Apache Airflow, ist ideal, um bestehende Airflow-ETL-Pipelines mit minimalen Änderungen zu orchestrieren, da es die gleiche Codebasis verwendet. Die Option mit Bigtable ist falsch, da Bigtable ein NoSQL-Datenbankdienst ist und kein direkter Ersatz für HDFS oder ein Hadoop-Cluster-Migrationsziel. Die Umstellung auf Dataflow würde erhebliche Änderungen an den ETL-Pipelines erfordern, was der Anforderung "minimale Orchestrierungsänderungen" widerspricht. Die Migration zu Cloud Data Fusion für die Orchestrierung würde ebenfalls eine Umschulung und Anpassung erfordern, anstatt die bestehende Airflow-Expertise zu nutzen.