Debe modernizar clústeres Hadoop on-prem y cientos de pipelines ETL de Airflow con cambios mínimos en la orquestación. ¿Qué arquitectura de Google Cloud se ajusta a este requisito?

La opción correcta es "Utilizar Dataproc para migrar clústeres Hadoop, usar Cloud Storage para reemplazar HDFS y continuar la orquestación con Cloud Composer". Dataproc es el servicio gestionado de Google Cloud para ejecutar clústeres Apache Hadoop y Spark, lo que permite una migración directa con cambios mínimos en las aplicaciones existentes. Cloud Storage es un reemplazo nativo de la nube para HDFS, ofreciendo escalabilidad y durabilidad. Mantener Cloud Composer (basado en Apache Airflow) para la orquestación cumple con el requisito de "cambios mínimos en la orquestación", ya que Airflow ya está en uso. Las otras opciones son incorrectas porque: Usar Bigtable para grandes cargas de trabajo es una base de datos NoSQL, no un reemplazo directo para las cargas de trabajo de procesamiento de Hadoop. Convertir los pipelines ETL a Dataflow o migrar la orquestación a Cloud Data Fusion implicaría cambios significativos en los pipelines y la orquestación, lo cual contradice el requisito de "cambios mínimos".