Devi modernizzare i cluster Hadoop on-prem e centinaia di pipeline ETL di Airflow con modifiche minime all'orchestrazione. Quale architettura di Google Cloud soddisfa questo requisito?

L'opzione corretta è "Usa Dataproc per migrare i cluster Hadoop, usa Cloud Storage per la sostituzione di HDFS e continua l'orchestrazione con Cloud Composer". Dataproc è un servizio gestito per Apache Hadoop e Spark che consente una migrazione quasi diretta dei cluster Hadoop on-premise, riducendo al minimo le modifiche. Cloud Storage è la soluzione nativa di Google Cloud per la sostituzione di HDFS, offrendo scalabilità e durabilità. Cloud Composer, basato su Apache Airflow, permette di riutilizzare le pipeline Airflow esistenti con modifiche minime all'orchestrazione. Le altre opzioni sono meno adatte: Bigtable non è un sostituto diretto per carichi di lavoro Hadoop generici o HDFS. Convertire le pipeline ETL in Dataflow o migrare a Cloud Data Fusion richiederebbe modifiche significative all'orchestrazione, contravvenendo al requisito di "modifiche minime".