Você precisa modernizar clusters Hadoop on-prem e centenas de pipelines ETL do Airflow com o mínimo de alterações na orquestração. Qual arquitetura do Google Cloud se encaixa nesse requisito?

A opção correta é usar o Dataproc para migrar clusters Hadoop, o Cloud Storage para substituir o HDFS e continuar a orquestração com o Cloud Composer. O Dataproc é um serviço gerenciado que facilita a execução de frameworks de código aberto como Hadoop e Spark, minimizando as alterações nos pipelines existentes. O Cloud Storage é a solução nativa do Google Cloud para armazenamento escalável e durável, sendo um substituto ideal para o HDFS. Manter o Cloud Composer para orquestração garante o mínimo de alterações, pois ele é uma implementação gerenciada do Airflow, permitindo que os pipelines ETL existentes do Airflow continuem funcionando com poucas modificações. As outras opções envolvem mudanças mais significativas na orquestração ou no armazenamento principal, o que não atende ao requisito de "mínimo de alterações".