Вам необходимо модернизировать локальные кластеры Hadoop и сотни конвейеров ETL Airflow с минимальными изменениями в оркестрации. Какая архитектура Google Cloud соответствует этому требованию?

Правильный ответ — использование Dataproc для миграции кластеров Hadoop, Cloud Storage для замены HDFS и продолжение оркестрации с помощью Cloud Composer. Dataproc — это управляемый сервис Hadoop и Spark, который позволяет легко переносить существующие рабочие нагрузки Hadoop с минимальными изменениями. Cloud Storage является идеальной заменой HDFS благодаря своей масштабируемости и надежности. Cloud Composer (управляемый Apache Airflow) позволяет использовать существующие конвейеры Airflow практически без изменений, что соответствует требованию минимальных изменений в оркестрации. Другие варианты не подходят, потому что: Использование Bigtable не является прямой заменой кластеров Hadoop для общих рабочих нагрузок, а Cloud Composer уже включен в правильный ответ. Преобразование конвейеров ETL в Dataflow или перенос оркестрации в Cloud Data Fusion потребует значительных изменений в оркестрации, что противоречит требованию.