Musisz zmodernizować klastry Hadoop on-prem i setki potoków ETL Airflow przy minimalnych zmianach w orkiestracji. Która architektura Google Cloud spełnia to wymaganie?

Poprawna odpowiedź to użycie Dataproc do migracji klastrów Hadoop, Cloud Storage jako zamiennika HDFS i kontynuowanie orkiestracji za pomocą Cloud Composer. Dataproc to zarządzana usługa, która ułatwia migrację obciążeń Hadoop i Spark do Google Cloud, minimalizując zmiany w kodzie. Cloud Storage jest natywnym dla chmury, skalowalnym i trwałym zamiennikiem dla HDFS. Cloud Composer to zarządzana usługa Apache Airflow, co oznacza, że istniejące potoki Airflow mogą być przeniesione z minimalnymi zmianami, spełniając wymóg zachowania orkiestracji. Pozostałe opcje są mniej odpowiednie: Bigtable jest bazą danych NoSQL, a nie zamiennikiem dla HDFS, i nie jest przeznaczony do ogólnego przechowywania plików. Konwersja potoków ETL na Dataflow lub migracja do Cloud Data Fusion wymagałaby znaczących zmian w orkiestracji, co jest sprzeczne z wymaganiem minimalnych zmian.