Şirket içi Hadoop kümelerini ve yüzlerce Airflow ETL işlem hattını minimum orkestrasyon değişikliğiyle modernize etmeniz gerekiyor. Bu gereksinime hangi Google Cloud mimarisi uyar?

Doğru cevap, şirket içi Hadoop kümelerini Dataproc'a taşımayı, HDFS yerine Cloud Storage'ı kullanmayı ve mevcut Airflow ETL işlem hatlarını minimum değişiklikle Cloud Composer ile orkestrasyon etmeye devam etmeyi önerir. Dataproc, yönetilen bir Hadoop ve Spark hizmeti olarak mevcut Hadoop iş yüklerini kolayca Google Cloud'a taşımak için idealdir. Cloud Storage, HDFS'ye ölçeklenebilir ve dayanıklı bir alternatif sunar. Cloud Composer ise Airflow tabanlı olduğu için mevcut Airflow orkestrasyonunu neredeyse hiç değişiklik yapmadan kullanmaya devam etmenizi sağlar, bu da "minimum orkestrasyon değişikliği" gereksinimini karşılar. Diğer seçenekler ise ya gereksinimleri tam olarak karşılamaz ya da daha fazla değişiklik gerektirir: Bigtable büyük iş yükleri için uygun olsa da, HDFS kullanım durumlarının tamamı için doğrudan bir yedek değildir ve orkestrasyon değişikliği gereksinimini karşılamaz. ETL işlem hatlarını Dataflow'a dönüştürmek, önemli bir yeniden yazma ve orkestrasyon değişikliği gerektirir. Cloud Data Fusion'a geçmek de orkestrasyon katmanında büyük bir değişiklik anlamına gelir.