Şirket içinde Parquet'i günlük olarak işleyen Spark işleriniz var. Google Cloud'a geçiş yaparken yönetilen hizmetler, minimum ETL değişiklikleri ve gelecekteki pipeline'lar için BigQuery kullanılabilirliği istiyorsunuz. Ne yapmalısınız?

Bu seçenek, mevcut Parquet verilerini Cloud Storage'a taşıyarak ve metadata'yı Dataproc Metastore'a (DPMS) entegre ederek minimum ETL değişikliği ve yönetilen hizmetler hedeflerini karşılar. Spark işlerini Cloud Storage'dan okuyacak/yazacak şekilde yeniden düzenlemek, mevcut mantığı korurken bulut ortamına geçişi kolaylaştırır. Dataproc Serverless, Spark işlerini sunucusuz bir şekilde çalıştırarak operasyonel yükü azaltır ve ölçeklenebilirlik sağlar. Gelecekte BigQuery ile entegrasyon için, Dataproc Metastore'daki metadata, BigQuery Omni veya harici tablolar aracılığıyla BigQuery'ye erişimi kolaylaştırabilir. Diğer seçenekler: Dataplex varlığı olarak kaydetmek, veri yönetimi için faydalı olsa da, Spark işlerinin doğrudan metadata yönetimi için DPMS kadar entegre bir çözüm sunmaz. Verileri doğrudan BigQuery'ye taşımak, Parquet formatındaki veriler için önemli ETL değişiklikleri gerektirir ve bu da "minimum ETL değişiklikleri" hedefine aykırıdır. Verileri BigLake'e taşımak yerine, BigLake bir depolama katmanı değil, Cloud Storage üzerindeki verilere erişim sağlayan bir teknolojidir. Ayrıca, Spark işlerini Compute Engine üzerindeki Dataproc'ta çalıştırmak, sunucusuz bir yaklaşımdan ziyade yönetilmesi gereken bir küme anlamına gelir.