Bir şirketin şirket içi bir Oracle veri ambarı var ve Amazon S3 üzerinde bir veri gölü kuruyor. Veri ambarı tablolarını S3'e yüklemeleri ve günlük artımlı verilerle senkronize tutmaları gerekiyor. Her tablonun monotonik olarak artan bir sütunu var, boyutları 50 GB'ın altında, gece yenileme işlemi sabah 1 ile 2 arasında yapılıyor ve BI sorguları sabah 10 ile akşam 8 arasında çalışıyor. En operasyonel olarak verimli yaklaşım hangisidir?

Doğru cevap, AWS DMS'in tam yük ve CDC (Değişiklik Verisi Yakalama) yeteneklerini kullanarak ilk yüklemeyi ve sürekli senkronizasyonu verimli bir şekilde gerçekleştirmesidir. DMS, Oracle'dan S3'e ilk tam yüklemeyi kolayca yapabilir ve ardından monotonik olarak artan sütunları kullanarak günlük artımlı değişiklikleri yakalayabilir. AWS Glue'daki özel mantık, bu artımlı verileri S3'teki mevcut kopyaya eklemek için kullanılabilir. Bu yaklaşım, operasyonel olarak verimlidir çünkü DMS, veri taşıma ve CDC için optimize edilmiştir ve Glue, S3'teki verileri işlemek için esneklik sağlar. Diğer seçenekler daha az verimlidir: Bir AWS Glue JDBC bağlantısı kullanmak ve iş yer imleri yapılandırmak, büyük ilk yüklemeler için DMS kadar verimli olmayabilir ve artımlı verileri yönetmek için daha karmaşık özel mantık gerektirebilir. Her gün tam yük geçişi yapmak, gereksiz veri transferi ve depolama maliyetleri oluşturur, özellikle tablolar 50 GB'a kadar olduğundan. Ayrıca, önceki günün kopyasının üzerine yazmak, geçmiş verilerin kaybolmasına neden olabilir. AWS Glue kullanarak her gün tam bir kopyayı S3'e yüklemek ve üzerine yazmak da aynı şekilde verimsizdir ve gereksiz kaynak tüketimine yol açar.