Bir şirket, yarı yapılandırılmış işlem verilerini S3'te depolar. Bazı dosyalar çok küçükken, diğerleri onlarca terabayt boyutundadır. Kaynak, günde bir kez tam bir JSON anlık görüntüsü gönderir ve ayrıca değişen kayıtları veri gölüne gönderir. Bir veri mühendisinin, değişiklikleri en uygun maliyetle belirlemek için değişiklik veri yakalama (CDC) gerçekleştirmesi gerekmektedir. En uygun maliyetli çözüm hangisidir?

Doğru cevap, S3'teki yarı yapılandırılmış verilerle çalışırken maliyet etkinliği ve esneklik sunan açık kaynaklı bir veri gölü formatı kullanmaktır. Apache Iceberg, Delta Lake veya Apache Hudi gibi formatlar, S3 üzerinde doğrudan ACID işlemleri, şema evrimi ve zaman yolculuğu yetenekleri sağlayarak, tam anlık görüntüler ve değişen kayıtlar için CDC'yi verimli bir şekilde yönetir. Bu, tüm veri kümesini yeniden işlemeye gerek kalmadan yalnızca değişen verilerin birleştirilmesine olanak tanır. Diğer seçenekler daha az maliyet etkindir: AWS Lambda işlevi, terabaytlarca veriyi karşılaştırmak için pahalı ve karmaşık olabilir. Amazon RDS veya Aurora Serverless'e veri almak, S3'te zaten bulunan verileri çoğaltır ve ek depolama ile işlem maliyetleri getirir. AWS DMS, ilişkisel veritabanları için tasarlanmış olsa da, S3'teki yarı yapılandırılmış verilerle doğrudan çalışmak için en uygun maliyetli çözüm değildir.