Bir şirket, SQL Server veritabanlarını EC2'den Amazon RDS for SQL Server'a taşıyor. Taşıma tamamlanana kadar, analitik ekibi her gün büyük, birleştirilmiş veri öğelerini Apache Parquet formatında Amazon S3'e aktarmalıdır. En operasyonel olarak verimli çözüm hangisidir?

Doğru seçenek, AWS Glue'nun veri entegrasyonu ve dönüşümü için optimize edilmiş yönetilen bir hizmet olmasından kaynaklanmaktadır. AWS Glue işleri, SQL Server veritabanlarından doğrudan veri okuyabilir, Parquet formatına dönüştürebilir ve S3'e yazabilir. Bu, operasyonel yükü en aza indirir ve karmaşık altyapı yönetimi gerektirmez. Diğer seçenekler neden yanlış: SQL Server Agent ve Lambda ile CSV'den Parquet'e dönüştürme, gereksiz bir ara adım (CSV) ve ek bir Lambda işlevi gerektirir, bu da daha karmaşık ve daha az verimlidir. AWS Glue crawler kullanmak, Glue işinin veri kaynağını keşfetmesi için bir adımdır ancak doğrudan bir görünümden okuma yeteneği varken zorunlu değildir ve ek bir adım getirir. Lambda işleviyle JDBC kullanarak tüm veri işleme ve Parquet dönüşümünü yapmak, Lambda'nın bellek ve zaman sınırlamaları nedeniyle büyük veri kümeleri için uygun değildir ve daha fazla özel kodlama gerektirir.