Bir şirket, veri gölü olarak Amazon S3'ü ve veri ambarı olarak çok düğümlü bir Amazon Redshift kümesini kullanıyor. Göldeki veri dosyaları kaynaklarına göre düzenlenmiştir ve şirket şu anda tek bir Redshift tablosuna yüklemek için her dosya konumu için ayrı bir COPY komutu yayınlamaktadır, bu da yavaştır. Şirketin maliyetleri artırmadan veri alımını hızlandırması gerekiyor. Ne yapmalılar?

Doğru cevap, veri dosyası konumlarını içeren bir manifest dosyası oluşturmak ve ardından verileri Amazon Redshift'e yüklemek için bir COPY komutu kullanmaktır. Redshift'in COPY komutu, manifest dosyalarını kullanarak birden çok dosyayı tek bir işlemde verimli bir şekilde yükleyebilir. Bu, her dosya için ayrı COPY komutları çalıştırmaktan çok daha hızlıdır ve maliyetleri artırmaz. Diğer seçenekler neden yanlış: Tüm veri dosyalarını tek bir klasöre kopyalamak için bir Amazon EMR kümesi kullanmak veya bir AWS Glue işi kullanmak, ek işlem maliyetleri ve gecikme süresi yaratır. Ayrıca, Redshift'in COPY komutu zaten birden çok dosyayı tek bir klasörde veya manifest dosyası aracılığıyla işleyebilir. Tüm veri dosyalarını paralel olarak Amazon Aurora'ya yüklemek ve ardından Redshift'e bir AWS Glue işi çalıştırmak, gereksiz bir ara adım ekler, maliyetleri artırır ve karmaşıklığı artırır. Aurora bir OLTP veritabanıdır ve bu senaryoda uygun bir ara katman değildir.