Bir veri mühendisi, ekonomik göstergeler sağlayan bir AWS Data Exchange ürününe bir S3 bucket'ı abone etti. Mühendis, gelen ekonomik verileri Amazon Athena'daki mevcut bir tabloyla birleştirmeli ve tüm dönüşümleri 30-60 dakika içinde tamamlamalıdır. Bu gereksinimleri karşılayan uygun maliyetli çözüm hangisidir?

Bu çözüm, maliyet etkinliği ve performans gereksinimlerini karşılar. AWS Data Exchange'den gelen veriler S3'e düştüğünde tetiklenen bir S3 olayı, bir Lambda işlevini çağırır. Lambda işlevi, verileri mevcut Athena tablosuyla birleştirmek ve sonuçları S3'e geri yazmak için bir AWS Glue işini başlatır. AWS Glue, sunucusuz bir ETL hizmeti olduğu için maliyet etkinliği sağlar ve 30-60 dakikalık dönüşüm süresi için uygundur. Diğer seçenekler neden yanlış: Kinesis Data Stream ve Firehose kullanmak gereksiz karmaşıklık ve ek maliyet getirir, çünkü veriler zaten S3'e gelmektedir. SageMaker Data Wrangler, interaktif veri hazırlığı için tasarlanmıştır ve bu senaryoda otomatikleştirilmiş bir ETL süreci için en uygun araç değildir. Ayrıca Lambda ile entegrasyonu ek karmaşıklık yaratır. Amazon Redshift, büyük ölçekli veri ambarı çözümleri için tasarlanmıştır ve bu senaryo için aşırıya kaçan bir maliyet ve karmaşıklık getirir.