Şu gereksinimlere sahip günlük bir ETL iş akışı tasarlayın: S3'e yeni veri yüklendiğinde başlasın; gerekli tüm yüklemeler tamamlandığında, yeni verileri S3'teki birden fazla terabaytlık veri kümeleriyle birleştiren bir ETL işi çalıştırsın; birleştirme sonuçlarını S3'e geri yazsın; ve herhangi bir iş başarısız olursa bir yöneticiyi bilgilendirsin. Hangi mimari bu gereksinimleri karşılar?

Doğru cevap, S3 yükleme olayını bir Lambda işlevini tetiklemek için kullanır. Bu Lambda işlevi, tüm yüklemelerin tamamlanmasını bekleyen bir AWS Step Functions iş akışını başlatır. Step Functions, karmaşık iş akışlarını yönetmek ve durumları takip etmek için idealdir, bu da "tüm yüklemeler tamamlandığında" gereksinimini karşılar. Birleştirme görevi için AWS Glue kullanılır, çünkü terabaytlarca veriyi işlemek için tasarlanmış, sunucusuz bir ETL hizmetidir. Son olarak, herhangi bir iş başarısız olursa bir yöneticiyi bilgilendirme gereksinimi için Amazon CloudWatch alarmları ve SNS bildirimleri kullanılır. Diğer seçenekler neden yanlış: Amazon SageMaker notebook instance'ı, otomatik ve ölçeklenebilir bir ETL iş akışı için uygun değildir; daha çok etkileşimli geliştirme ve deneme için kullanılır. AWS Batch, büyük ölçekli toplu işlem işleri için uygun olsa da, "tüm yüklemelerin tamamlanmasını beklemek" gibi karmaşık iş akışı mantığını doğrudan yönetmek için Step Functions kadar esnek değildir. Lambda işlevlerini doğrudan zincirlemek, terabaytlarca veriyi doğrudan S3'te okumak ve birleştirmek için uygun değildir. Lambda'nın çalışma süresi ve bellek sınırları, bu tür büyük ölçekli veri işleme görevleri için kısıtlayıcıdır.