Bir uygulama, her saat Amazon S3 bucket'ına yüzlerce 1 GB'lık .csv dosyası yerleştiriyor. Yüklenen her dosyanın Apache Parquet formatına dönüştürülmesi ve bir S3 bucket'ına yazılması gerekiyor. Hangi çözüm, en az operasyonel yük ile gerekli işlevselliği sağlar?
Bir cevap seçin
Cevabınızı kontrol etmek için bir seçeneğe dokunun.
Doğru cevap: .csv dosyalarını Parquet'e dönüştürmek ve çıktı dosyalarını bir S3 bucket'ına yazmak için bir AWS Glue extract, transform, and load (ETL) işi oluşturun. ETL işini çağırmak için her S3 PUT olayı için bir AWS Lambda fonksiyonu oluşturun..
Neden bu cevap
Bu çözüm, büyük veri dönüşüm görevleri için tasarlanmış yönetilen bir hizmet olan AWS Glue'yu kullanır. Glue ETL işleri, CSV'den Parquet'e dönüştürme gibi karmaşık veri işleme adımlarını verimli bir şekilde gerçekleştirebilir. S3 PUT olayları tarafından tetiklenen bir Lambda fonksiyonu, her dosya yüklendiğinde Glue işini otomatik olarak başlatarak operasyonel yükü en aza indirir. Diğer seçenekler daha az verimli veya daha fazla operasyonel yük gerektirir: doğrudan Lambda ile 1 GB'lık dosyaları işlemek zaman aşımı sorunlarına yol açabilir; Spark işi çalıştırmak daha fazla altyapı yönetimi gerektirir; Athena ise öncelikle sorgulama aracıdır, sürekli dönüşüm için tasarlanmamıştır.
Sonsuz cevap arayışı olmadan sınavınızı geçin
Bu sınav için her doğrulanmış soruyu ve açıklamayı tek bir yerde edinin ve saatlerce süren hazırlıktan tasarruf edin. 1.000'den fazla sertifika · 20'den fazla dil · ücretsiz başlayın.
Sınavınızı daha hızlı geçin → Kart gerekmez