StreamVid, S3'te terabaytlarca ham CSV günlüğü tutmaktadır ve eğitimden önce otomatik profilleme ve tekrarlanabilir dönüşüm (zaman damgalarını ayrıştırma, düşük kardinaliteli sütunları bırakma, Parquet'e dönüştürme) ihtiyacı duymaktadır. Bu gereksinimleri en iyi karşılayan DataBrew iş akışı hangisidir ve zamanlanmış çalıştırmalar için ne sağlanmalıdır?

Doğru seçenek, DataBrew'un otomatik profilleme, tekrarlanabilir dönüşüm (zaman damgalarını ayrıştırma, sütunları bırakma) ve Parquet'e dönüştürme yeteneklerini en iyi şekilde kullanır. DataBrew, S3'teki terabaytlarca veriyi işleyebilir ve zamanlanmış çalıştırmaları destekler. İş rolünün S3 okuma/yazma izinlerine sahip olması ve veri kümesi yolunun VPC'den erişilebilir olması, güvenli ve başarılı iş yürütme için kritik öneme sahiptir. Diğer seçenekler neden yanlış: AWS Glue ETL işi başlatmak, DataBrew'un yeteneklerini göz ardı eder ve DataBrew'un zamanlanmış işleri ve Parquet çıktısı oluşturma yeteneğini yanlış belirtir. IAM kullanıcı kimlik bilgilerini doğrudan işte depolamak kötü bir güvenlik uygulamasıdır. SageMaker Data Wrangler kullanmak bir seçenektir ancak DataBrew'un bu senaryo için daha entegre ve yönetilen bir çözüm sunduğu gerçeğini göz ardı eder. DataBrew Parquet çıktıları oluşturabilir ve zamanlanmış çalıştırmaları destekler. Lambda işlevi oluşturmak, terabaytlarca veriyi işlemek için ölçeklenebilirlik, maliyet ve yönetim açısından DataBrew'a kıyasla daha az uygun bir çözümdür. Lambda'nın bellek ve yürütme süresi sınırlamaları, büyük veri kümeleri için sorun teşkil edebilir.