Bir finansal hizmetler firması, Amazon S3 üzerinde sunucusuz bir veri gölü kuruyor ve bu veri gölünün şunları yapması gerekiyor: eski ve yeni S3 verilerini Amazon Athena ve Redshift Spectrum ile sorgulamaya izin vermesi, olay tabanlı ETL işlem hatlarını desteklemesi ve kolay meta veri keşfi sağlaması. Hangi çözüm bu gereksinimleri karşılar?

Doğru seçenek, tüm gereksinimleri karşılayan en entegre ve sunucusuz çözümü sunar. AWS Glue crawler'lar, S3'teki hem eski hem de yeni verilerin şemasını otomatik olarak keşfeder ve AWS Glue Data Catalog'a kaydeder. Bu katalog, Athena ve Redshift Spectrum'un verileri sorgulamasına olanak tanır. AWS Lambda ile tetiklenen AWS Glue ETL işleri, olay tabanlı ETL işlem hatları için idealdir, çünkü S3'e yeni veri geldiğinde otomatik olarak çalışabilirler. AWS Glue Data Catalog, kolay meta veri keşfi için merkezi bir depolama sağlar. Diğer seçenekler ise bazı eksiklikler içerir: Harici bir Apache Hive metastore kullanmak, AWS Glue Data Catalog'un sunduğu kolay entegrasyon ve yönetilebilirlikten yoksundur. AWS Batch işlerini kullanmak, ETL için daha az sunucusuz bir yaklaşımdır ve AWS Glue ETL'in veri dönüşümü yeteneklerini doğrudan sağlamaz. Amazon CloudWatch alarmları aracılığıyla işleri tetiklemek, olay tabanlı S3 veri alımı için AWS Lambda kadar doğrudan bir tetikleyici değildir.