Birden çok kaynaktan gelen dosyalar düzenli olarak bir Amazon S3 bucket'ına ulaşmaktadır. Bir veri mühendisinin, S3 bucket'ında görünür görünmez yeni dosyaları neredeyse gerçek zamanlı olarak Amazon Redshift'e alması gerekmektedir. Bu gereksinimi hangi yaklaşım karşılar?

S3 Event Notifications, S3 bucket'ına yeni bir nesne yüklendiğinde bir AWS Lambda işlevini otomatik olarak tetikleyebilir. Bu Lambda işlevi daha sonra yeni dosyayı Amazon Redshift'e yüklemek için gerekli mantığı (örneğin, bir COPY komutu çalıştırmak) içerebilir. Bu yaklaşım, neredeyse gerçek zamanlı veri alımı gereksinimini karşılar. Query editor v2 kullanarak COPY komutunu zamanlamak, dosyaların S3'e ulaşır ulaşmaz işlenmesini sağlamaz; belirli aralıklarla çalışır. Amazon Aurora ve Amazon Redshift arasındaki zero-ETL entegrasyonu, Aurora veritabanlarındaki verileri Redshift'e senkronize etmek içindir, S3'teki dosyalar için değildir. AWS Glue job bookmarks, ETL işlerini izlemek için kullanışlı olsa da, S3'e dosya yüklenir yüklenmez otomatik tetikleme sağlamaz; genellikle zamanlanmış veya olay tabanlı bir tetikleyiciye ihtiyaç duyar.