Dateien aus verschiedenen Quellen treffen regelmäßig in einem Amazon S3-Bucket ein. Ein Dateningenieur muss neue Dateien nahezu in Echtzeit in Amazon Redshift aufnehmen, sobald sie im S3-Bucket erscheinen. Welcher Ansatz erfüllt diese Anforderung?

S3 Event Notifications, die eine AWS Lambda-Funktion auslösen, sind die effektivste Methode, um neue Dateien nahezu in Echtzeit von S3 in Redshift zu laden. Wenn eine neue Datei in S3 ankommt, löst die Benachrichtigung die Lambda-Funktion aus, die dann die Datei verarbeitet und in Redshift lädt. Dies ermöglicht eine ereignisgesteuerte und nahezu sofortige Datenaufnahme. Der Abfrage-Editor v2 mit einem geplanten COPY-Befehl ist nicht ereignisgesteuert und bietet keine Echtzeitverarbeitung. Die Zero-ETL-Integration zwischen Amazon Aurora und Amazon Redshift ist für Daten aus Aurora gedacht, nicht für Dateien in S3. AWS Glue Job Bookmarks werden verwendet, um den Zustand von ETL-Jobs zu verfolgen und nur neue oder geänderte Daten zu verarbeiten, erfordern aber einen geplanten Glue-Job und sind nicht so reaktiv wie S3 Event Notifications mit Lambda.