Bestanden van verschillende bronnen komen regelmatig aan in een Amazon S3-bucket. Een data-engineer moet nieuwe bestanden bijna in realtime in Amazon Redshift opnemen zodra ze in de S3-bucket verschijnen. Welke aanpak voldoet aan deze vereiste?

De meest geschikte aanpak is het gebruik van S3 Event Notifications om een AWS Lambda-functie aan te roepen. Wanneer nieuwe bestanden in de S3-bucket verschijnen, activeert een S3 Event Notification de Lambda-functie. Deze functie kan vervolgens de nieuwe bestanden bijna in realtime in Amazon Redshift laden. Dit is een serverloze, event-driven architectuur die zeer schaalbaar en kosteneffectief is voor bijna realtime opname. Het plannen van een COPY-commando via de query editor v2 is niet bijna in realtime en vereist handmatige planning of een externe scheduler. Zero-ETL-integratie tussen Amazon Aurora en Amazon Redshift is irrelevant, aangezien de bronbestanden in S3 staan, niet in Aurora. AWS Glue job bookmarks zijn nuttig voor het bijhouden van verwerkte bestanden in batch-ETL-processen, maar zijn niet geoptimaliseerd voor bijna realtime opname van individuele bestanden zodra ze arriveren.