Een bedrijf draagt bestanden over van on-premises naar een S3-bucket met behulp van een S3 File Gateway. Een data engineer heeft een geautomatiseerd proces nodig dat een AWS Glue-workflow start om meerdere Glue-jobs uit te voeren telkens wanneer een bestandsoverdracht succesvol is voltooid. Welke optie biedt dat gedrag met de minste operationele overhead?

De juiste optie is om een Amazon EventBridge-regel te maken die de AWS Glue-workflow triggert voor elke succesvolle S3 File Gateway-bestandsoverdrachtgebeurtenis. S3 File Gateway genereert EventBridge-gebeurtenissen voor bestandsoverdrachten, inclusief succesvolle voltooiingen. EventBridge kan deze gebeurtenissen direct filteren en gebruiken om een AWS Glue-workflow te starten, wat een geautomatiseerde en serverloze oplossing biedt met minimale operationele overhead. Het schatten van overdrachtstijden en het gebruik van een geplande EventBridge-regel is onbetrouwbaar en niet reactief op daadwerkelijke overdrachtsvoltooiingen. Een on-demand AWS Glue-workflow vereist handmatige tussenkomst, wat niet voldoet aan de eis van een geautomatiseerd proces. Het implementeren van een Lambda-functie die wordt getriggerd door een S3 object-created event is mogelijk, maar dit voegt een extra component (Lambda) toe aan de architectuur, wat meer operationele overhead met zich meebrengt dan de directe integratie tussen EventBridge en S3 File Gateway-gebeurtenissen.