Een leverancier levert elke 3-4 dagen opgeschoonde, gebruiksklare trainingsdata aan de Amazon S3-bucket van het bedrijf. Het bedrijf heeft een SageMaker-pipeline om het model opnieuw te trainen. De ML-engineer moet de pipeline automatisch laten uitvoeren wanneer nieuwe data in S3 arriveert, met de minste operationele overhead. Welke oplossing moeten ze implementeren?

De correcte optie is het maken van een Amazon EventBridge-regel die overeenkomt met S3 object-created events en de SageMaker-pipeline als doel configureert. Dit is de meest operationeel efficiënte oplossing omdat EventBridge direct kan reageren op S3-gebeurtenissen (zoals het aanmaken van nieuwe objecten) en SageMaker-pipelines kan starten zonder extra compute-resources of complexe orkestratie. Een S3 Lifecycle-regel is bedoeld voor het beheren van de opslaglagen of het verwijderen van objecten, niet voor het activeren van trainingen. Een AWS Lambda-functie kan de S3-bucket scannen en de pipeline starten, maar dit vereist het schrijven en onderhouden van code, wat meer operationele overhead met zich meebrengt dan EventBridge. Amazon MWAA (Managed Workflows for Apache Airflow) is een krachtige orkestratiedienst, maar is overkill voor deze specifieke taak en introduceert meer complexiteit dan nodig is voor het simpelweg reageren op een S3-gebeurtenis.