Een data scientist heeft transformaties en feature engineering gedefinieerd in SageMaker Data Wrangler en deze opgeslagen in SageMaker Feature Store. Nieuwe historische data komt periodiek binnen in S3 en moet worden getransformeerd en toegevoegd aan de online feature store, voorbereid voor training en inferentie met behulp van native integraties. Welke oplossing vereist de minste ontwikkelingsinspanning?

Amazon EventBridge is de meest geschikte oplossing omdat het direct kan reageren op S3-gebeurtenissen, zoals het uploaden van nieuwe data, en vervolgens een SageMaker Pipeline kan starten. Dit vereenvoudigt de orkestratie aanzienlijk, aangezien de Data Wrangler-transformaties al zijn gedefinieerd in de pipeline. AWS Lambda zou een extra laag van code-ontwikkeling vereisen om de pipeline te starten. AWS Step Functions biedt robuuste workflow-orkestratie, maar is complexer dan nodig voor deze specifieke taak van het reageren op een S3-gebeurtenis en het starten van een pipeline. Apache Airflow is een krachtige open-source orkestrator, maar vereist meer setup en onderhoud dan een native AWS-service zoals EventBridge.