Een bedrijf heeft een model geïmplementeerd op een SageMaker real-time endpoint en moet een nieuw model implementeren, maar moet de prestaties van het nieuwe model vergelijken met het huidige model voordat alle verkeer wordt omgeschakeld. Welke aanpak bereikt dit met de minste operationele inspanning?

De correcte aanpak is om het nieuwe model als een shadow variant op hetzelfde endpoint te implementeren. Amazon SageMaker ondersteunt A/B-testen en shadow-implementaties direct op het endpoint, waardoor u een deel van het live verkeer naar het nieuwe (shadow) model kunt sturen zonder de respons van de client te beïnvloeden. Het shadow model verwerkt de aanvragen, maar de resultaten worden niet teruggestuurd naar de client. Dit minimaliseert operationele inspanningen omdat het geen handmatige verkeerssplitsing of externe services vereist en de prestaties van het nieuwe model kan evalueren met echt productieverkeer. Het implementeren van het nieuwe model naar een afzonderlijk endpoint en handmatig verkeer splitsen vereist meer operationele inspanning en beheer van twee endpoints. Het gebruik van Amazon CloudFront is niet de meest geschikte methode voor het splitsen van verkeer tussen SageMaker-endpoints, aangezien CloudFront een CDN is en geen directe verkeersroutering naar interne AWS-services voor dit specifieke scenario biedt. AWS Lambda-functies met aangepaste logica zijn een mogelijke oplossing, maar introduceren extra complexiteit en operationele overhead vergeleken met de ingebouwde functionaliteit van SageMaker voor A/B-testen en shadow-implementaties.