Voordat een bedrijf een nieuw model volledig vrijgeeft, moet het dit online valideren op 10% van het productieverkeer. Het model wordt aangeboden door een SageMaker-endpoint achter een Application Load Balancer. Welke configuratie biedt de vereiste 10% online validatie met de minste operationele overhead?

De juiste optie is het toevoegen van het nieuwe model als een productievariant aan het bestaande SageMaker-endpoint met een variantgewicht van 0.1. Dit is de meest efficiënte methode voor online validatie (canary deployment) met minimale operationele overhead. SageMaker beheert automatisch de verkeersdistributie op basis van het ingestelde gewicht, waardoor 10% van het verkeer naar het nieuwe model wordt gestuurd. Monitoring via Amazon CloudWatch is standaard voor SageMaker-endpoints en biedt inzicht in de prestaties. Het instellen van het variantgewicht op 1 zou betekenen dat 100% van het verkeer naar het nieuwe model gaat, wat geen 10% online validatie is. Een apart SageMaker-endpoint creëren voor het nieuwe model verhoogt de operationele overhead en is niet nodig, aangezien SageMaker meerdere modellen op één endpoint ondersteunt via varianten. Het configureren van de ALB om 10% van het verkeer door te sturen naar een specifiek model op een bestaand SageMaker-endpoint is complexer dan het gebruik van SageMaker's ingebouwde verkeersroutering via variantgewichten. Bovendien is AWS CloudTrail primair voor auditlogging, niet voor real-time monitoring van aanroepen, waarvoor CloudWatch geschikter is.