Je wilt een klein deel van het verkeer routeren naar een nieuwe modelversie voor preview-gebruikers, deze evalueren en vervolgens geleidelijk al het verkeer naar het nieuwe model verschuiven over een vaste tijdsperiode met minimale operationele overhead. Welke SageMaker-aanpak bereikt dit met de minste operationele inspanning?

Deze aanpak is correct omdat Amazon SageMaker de mogelijkheid biedt om meerdere modelvarianten op één endpoint te hosten. Met UpdateEndpointWeightsAndCapacities kunt u de verkeersverdeling tussen deze varianten dynamisch aanpassen zonder het endpoint opnieuw te creëren, wat operationele overhead minimaliseert. Door DesiredWeight voor het nieuwe model aanvankelijk op 0 in te stellen, ontvangt het geen algemeen verkeer. Preview-gebruikers kunnen specifiek naar het nieuwe model worden gerouteerd via de TargetVariant-parameter in InvokeEndpoint-aanroepen. Vervolgens kunt u geleidelijk het gewicht van het nieuwe model verhogen om het verkeer over een vaste periode te verschuiven. De andere opties zijn minder efficiënt: Het creëren van een nieuwe EndpointConfig en het aanpassen van InitialVariantWeight vereist het updaten van het hele endpoint, wat downtime kan veroorzaken en meer operationele inspanning vergt dan alleen het aanpassen van gewichten. Het gebruik van twee afzonderlijke endpoints met een Application Load Balancer voegt een extra laag van infrastructuur en beheer toe, wat de operationele overhead verhoogt. Het gebruik van Route 53 voor routing tussen twee endpoints is minder flexibel voor geleidelijke verkeersverschuivingen en vereist meer handmatige configuratie dan de ingebouwde SageMaker-functionaliteit.