Een e-commercebedrijf heeft een geïmplementeerde SageMaker factorization machines (FM) endpoint voor productaanbevelingen. Het team heeft twee nieuwe modellen getraind (TensorFlow en PyTorch) en moet A/B-tests uitvoeren met deze routeringsregels: stuur 70% van het verkeer naar het FM-model, 15% naar het TensorFlow-model, 15% naar het PyTorch-model; maar voor klanten uit Europa, routeer al het verkeer naar het TensorFlow-model. Welke architectuur ondersteunt dit gedrag?

De juiste optie is om production variants te gebruiken binnen één SageMaker-endpoint. SageMaker-endpoints ondersteunen A/B-testen door meerdere modellen (variants) te hosten en verkeer op basis van gewichten te verdelen. De TargetVariant-header stelt clients in staat om specifiek verkeer naar een bepaalde variant te sturen, wat essentieel is voor de Europese verkeersroutering. De andere opties zijn minder geschikt: Het gebruik van meerdere SageMaker-endpoints met een Application Load Balancer (ALB) of Network Load Balancer (NLB) voegt onnodige complexiteit toe en is niet de idiomatische SageMaker-manier voor A/B-testen. Bovendien ondersteunen ALB's en NLB's geen directe routering op basis van de TargetVariant-header. De optie die spreekt over het toevoegen van een auto scaling policy aan de A/B-gewichten is incorrect; auto scaling policies zijn voor het schalen van instanties, niet voor het configureren van verkeersroutering.