A DataWave Inc. executa um modelo de fraude de baixa latência em um endpoint em tempo real do SageMaker (variante de produção única). Eles querem realizar um teste de "shadow" roteando 5% do tráfego de produção ao vivo para uma nova variante de modelo (o "shadow"), enquanto 95% continua para a variante atual; as respostas do modelo "shadow" não devem ser retornadas aos clientes (elas serão registradas para comparação offline). Qual é a maneira mais apropriada e menos intrusiva de implementar isso no SageMaker?

A opção correta é a maneira mais apropriada e menos intrusiva porque o Amazon SageMaker suporta nativamente testes A/B e testes de sombra (shadow testing) através de variantes de produção. Ao definir InitialVariantWeight para 0.05 na nova variante "shadow", o SageMaker roteará automaticamente 5% do tráfego de produção para ela. Como as respostas da variante "shadow" não devem ser retornadas aos clientes, o SageMaker as registra por padrão, permitindo comparação offline sem afetar a experiência do usuário. A opção de implantar o modelo "shadow" com InitialVariantWeight 0.05 e descartar as respostas no cliente é menos ideal, pois exige lógica do lado do cliente para gerenciar as respostas, o que pode ser complexo e propenso a erros. Configurar um Application Load Balancer (ALB) é mais complexo e intrusivo, pois envolve gerenciar infraestrutura adicional fora do SageMaker e não é a forma nativa do SageMaker para esse tipo de teste. Usar um endpoint multi-modelo com roteamento TargetModel é inadequado porque endpoints multi-modelo são projetados para hospedar vários modelos em uma única instância para otimização de custos e não para roteamento de tráfego baseado em peso para testes A/B ou shadow testing.