Uma empresa está treinando um modelo de substituição para um que está sendo atendido atualmente por um endpoint SageMaker em tempo real. Um engenheiro de ML deve medir a latência e a precisão do novo modelo sob tráfego de produção sem impactar os usuários atuais. Qual abordagem de avaliação satisfaz esse requisito?

A abordagem de teste de sombra (shadow testing) é a mais adequada porque permite que o novo modelo processe o tráfego de produção em paralelo com o modelo atual, sem que as respostas do novo modelo afetem os usuários. Isso possibilita a coleta de métricas de latência e precisão em um ambiente de produção real. Uma amostragem de 100% garante que todas as solicitações sejam processadas pelo modelo em teste, fornecendo dados abrangentes. As implantações blue/green (linear ou canary) envolvem o direcionamento de tráfego real para o novo modelo, o que impactaria os usuários se o novo modelo apresentasse problemas. Uma implantação contínua (rolling deployment) também expõe os usuários ao novo modelo gradualmente, o que não atende ao requisito de não impactar os usuários atuais durante a avaliação.