Una empresa está entrenando un modelo de reemplazo para uno que actualmente es atendido por un endpoint de SageMaker en tiempo real. Un ingeniero de ML debe medir la latencia y la precisión del nuevo modelo bajo tráfico de producción sin afectar a los usuarios actuales. ¿Qué enfoque de evaluación satisface este requisito?

Las pruebas de sombra (shadow testing) permiten enrutar una copia del tráfico de producción al nuevo modelo sin que las respuestas de este modelo afecten a los usuarios finales. Esto significa que el modelo actual sigue atendiendo las solicitudes de los usuarios, mientras que el nuevo modelo procesa las mismas solicitudes en segundo plano. Un muestreo del 100% asegura que el nuevo modelo experimente el volumen y el patrón de tráfico completos, lo que permite una evaluación precisa de la latencia y la precisión en un entorno de producción real sin riesgo para los usuarios. Las implementaciones azul/verde, ya sean con cambio lineal o canary, implican dirigir tráfico real al nuevo modelo, lo que podría afectar a los usuarios si el modelo no funciona como se espera. La implementación continua con un tamaño de lote no es un método estándar para evaluar un nuevo modelo en producción sin afectar a los usuarios, ya que implica un despliegue gradual y no una evaluación pasiva.