Un endpoint de producción de SageMaker está configurado con autoescalado. Durante las pruebas, el equipo observa que se lanzan nuevas instancias, pero el tráfico se enruta a ellas antes de que terminen de inicializarse. Es necesario evitar que las nuevas instancias reciban tráfico hasta que estén listas. ¿Qué cambio debería realizar?

La opción correcta es aumentar el período de "cooldown" para las actividades de escalado. El "cooldown period" es el tiempo que SageMaker espera después de una actividad de escalado antes de iniciar otra. Al aumentarlo, se da tiempo suficiente a las nuevas instancias para inicializarse y cargar el modelo antes de que el balanceador de carga comience a enviarles tráfico. Disminuir el período de "cooldown" empeoraría el problema al permitir que el tráfico se enrute a instancias no listas más rápidamente. Reemplazar el endpoint con uno de múltiples modelos no resuelve el problema de inicialización de instancias individuales. Poner un API Gateway y Lambda delante del endpoint añade complejidad innecesaria y no aborda directamente la configuración de autoescalado de SageMaker.